Hierarchical Concept Embedding & Pursuit for Interpretable Image Classification

إليك ملخص تقني مفصل لورقة البحث "تضمين المفاهيم الهرمي والمطاردة من أجل تصنيف الصور القابل للتفسير" (HCEP).

1. بيان المشكلة

تهدف النماذج الحالية القابلة للتفسير بالتصميم في الرؤية الحاسوبية إلى جعل التنبؤات تعتمد على مفاهيم يمكن للبشر تفسيرها (مثل "فرو"، "ثدييات"، "قطة") بدلاً من ميزات البكسل الخام. وعلى الرغم من أن طرق الاسترداد المفهومي المتناثر (باستاستخدام نماذج الرؤية واللغة مثل CLIP) قد أظهرت نتائج واعدة عبر تمثيل تضمينات الصور كمجموعات خطية متناثرة من تضمينات المفاهيم، إلا أنها تعاني من خلل جوهي: فهي تتجاهل البنية الهرمية للمفاهيم.

• المشكلة: تشكل المفاهيم الدلالية هرميات بطبيعتها (على سبيل المثال: حيوان $\leftarrow$ ثدييات $\leftarrow$ قطة). تتعامل طرق الترميز المتناثر الحالية مع المفاهيم كعناصر مستقلة. وبناءً على ذلك، قد تسترد مجموعة من المفاهيم غير متسقة دلالياً مع الهرمية (على سبيل المثال: التنبؤ بـ "مركبة" و"قطة" في آن واحد لصورة قطة)، مما يؤدي إلى تفسيرات غير أمينة وأخطاء محتملة في التصنيف.
• الهدف: تطوير إطار عمل يفرض الاتساق الهرمي أثناء استرداد المفاهيم، مما يضمن أن المفاهيم المحددة تشكل مساراً جذرياً صالحاً في الهرمية الدلالية (على سبيل المثال: الجذر $\leftarrow$ حيوان $\leftarrow$ ثدييات $\leftarrow$ قطة).

2. المنهجية: إطار عمل HCEP

يقترح المؤلفون إطار عمل التضمين المفهومي الهرمي والمطاردة (HCEP)، والذي يتكون من مكونين رئيسيين: نموذج التضمين الهندسي وخوارزمية المطاردة الهرمية.

أ. نموذج التضمين المفهومي الهرمي

يحدد المؤلفون شروطاً هندسية محددة يجب أن تستوفيها تضمينات المفاهيم لضمان قابلية التحديد والاتساق الهرمي داخل فضاء متجهي (مثل فضاء تضمين CLIP).

1. المجموعات المتمركزة جيداً (Well-Clustered Synsets):

   • تباعد الأشقاء: يجب أن تكون تضمينات العقد الشقيقة (مثل كلب وقطة) متباعدة جيداً لتكون قابلة للتمييز.
   • تمركز الآباء: يجب أن تتجمع العقد الشقيقة حول عقدة الأب الخاصة بها (مثل كلب وقطة يتجمعان حول ثدييات).
   • القيد الهندسي: يتم صياغة هذا باستخدام احتواء المخروط (cone containment). يجب أن يقع الجزء الشجري لأي عقدة داخل مخروط يتمركز عند الأب، ويجب أن تكون مخاريط الأشقاء منفصلة. وهذا يتطلب أن تتناقص زوايا التضمين هندسياً مع زيادة العمق.

2. التعامد الهرمي وبنية السيمبلكس (Simplex Structure):

   • التعامد: يجب أن يكون فرق المتجهات بين الابن وأبيه (والذي يمثل المفهوم المحدد الذي يميزهما، مثل "لديه فرو" مقابل "لديه ريش") متعامداً مع متجه تضمين الأب. يضمن هذا أن إضافة ميزة خاصة بالابن لا تغير المعنى الدلالي للأب.
   • بنية السيمبلكس: يجب أن تشكل متجهات الفرق لأبناء الأب الـ $b$ سيمبلكس منتظم (regular $(b-1)$-simplex). يضمن هذا أن الأبناء مستقلون شرطياً بالنسبة للأب.
   • متطلبات الأبعاد: نظرياً، لِهرمية بعمق $L$ وعامل تفرع $b$، يجب أن يحقق بُعد التضمين $d$ الشرط $d \ge L + b$. ويتحقق المؤلفون من أن النماذج القياسية مثل CLIP (حيث $d=768$) تلبي هذا الشرط بسهولة للهرميات الواقعية (مثل WordNet).

ب. بناء القاموس الهرمي

بدلاً من استخدام تضمينات المفاهيم الخام كعناصر للقاموس، يقوم HCEP ببناء قاموس يعتمد على فروقات المترادفات (synset differences):
$$D = \{ a(j) - a(\text{par}(j)) \mid j \in \text{Nodes} \}$$

• عنصر الجذر هو مجرد التضمين الخاص به.
• عنصر العقدة الأكثر عمقاً هو الفرق بين العقدة ووالدها.
• يتم إعادة بناء تضمين الصورة $x$ كمجموع متناثر للعناصر على طول المسار من الجذر إلى الورقة المستهدفة.

ج. مطاردة المفاهيم الهرمية (الخوارزمية)

لاسترداد التمثيل المتناثر، يقترح المؤلفون خوارزمية المطاردة المتعامدة الهرمية (H-OMP) مع البحث الشعاعي (Beam Search):

1. البحث من الأعلى إلى الأسفل: على عكس خوارزمية OMP القياسية التي تبحث في القاموس بأكمله، تبدأ H-OMP من الجذر وتختار عقدة الابن الأفضل بشكل تكراري.
   ขึ้น
2. البحث الشعاعي (Beam Search): لتجنب الأخطاء الجشعة (حيث يؤدي الاختيار الخاطئ المبكر إلى طريق مسدود)، تحافظ الخوارزمية على "شعاع" من $B$ من الفرضيات المرشحة (المسارات) في كل مستوى.
3. التمديد: في كل خطوة، تقوم بتمديد القاموس النشط فقط مع أبناء العقد المختارة حالياً.
4. التقليم (Pruning): يتم تقليم الشعاع بناءً على خطأ البواقي (residual error)، مع الاحتفاظ بأفضل $B$ من المسارات الواعدة.

3. المساهمات الرئيسية

1. الإطار الهندسي: الاشتقاق النظري للشروط الهندسية الضرورية (احتواء المخروط، التعامد، بنية السيمبلكس) لتضمينات المفاهيم الهرمية لتكون قابلة للتحديد.
2. خوارزمية HCEP: خوارزمية ترميز متناثر مبتكرة (H-OMP) تستفيد من هذه الخصائص الهندسية والبحث الشعاعي لاسترداد المسارات الهرمية بدلاً من مجموعات المفاهيم العشوائية.
3. الضمانات النظرية: إثبات أن H-OMP تمتلك منطقة نجاح شرط الاسترداد الدقيق (ERC) أكبر بصرامة مقارنة بـ OMP القياسية على القاموس الكامل، مما يعني أنها أكثر قوة تجاه الضجيج ومشكلات تماسك القاموس.
4. التحقق التجريبي: إثبات أن هذه الخصائص الهندسية تنطبق على نماذج الرؤية واللغة المدربة مسبقاً (CLIP, SigLIP) على مجموعات بيانات واقعية.

4. النتائج التجريبية

قيم المؤلفون HCEP على مجموعات بيانات ImageNette و ImageNet و CIFAR-100.

• استرداد المفاهيم (الدقة والاستدعاء):
  • يتفوق HCEP بشكل كبير على النماذج المرجعية (Standard OMP, Concept Bottleneck Models, Nearest Neighbor) في استرداد المسار الهرمي الصحيح (دقة/استدعاء الدعم).
  • غالباً ما تسترد OMP القياسية مفاهيم غير متسقة دلالياً (مثل خلط الفروع)، بينما يفرض HCEP اتساق المسار.
• دقة التصنيف:
  • يحافظ HCEP على دقة تصنيف تنافسية مقارنة بالنماذج "الصندوق الأسود" والنماذج الأخرى القابلة للتفسير.
  • أداء التعلم القليل (Few-Shot): في الأنظمة ذات البيانات المحدودة (مثل إعدادات 12 أو 25 عينة)، يحقق HCEP دقة تصنيف متفوقة مقارنة بجميع النماذج المرجعية، مما يثبت أن القيود الهرمية تعمل كمنظم (regularizer) قوي.
• المتانة: تعمم الطريقة قدرتها عبر مختلف نماذج الرؤية واللغة (CLIP و SigLIP).
• وقت التشغيل: على الرغم من أن البحث الشعاعي يضيف تعقيداً، إلا أن التوازي على وحدات معالجة الرسومات (GPUs) يحافظ على وقت تشغيل معتدل مقارنة بالمكاسب في قابلية التفسير.

5. الأهمية والأثر

• التفسير الأمين: يعالج HCEP فجوة "الأمانة" في الذكاء الاصطناٍ القابل للتفسير. من خلال ضمان أن التفسيرات تتبع تسلسلاً هرمياً دلالياً منطقياً، فإن استدلال النموذج يتوافق مع الفهم البشري للعالم.
• كفاءة البيانات: توفر البنية الهرمية انحيازاً استقرائياً (inductive bias) قوياً، مما يسمح للنموذج بالتعلم بفعالية حتى مع وجود عدد قليل جداً من الأمثلة المصنفة، وهي ميزة حاسمة في المجالات التي تعاني من ندرة البيانات.
• القابلية للتوسع: يعمل الإطار مع النماذج المدربة مسبقاً (مثل CLIP) دون الحاجة إلى إعادة تدريب مكلفة أو ضبط دقيق للنموذج الأساسي، مما يجعله حلاً عملياً لنشر الأنظمة القابلة للتفسير.
• الأساس النظري: يربل HCEP الفجوة بين نظرية الترميز المتناثر والخصائص الهندسية لنماذج اللغة والرؤية الكبيرة، مما يقدم مخططاً لكيفية هيكلة الفضاءات الكامنة (latent spaces) للاستدلال الهرمي.

في الختام، يثبت HCEP أن دمج البنية الهرمية في الترميز المتناثر ليس مجرد تحسين تجريبي، بل هو ضرورة قائمة على أسس نظرية لبناء نماذج تصنيف صور موثوقة، قابلة للتفسير، وفعالة في استخدام البيانات.