Structural Graph Probing of Vision-Language Models

ملخص تقني لورقة بحثية: "الاستقصاء الهيكلي للرسوم البيانية لنماذج الرؤية واللغة"

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) أداءً ملحوظًا في المهام متعددة الوسائط، ومع ذلك لا يزال التنظيم الداخلي لعملياتها الحسابية غير مفهوم بشكل جيد. تركز طرق التفسير الحالية بشكل أساسي على الإشارات المحلية (مثل خرائط الانتباه، أو الأهمية، أو إسناد الرقع - patch attribution) أو الوحدات المعزولة (النيورونات/الرموز الفردية). تفشل هذه النهج في التقاط التنظيم على مستوى المجموعات الكبيرة الذي يتم من خلاله تحقيق الاستدلال متعدد الوسائط. يجادل المؤلفون بأن الحوسبة المعقدة في المحولات (Transformers) موزعة عبر مجموعات متفاعلة بدلاً من تركيزها في مسارات معزولة، مما يستوجب التحول من الإسناد المحلي إلى تحليل الطوبولوجيا الهيكلية لتفاعلات النيورونات.

2. المنهجية: الطوبولوجيا العصبية

يقترح المؤلفون إطار عمل يسمى الطوبولوجيا العصبية (Neural Topology)، والذي يعامل كل طبقة من طبقات المحول كرسم بياني مرجح للارتباط مشتق من التنشيطات المشتركة للنيورونات أثناء الاستدلال.

أ. بناء الرسم البياني

• المدخلات: لكل زوج (صورة-نص)، يتم تسجيل التنشيطات المخفية $H^{(\ell)}$ عند كل طبقة $\ell$.
• العقد (Nodes): كل نيورون في البعد المخفي $d$ يقابل عقدة في الرسم البياني ($|V| = d$).
• الحواف (Edges): يُعرَّف وزن الحافة $W_{ij}^{(\ell)}$ بين النيورون $i$ والنيورون $j$ بأنه معامل ارتباط بيرسون لملفات تنشيطهما عبر جميع الرموز (tokens) في السياق متعدد الوسائط.
  $$W_{ij}^{(\ell)} = \text{corr}(H_{i,:}^{(\ell)}, H_{j,:}^{(\ell)})$$
• الرسوم البيانية الخاصة بكل وسيط: لتحليل الديناميكيات عبر الوسائط، يقوم المؤلفون ببناء ثلاثة أنواع من الرسوم البيانية لكل طبقة:
  1. متعدد الوسائط ($G^{(\ell)}$): بناءً على الحالة المخفية الكاملة.
  2. الرؤية ($G_{vis}^{(\ell)}$): بناءً على تنشيطات رموز الرؤية فقط.
  3. النص ($G_{text}^{(\ell)}$): بناءً على تنشيطات الرموز النصية فقط.

ب. تمثيل الرسم البياني والاستقصاء (Probing)

• تضمين العقدة (Node Embedding): لتجنب كشف قيم التنشيط الخام أو دلالات الرموز، يتم تخصيص تضمينات هوية (one-hot identity embeddings) قابلة للتعلم لكل نيورون.
• الشبكة العصبية الرسومية (GCN): تعالج شبكة GCN رسم الارتباط لإنتاج تمثيلات العقد $Z^{(\ell)}$.
• بصمة الطبقة (Layer Signature): تقوم عملية التجميع العالمي (المتوسط والحد الأقصى - Mean and Max) بتجميع تمثيلات العقد في بصمة هيكلية ثابتة الأبعاد $h^{(\ell)}$ لكل طبقة.
• مهام الاستقصاء (Probing Tasks): تُستخدم هذه البصمات لتدريب مستقصيات خطية وGCN للتنبؤ بـ:
  • مخرجات المهام (مثل عد الأشياء، أو التعرف على الألوان).
  • حالة الهلوسة (الاستجابات المستندة إلى الواقع مقابل الاستجابات المهلوسة).

ج. التدخل السببي (Causal Intervention)
لاختبار السببية، يقوم المؤلفون بإجراء اضطرابات مستهدفة:

• استئصال النيورونات (Neuron Ablation): تصفير أعلى 1% من النيورونات المختارة بناءً على درجة الرسم البياني (graph degree) مقابل مقدار التنشيط.
• التدخل في الحواف (Edge Intervention): استبدال تنشيط أحد طرفي حافة عالية الدرجة بتنشيط الطرف الآخر (مطابق - Identical)، أو الطرف المنفي (معاكس - Opposite)، أو ضوضاء عشوائية.
• تحجيم المركز (Hub Scaling): تغيير مقياس تنشيط "النيورونات المركزية" (hubs) المحددة مباشرة لمراقبة تدهور الأداء.

3. المساهمات الرئيسية

1. الطوبولوجيا العصبية كعدسة للتفسير: تقديم تحليل بمقياس وسيط (بين الإسناد المحلي واستعادة الدائرة الكاملة) يعامل طبقات نماذج الرؤية واللغة كرسوم بيانية للارتباط.
2. القابلية للتنبؤ السلوكي: إثبات أن المستقصيات القائمة على الرسوم البيانية تتفوق بشكل كبير على الخطوط المرجعية الخطية في التنبؤ بسلوك النموذج، مما يثبت أن طوبولوجيا الارتباط تحمل إشارات سلوكية يمكن استردادها.
3. الديناميكيات الهيكلية عبر الوسائط: الكشف عن أن التكامل متعدد الوسائط ليس موحدًا؛ بل يتركز تدريجيًا في الطبقات الأعمق حول مجموعة مدمجة من "النيورونات المركزية" (hubs) المتكررة.
4. التحديد السببي: تحديد النيورونات المركزية هيكليًا (hubs) التي يتسبب اضطرابها المستهدف في تدهور كبير في الأداء، مما يؤكد أن الطوبولوجيا تحدد المكونات المؤثرة سببيًا.

4. النتائج الرئيسية

أ. القابلية للتنبؤ

• أداء متفوق: تفوقت المستقصيات القائمة على الرسوم البيانية (GCN) باستمرار على الخطوط المرجعية الخطية عبر نماذج متعددة (InternVL3, Qwen2.5-VL, LLaVA) ومجموعات بيانات مختلفة (CLEVR, TDIUC, MMMU).
  • مثال: في مهمة عد الأشياء في CLEVR، حسنت GCN الدقة بنسبة 7.7% مقارنة بالخطوط المرجعية الخطية لنموذج LLaVA-1.5-7B.
• الانحدار (Regression): حسنت مستقصيات الرسم البياني أيضًا مقاييس الانحدار (MSE, $R^2$) لعد الأشياء، مما يشير إلى أنها تلتقط التبعيات الوظيفية بما يتجاوز التصنيف المنفصل.
• كشف الهلوسة: حققت مستقصيات الرسم البياني دقة أعلى بكثير (على سبيل المثال 91.0% لنموذج Qwen2.5-VL) في اكتشاف الهلوسة مقارنة بالمستقصيات النصية فقط (~65%)، مما يثبت أن الهلوسة مرتبطة بأنماط الارتباط الهيكلي.

ب. الديناميكيات الهيكلية

• تطور العمق: تزدادة الارتباطات متعددة الوسائط (الرؤية-النص) مع زيادة العمق، بينما تظل ارتباطات الرؤية-الرؤية ثابتة. يشير هذا إلى أن الطبقات المتأخرة هي المكان الذي يترسخ فيه التكامل متعدد الوسائط.
• استقرار المركز (Hub Stability): تظهر النيورونات المحددة كـ "مراكز" (ذات درجة عالية في رسم الارتباط) تكرارًا عاليًا عبر عينات ومدخلات مختلفة، خاصة في الطبقات المتوسطة. يشير هذا إلى أن المعالجة متعددة الوسائط منظمة حول مواقع طوبولوجية مستمرة وليس موزعة بشكل موحد.
• محاذاة الرسم البياني: تتوافق الرسوم البيانية متعددة الوسائط (الصورة + النص) مع بعضها البعض بشكل أفضل من الرسوم البيانية أحادية الوسيط (النص مقابل الصورة) أو الرسوم البيانية النصية من النماذج أحادية الوسيط (LLaMA)، مما يشير إلى أن الضبط الدقيق متعدد الوسائط يخلق مساحة هيكلية متميزة ومتوافقة جزئيًا.

ج. التدخل السببي

• الاستئصال: تسبب إزالة النيورونات المختارة بناءً على درجة الرسم البياني في انخفاض أكبر بكثير في الأداء مقارنة بإزالة النيورونات المختارة بناءً على مقدار التنشيط.
• اضطراب الحافة: أدى استبدال طرف الحافة بتنشيط الطرف "المعاكس" (المنفي) إلى أسوأ تدهور في الأداء، مما يشير إلى أن الإشارة والاصطفاف للنشاط المنسق أمر بالغ الأهمية.
• حساسية المركز (Hub Sensitivity): أدت الاضطرابات الصغيرة (تحجيم) للنيورونات المركزية المحددة إلى تدهور متماثل في الأداء (سواء التضخيم أو التثبيط أدى لضعف الأداء)، مما يؤكد أن هذه المراكز تعمل ضمن نطاق وظيفي حرج وضيق.

5. الأهمية والآثار المترتبة

• نموذج جديد للتفسير: تجادل الورقة بأن تفسير نماذج الرؤية واللغة يجب أن ينتقل من "أي رمز هو المهم" إلى "كيف يتم تنظيم مجموعات النيورونات".
• الكفاءة: هذا النهج قابل للتطبيق حسابيًا (باستخدام رسوم بيانية متفرقة) ولا يتطلب استعادة الدائرة الكاملة، مما يجعله قابلًا للتطبيق على النماذج واسعة النط scale.
• الرؤية الآلية: يوفر دليلًا على أن الاستدلال متعدد الوسائط هو خاصية ناشئة من مجموعات عصبية منظمة تتمحور حول مراكز مستقرة، وليس مجرد مجموع بسيط للتأثيرات المحلية.
• الفائدة العملية: القدرة على تحديد المراكز المؤثرة سببيًا عبر الطوبولوجيا توفر طريقة جديدة لتصحيح أخطاء النماذج، وتدخلات السلامة، وفهم أوضاع الفشل (مثل الهلوسة).