Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تتبع الدوائر في نماذج الرؤية واللغة: فهم الآليات الداخلية للتفكير متعدد الوسائط."

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً ملحوظاً في المهام متعددة الوسائط (مثل الإجابة على الأسئلة البصرية، وصف الصور، والاستدلال المعقد). ومع ذلك، لا تزال هذه النماذج بمثابة "صناديق سوداء" ذات آليات داخلية غامضة. وبينما تقدمت أبحاث التفسيرية بشكل كبير لنماذج اللغات الكبيرة (LLMs) المقتصرة على النصوص من خلال طرق مثل اكتشاف الدوائر والمشفرات التلقائية المتفرقة (SAEs)، لم تُطبق هذه التقنيات بفعالية على نماذج الرؤية واللغة.

التحديات الرئيسية:

• تكامل الوسائط: يجب على نماذج الرؤية واللغة دمج البيانات البصرية واللغوية ذات الخصائص الإحصائية والدلالية المختلفة.
• الافتقار إلى الفهم السببي: تعتمد طرق تفسير نماذج الرؤية واللغة الحالية بشكل كبير على الارتباط (مثل تصور الانتباه) بدلاً من اكتشاف الدوائر السببية.
• تعدد الدلالات (Polysemanticity): غالباً ما تشفر التمثيلات العصبية في نماذج الرؤية واللغة مفاهيم متعددة غير مرتبطة في آن واحد، مما يجعل من الصعب عزل مسارات استدلال محددة.

تهدف الورقة إلى الإجابة على السؤال التالي: كيف تقوم نماذج الرؤية واللغة داخلياً بربط الميزات البصرية بالرموز (tokens)، وتنفيذ الاستدلال عبر الوسائط، وتنسيق الانتباه؟

2. المنهجية

قدم المؤلفون أول إطار عمل لـ "تتبع الدوائر" (Circuit Tracing) في نماذج الرؤية واللغة، مع تكييف تقنيات تفسير نماذج اللغات الكبيرة لتناسب المجال متعدد الوسائط. يتكون الإطار من خمسة مكونات أساسية:

أ. المحولات (Transcoders) لتفكيك الميزات

لمعالجة تعدد الدلالات، استبدل المؤلفون طبقات الـ MLP (المدرك متعدد الطبقات) القياسية في نموذج الرؤية واللغة بـ المحولات (Transcoders).

• الآلية: المحول هو مشفر تلقائي متفرق (SAE) يتم تدريبه لمحاكاة سلوك المدخلات والمخرجات لطبقة الـ MLP الأصلية.
• التفرق (Sparsity): بدلاً من استخدام عقوبة $L_1$، يفرضون التفرق عبر اختيار Top-K، حيث يتم الاحتفاظ بأكبر $k$ من التنشيطات فقط. ينتج عن ذلك ميزات أحادية الدلالة (monosemantic features) (ميزات تمثل مفهوماً واحداً).
• تتبع البواقي: بما أن المحولات هي تقريبات، يتم تتبع خطأ إعادة البناء ($MLP(x) - TC(x)$) كـ "عقدة خطأ" منفصلة في الرسم البياني للدائرة لضمان الدقة السببية.

ب. بناء رسم بياني للنسب (Attribution Graph)

يبني المؤلفون رسماً بيانياً موجهاً لتتبع العلاقات السببية بين الميزات.

• الخطية (Linearization): من خلال تجميد اللاخطيات (مثل ReLU وأنماط الانتباه) عند قيمها لـ "مطالبة" (prompt) معينة، يصبح النموذج خطياً محلياً.
• حساب النسب (Attribution Calculation): يتم حساب مساهمة ميزة مصدر $s$ في عقدة هدف $t$ كـ $A_{s \to t} = a_s \cdot w_{s \to t}$، حيث $a_s$ هو مقدار التنشيط و $w_{s \to t}$ هو "الوزن الافتراضي" المستمد من فك ترميز $s$، وجاكوبي (Jacobian) المحول المجمد، وتشفير $t$.
• تقليم الرسم البياني: يتم تقليم الحواف ذات النسب الضئيلة لإنشاء رسم بياني حسابي متفرق وقابل للتفسير.

ج. تفسير الميزات وتحليل الانتباه

• تحليل التنشيط: يتم تفسير الميزات من خلال تحليل أنماط تنشيطها عبر أزواج متنوعة من الصور والنصوص لتحديد القواسم المشتركة (مثل أشياء أو أنسجة أو مفاهيم محددة).
• انتباه مشفر الرؤية: لتفسير الرموز البصرية، يحسب المؤلفون خرائط انتشار الانتباه (attention-rollout maps) لمشفر الرؤية SigLIP. يوضح هذا المناطق الصورية التي تساهم في تمثيلات الرموز (token embeddings) التي تُمرر إلى النموذج اللغوي.

د. اكتشاف الدوائر

• الإنسان في الحلقة (Human-in-the-Loop): بينما يوجد اكتشاف آلي، يستخدم المؤلفون خبراء بشريين لتجميع الميزات ذات الوظائف المتشابهة في عقد مشتركة، مما يخلق رسماً بيانياً لدارة مبسطاً وعالي المستوى.
• التحقق: يتم التحقق من الدوائر من خلال التدخل (Intervention) و الترقيع الدائري (Circuit Patching).
  • التوجيه (Steering): تعديل تنشيطات الميزات لمراقبة تغير المخرجات.
  • الترقيع (Patching): نقل دائرة فرعية من سياق إلى آخر لاختبار ما إذا كان السلوك سينتقل.

3. المساهمات الرئيسية

1. أول إطار عمل لتتبع دوائر نماذج الرؤية واللغة: أرست الورقة أول طريقة منهجية لتتبع الدوائر الحسابية السببية في نماذج الرؤية واللغة مفتوحة المصدر (تحديداً Gemma3-4B-it).
2. محولات متعددة الوسائط: نجحوا في توسيع تقنية المحولات لتفكيك التمثيلات متعددة الوسائط ومتعددة الدلالات إلى ميزات أحادية الدالبة قابلة للتفسير.
3. التحقق السببي: من خلال توجيه الميزات والترقيع الدائري، أثبتوا أن الدوائر المكتشفة ليست مجرد ارتباطات بل هي آليات سببية يمكن التحكم فيها.
4. رؤى جديدة في الاستدلال متعدد الوسائط: يكشف الإطار كيف يتم دمج الميزات البصرية والدلالية هرمياً وكيف يتم الحفاظ على الفضاءات الكامنة البصرية المتميزة داخل مكون النموذج اللغوي.

4. النتائج الرئيسية والنتائج التجريبية

تم تطبيق الإطار على Gemma3-4B-it (باستخدام مشفر الرؤية SigLIP). وتشمل النتائج الرئيسية ما يلي:

• التكامل الهرمي: تتم معالجة المفاهيم البصرية والدلالية بشكل منفصل في الطبقات المبكرة. أما الترميز المشترك (الميزات التي تمثل مفاهيم بصرية ودلالية معاً) فلا يظهر إلا في الطبقات العليا (حوالي الطبقة 20)، مما يدعم فرضية "الربط التدريجي".
• الاستدلال الرياضي البصري: بالنسبة للحساب القائم على الصور (مثل "1 + 2")، يستخدم النموذج دوائر بصرية لحساب النتيجة (على سبيل المثال، تفعيل ميزة للرقم "3") بدلاً من الحساب الدلالي البحت.
• آلية الهلوسة (مشكلة "الأصابع الستة"): تكشف الدراسة أن الهلوسة (مثل عد ستة أصابع) تنشأ من التفاعل بين مشفر الرؤية (الذي يركز على دلالات "اليد" العامة) وديناميكيات الدائرة الداخلية. الميزات البصرية للرقم "6" يتم كبتها، بينما تقوم ميزات "اليد" بتنشيط دائرة "الخمسة" بقوة، مما يتجاوز العدد الفعلي.
• المسارات المتوازية: يحافظ النموذج على مسارات بصرية ودلالية متميزة في أعماق الشبكة. على سبيل المثال، صورة للمريخ تحفز ارتباطات "مكوك فضاء" عبر التشابه البصري، بشكل مستقل عن الإشارات النصية الدلالية. هذه المسارات تلتقي فقط في الطبقات النهائية.
• الفضاء الكامن البصري المتميز: تتجمع الميزات المتشابهة بصرياً (مثل قضاعة البحر، الفقمة، القندس) وتتنشط معاً، مما يشير إلى أن مكون النموذج اللغوي يحافظ على فضاء تمثيل بصري متميز.

5. الأهمية والتأثير

• القابلية للتفسير: ينقل تفسير نماذج الرؤية واللغة من الارتباط عالي المستوى إلى تحليل الدوائر السببية منخفض المستوى، مما يسمح للباحثين بتشخيص سبب فشل النموذج (مثل أنماط هلوسة محددة).
• القابلية للتحكم: يثبت أن نماذج الرؤية واللغة يمكن توجيهها أو ترقيعها من خلال التلاعب بميزات داخلية محددة، مما يوفر مساراً لتخفيف التحيزات أو الأخطاء دون إعادة التدريب.
• الرؤية العلمية: يوفر مخططاً لفهم كيفية دمج الآلات للرؤية واللغة، مما يشير إلى أن الاستدلال متعدد الوسائط يعتمد على تفاعل معقد بين المسارات البصرية والدلالية المتوازية التي تلتقي في النهاية.
• التصميم المستقبلي: تشير النتائج إلى إمكانية تحسين بنيات نماذج الرؤية واللغة المستقبلية من خلال الإدارة الصريحة لنقاط دمج المسارات البصرية والدلالية.

6. القيود

• الجهد البشري: يتطلب اكتشاف الدوائر حالياً تعليقاً يدوياً كبيراً من قبل الخبراء، مما يحد من القدرة على التوسع.
• جودة خرائط الانتباه: يمكن أن تكون خرائط انتباه مشفر الرؤية مشوشة أحياناً أو تفشل في تحديد المناطق ذات الصلة بدقة.
• التراكب عبر الطبقات (Cross-Layer Superposition): قد يفتقد نهج المحول لكل طبقة على حدة إلى تأثيرات التراكب عبر الطبقات، والتي قد تكون مهمة في نماذج الرؤية واللغة بسبب كثافة الميزات العالية.
• خصوصية النموذج: تقتصر الدراسة على Gemma3؛ ويظل التوسع ليشمل بنيات أخرى بمشفرات رؤية أو آليات انتباه مختلفة تحدياً مستقبلياً.

توافر الكود: أصدر المؤلفون الكود والنماذج الخاصة بهم على https://github.com/UIUC-MONET/vlm-circuit-tracing.