Do LLMs and VLMs Share Neurons for Inference? Evidence and Mechanisms of Cross-Modal Transfer

إليك ملخص تقني مفصل للورقة البحثية بعنوان "هل تتشارك نماذج اللغات الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs) في العصبونات من أجل الاستدلال؟ الأدلة والآليات لنقل المعرفة عبر الوسائط".

1. بيان المشكلة

حققت نماذج الرؤية واللغة الكبيرة (LVLMs) تقدماً سريعاً في مهام الإدراك، لكنها لا تزال تتخلف باستمرار عن نماذج اللغات الكبيرة (LLMs) المعتمدة على النصوص فقط في الاستدلال متعدد الخطوات واتخاذ القرار التركيبي (مثل: التفكير الرياضي المعقد، وحل المشكلات العلمية).

• القيود الحالية: النهج السائد لسد هذه الفجوة هو توسيع نطاق نماذج (LVLMs) عبر المزيد من البيانات متعددة الوسائط وأحجام النماذج الأكبر. ومع ذلك، فإن البيانات عالية الجودة التي تربط بين الصور والتعليلات (image-rationale) نادرة مقارنة بمتون النصوص، ولا يزال من غير الواضح كيفية نقل قدرات الاستدلال الناضجة لنماذج (LLMs) إلى البيئات متعددة الوسائط بفعالية دون الحاجة لإعادة تدريب مكلفة.
• السؤال الجوهري: هل يمكن نقل قدرات الاستدلال الناضجة نسبياً لنماذج (LLMs) إلى نماذج (LVLMs) بتكلفة منخفضة من خلال الاستفادة من الآليات الحسابية المشتركة؟

2. المنهجية

يقترح المؤلفون نهجاً يتكون من ثلاث مراحل: الاكتشاف، التحقق، والنقل.

أ. الاكتشاف: تحديد عصبونات الاستدلال المشتركة

يفترض المؤلفون أن نماذج (LLMs) ونماذج (LVLMs)، رغم اختلاف وسائطها ومتون تدريبها، تستخدم مسارات داخلية متداخلة للاستدلال.

• توصيف العصبونات: حددوا "متن كشف العصبونات" الذي يتكون من مطالبات استدلالية (مثل: مسائل رياضية مع تعليلات صحيحة). قاموا بتوصيف أنماط التنشيط في كل من نماذج (LLMs) النصية فقط (مثل: Qwen2.5-Math) ونماذج (LVLMs) (مثل: Qwen2.5-VL).
• تعريف التنشيط: يُعت-بر العصبون "منشطاً" إذا أدى تصفير معاملاته إلى تغيير كبير في تضمين مخرجات النموذج (مقاساً بمعيار $L_2$ norm).
• التقاطع: قاموا بحساب تقاطع أكثر العصبونات تنشيطاً عبر أزواج النماذج. كما حللوا أنواعاً محددة من العصبونات:
  • MLP/FFN: طبقات fwd.up و fwd.down (الطبقات الأمامية).
  • الانتباه (Attention): المصفوفات attn.q و attn.k و attn.v (الاستعلام، المفتاح، والقيمة).

ب. التحقق: الاستقصاء السببي عبر التضخيم

للتحقق من أن هذه العصبونات المشتركة مسؤولة وظيفياً عن الاستدلال (بدلاً من كونها مجرد تداخل عرضي):

• الاستئصال السببي (Causal Ablation): قاموا بتصفير معاملات العصبونات المشتركة ($N_{shared}$). أدى ذلك إلى انهيار أداء (LVLM) في مهام الاستدلال إلى الصفر تقريباً، بينما تسبب الاستئصال العشوائي لنفس العدد من العصبونات في انخفاض متوسط فقط.
• تحليل التضخيم: قاموا بتضخيم تنشيطات العصبونات المشتركة ($N \leftarrow \lambda \cdot N$). أدى ذلك إلى تعزيز سلوكيات الاستدلال بشكل منهجي.
• استخراج المفاهيم: من خلال تحليل الرموز (tokens) المولدة أثناء التضخيم، وجدوا أن العصبونات المشتركة تشفر مفاهيم محددة وقابلة للتفسير، لا سيما العمليات الرياضية (مثل: الجبر، الهندسة، الحساب) والبنى المنطقية.

ج. النقل: دمج العصبونات المشتركة منخفض الرتبة (SNRF)

بناءً على اكتشاف "فضاء الاستدوت الفرعي المشترك"، يقترحون SNRF، وهو إطار عمل فعال من حيث المعلمات لنقل قدرات الاستدلال من نموذج (LLM) مصدر إلى نموذج (LVLM) مستهدف دون تدريب واسع النط scale.

• الآلية:
  1. تحديد المؤشرات المشتركة: تحديد مجموعة العصبونات المشتركة $S_{\ell,p}$ لكل طبقة $\ell$ ونوع إسقاط $p$.
  2. حساب فرق الأوزان: حساب مصفوفة الفرق $\Delta = W_{src} - W_{tgt}$ بين (LLM) المصدر و(LVLM) المستهدف.
  3. التقريب منخفض الرتبة: إجراء تحليل القيمة المفردة (SVD) على $\Delta$ للحصول على تقريب منخفض الرتبة $\Delta^{(r)}$.
  4. الحقن الانتقائي: تحديث أوزان الهدف فقط ضمن الفضاء الفرعي المشترك:
     $$\tilde{W}_{\ell,p} = W_{tgt} + \beta \cdot M_{S_{\ell,p}}(\Delta^{(r)}_{\ell,p})$$
     حيث أن $M$ هو عامل قناع (masking operator) يحافظ فقط على العصبونات المشتركة، و $\beta$ يتحكم في قوة التحديث.
• الضمان النظري: يثبت المؤلفون أنه بالنسبة لقيم $\beta$ الصغيرة، يحقق (SNRF) خسارة أقل من الدمج الخطي (متوسط الأوزان) لأنه يتجنب تحديث المعلمات غير المشتركة حيث يكون انحناء مشهد الخسارة مرتفعاً، مما يحافظ على القدرات الإدراكية لـ (LVLM).

3. المساهمات الرئيسية

1. الاكتشاف التجريبي للفضاء الفرعي المشترك: تقدم الورقة أول دليل على أن أكثر من 50% من العصبونات الأكثر تنشيطاً أثناء الاستدلة متعدد الخطوات هي عصبونات مشتركة بين نماذج (LLMs) و(LVLMs) التمثيلية، حتى عبر عائلات نماذج مختلفة (مثل: Qwen مقابل Idefics). وتتركز هذه العصبونات بشكل أساسي في مصفوفات الانتباه المفتاح (Key - attn.k) والقيمة (Value - attn.v).
2. التفسير السببي: من خلال التضخيم والاستئصال، يوضح المؤلفون أن هذه العصبونات المشتركة ليست عامة بل تشفر دلالات مفهومية سببية (تحديداً الرياضيات والمنطق). فهي ضرورية للاستدلال؛ وإزالتها تدمر القدرة على الاستدلال.
3. إطار عمل SNRF: طريقة مبتكرة وفعالة من حيث المعلمات لنقل دوائر الاستدلال. تحقق تحسينات في الأداء في معايير الاستدلال (SOTA) مع الحفاظ على الإدراك البصري لـ (LVLM) والمتانة ضد الهلوسة، دون الحاجة لبيانات تدريب متعددة الوسائط جديدة.

4. النتائج التجريبية

تم تقييم الطريقة على معايير متنوعة تشمل MathVista (الاستدلال الرياضي)، ScienceQA، MMMU/MMMU-Pro (الاستدلال العام متعدد الوسائط)، MME (الإدراك)، و POPE (الهلوسة).

• أداء الاستدلال:
  • MathVista: حسّن (SNRF) درجات الحل (Solution scores) بمقدار +4.7 (لنموذج 3B) و +4.6 (لنموذج 7B) نقطة فوق النماذج الأساسية.
  • ScienceQA: مكاسب كبيرة، مثل +22.6 نقطة لنموذج Qwen2.5-VL-3B.
  • MMMU-Pro: تحسين درجات الاستدلال القائم على التحقق (مثلاً: 0.116 $\to$ 0.179 لنموذج Qwen2.5-VL-7B).
• الحفاظ على القدرات:
  • الإدراك (MME): زادت الدرجات أو ظلت مستقرة (مثلاً: +32 نقطة لنموذج Qwen2.5-VL-7B)، مما يشير إلى عدم تدهور الفهم البصي.
  • الهلوسة (POPE): ظلت الدرجات دون تغيير فعلي، مما يثبت أن الطريقة لا تسبب هلوسات جديدة.
• المقارنة مع النماذج المرجعية: تفوق (SNRF) على استراتيجيات الدمج الأخرى (Linear, DARE, FRANK) وعلى النماذج القائمة على التدريب (SFT, RL) في المقاييس التي تركز على الاستدلال، مع كونه أكثر كفاءة في استخدام المعلمات بشكل كبير.

5. الأهمية

• الرؤية النظرية: تتحدى هذه الورقة فكرة أن التدريب الخاص بكل وسيط مطلوب حصرياً للاستدلال. فهي تشير إلى أن دوائر الاستدلال مستقلة عن الوسائط وتقبع في فضاء فرعي عصبي مشترك، والذي يُرجح أنه تشكل بفعل العمود الفقري اللغوي المشترك وطبيعة الاستدلال المنطقي نفسه.
• الأثر العملي: يوفر (SNRF) مساراً منخفض التكلفة ولا يتطلب تدريباً لترقية نماذج (LVLMs). بدلاً من جمع مجموعات بيانات ضخمة تربط الصور بالتعليلات وإعادة التدريب، يمكن للممارسين ببساطة "حقن" قدرات الاستدلال من نموذج (LLM) ناضج في نموذج (LVLM) عبر تحديث مجموعة صغيرة من المعلمات.
• التفسيرية: تسد الدراسة الفجوة بين أداء النموذج "الصندوق الأسود" والتفسير الآلي، حيث تُظهر أن عصبونات محددة يمكن عزلها وفهمها والتحكم بها للسيطرة على سلوك النموذج (تحديداً الاستدلال مقابل الإدراك).

باختاً، تثبت الورقة أن نماذج (LLMs) ونماذج (LVLMs) تتشاركان في "دماغ استدلالي" داخل بنيتهما العصبية. ومن خلال تحديد وتحديث هذه العصبونات المشتركة بشكل انتقائي، يمكن نقل مهارات الاستدلال رفيعة المستوى إلى النماذج متعددة الوسائط بكفاءة دون المساس بقدراتها البصرية.