🤖 AI

Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models

تكشف هذه الورقة أن نماذج الرؤية واللغة الكبيرة تستخدم "دائرة عدّ" مهيكلة تشبه البشر للتحليل البصري، وتثبت أن الضبط الدقيق المستهدف على بيانات عدّ اصطناعية يعزز بشكل كبير كلاً من دقة العد والاستدلال البصري العام.

المؤلفون الأصليون: Liwei Che, Zhiyu Xue, Yihao Quan, Benlin Liu, Zeru Shi, Michelle Hurst, Jacob Feldman, Ruixiang Tang, Ranjay Krishna, Vladimir Pavlovic

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Liwei Che, Zhiyu Xue, Yihao Quan, Benlin Liu, Zeru Shi, Michelle Hurst, Jacob Feldman, Ruixiang Tang, Ranjay Krishna, Vladimir Pavlovic

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً عبقرياً وفائق الذكاء (نموذج لغوي بصري ضخم، أو LVLM)، يمكنه قراءة الكتب، وكتابة القصائد، ووصف الصور بتفاصيل مذهلة. قد تعتقد أنه يستطيع بسهولة عدّ التفاح في السلة، أليس كذلك؟

لكن المثير للدهشة هو أنه لا يستطيع. فحتى عندما يُعرض عليه صورة بسيطة لخمس نقاط سوداء، غالباً ما يخمن الروبوت أنها "أربع" أو "ست". الأمر يشبه وجود عبقري يستطيع تأليف سيمفونية، لكنه يضيع في العدّ إلى عشرة.

هذه الورقة البحثية هي قصة بوليسية حول سبب حدوث ذلك، وكيف قام الباحثون بإصلاحه من خلال النظر داخل عقل الروبوت.

المشكلة: "ضباب الدماغ" لدى الروبوت

اكتشف الباحثون أن هذه النماذج الذكية لا "تعدّ" بالطريقة التي يفعلها البشر.

البشر: لدينا قدرة خارقة تسمى التمييز الفوري (subitizing). إذا رأينا 1، 2، 3، أو 4 نقاط، فإننا نعرف العدد فوراً دون تفكير. أما إذا كان هناك 20، فنحن نقوم بالتقدير.
الذكاء الاصطناعي: يحاول حفظ الأنماط. إنه ينظر إلى الصورة ويخمن بناءً على ما رآه من قبل، بدلاً من عدّ كل عنصر واحداً تلو الآخر. إنه يشبه طالباً يحفظ إجابات اختبار الرياضيات لكنه لا يفهم كيفية الجمع.

التحقيق: فتح الدماغ

لإصلاح ذلك، استخدم الباحثون "مجهرين" جديدين للنظر داخل الشبكة العصبية للذكاء الاصطناعي (دماغه):

التلقيح البصري (اختبار الاستبدال): تخيل أن لديك روبوتاً يعد النقاط. يأخذ الباحثون صورة بها 3 نقاط ويستبدلون "الإشارة الدماغية" للنقاط بصورة تحتوي على 5 نقاط. إذا غير الروبوت إجابته فجأة من "3" إلى "5"، فهم يعرفون بالضبط أي جزء من الدماغ كان مسؤولاً عن العدّ.
عدسة الرأس - HeadLens (المترجم): يتكون دماغ الذكاء الاصطناعي من آلاف العمال الصغار (يُطلق عليهم "رؤوس الانتباه"). بعضهم ينظر إلى الألوان، وبعضهم إلى الأشكال، وبعضهم إلى الكلمات. "HeadLens" هي أداة تترجم ما يفكر فيه كل عامل صغير إلى لغة بشرية.

الاكتشاف: "دائرة العدّ"

باستخدام هذه الأدوات، وجدوا خط إنتاج محدد داخل دماغ الذكاء الاصطناعي مخصص للعدّ. وهو يعمل في أربع مراحل، مثل المصنع:

الماسحات (الطبقات المبكرة): هؤلاء العمال ينظرون إلى الصورة ويقولون: "أرى نقطة سوداء هنا، وأخرى هناك". هم فقط يلتقطون البيانات البصرية الخام.
المترجمون (الطبقات الوسطى): يأخذ هؤلاء العمال البيانات البصرية ("نقطة، نقطة، نقطة") ويحولونها إلى مفهوم ("ثلاثة"). إنهم يسدون الفجوة بين الرؤية والفهم.
المحاسبون (الطبقات المتأخرة): يجمع هؤلاء العمال كل المعلومات المترجمة ويقومون بجمعها. هم الذين يقررون الرقم النهائي فعلياً.
المديرون (الرؤوس الخاصة): هؤلاء العمال يتحققون: "هل يوجد شيء فعلي لعدّه؟" و "هل هذه الصورة صعبة للغاية للعدّ؟".

المفاجأة الكبرى: وجد الباحثون أن "دائرة العدّ" هذه ليست للعدّ فقط. إنها نفس خط الإنتاج الذي يستخدمه الذكاء الاصطناعي لـ الرياضيات، والمنطق، والاستنتاج المعقد. عندما يرتبك الذكاء الاصطناعي في العدّ، يكون ذلك لأن مصنع الاستنتاج بأكمله يعاني من التكدس.

الحل: "معسكر تدريب العدّ"

بدلاً من محاولة تعليم الذكاء الاصطناعي ليكون عبقرياً في كل شيء، قرر الباحثون إعطاءه معسكراً تدريبياً متخصصاً للعدّ فقط.

التدريب: قاموا بإنشاء الآلاف من الصور البسيطة والمملة لنقاط سوداء وأشكال ملونة على خلفية بيضاء.
الطريقة: لم يكتفوا بتعليم الذكاء الاصطناعي حفظ الإجابات. بل استخدموا "مجاريهم" (المجاهر) لدفع العمال المحدد (الماسحات، المترجمين، والمحاسبين) للقيام بمهامهم بشكل أفضل. أخبروا "الماسحات" أن تركز بقوة أكبر على النقاط، وأخبروا "المحاسبين" أن يكونوا أكثر ثقة في مجموعهم.

النتيجة: تأثير متتابع

هذا هو الجزء السحري: بإصلاح العدّ، قاموا بإصلاح الاستنتاج.

بعد هذا "المعسكر التدريبي للعدّ" البسيط، لم يصبح الذكال الاصطناعي أفضل في عدّ النقاط فحسب، بل أصبح أفضل في:

حل المسائل الرياضية.
الإجابة على أسئلة معقدة حول العالم الحقيقي.
فهم الألغاز البصرية الصعبة.

التشبيه:
فكر في دماغ الذكاء الاصطناعي كمدينة مزدحمة. "دائرة العدّ" هي الطريق السريع الرئيسي الذي يربط الضواحي بمنطقة الأعمال في وسط المدينة.

قبل: كان الطريق السريع مليئاً بالحفر (العدّ السيئ). تعطلت حركة المرور (المعلومات)، لذا لم تستطع شركات وسط المدينة (الاستنتاج المعقد) الحصول على الإمدادات.
بعد: قام الباحثون فقط بإصلاح الحفر في ذلك الطريق السريع (عن طريق التدريب على النقاط البسيطة).
النتيجة: ليس فقط تحسنت حركة المرور للعدّ، بل بدأت كل الشركات في المدينة تعمل بشكل أفضل لأن خط الإمداد الرئيسي قد فُتح أخيراً.

الخلاصة

تعلمنا هذه الورقة البحثية أن العدّ هو أساس الذكاء البصري. لا يمكنك امتلاك ذكاء اصطناعي ذكي لا يستطيع العدّ. من خلال تعليم هذه النماذج العدّ بشكل صحيح باستخدام صور اصطناعية بسيطة، فإننا نفتح قدرتها على التفكير المنطقي حول العالم المعقد من حولها. إنه تذكير بأنه في بعض الأحيان، لبناء ناطحة سحاب، تحتاج فقط إلى التأكد من أن الأساس متين.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "Counting Circuits: Mechanistic Interpretability of Visual Reasoning in Large Vision-Language Models" (دوائر العدّ: التفسير الآلي للاستدلال البصري في النماذج اللغوية البصرية الكبيرة).

1. بيان المشكلة

أظهرت النماذج اللغوية البصرية الكبيرة (LVLMs) قدرة مذهلة على التعميم في مهام الاستدلال البصري، ومع ذلك، فإنها تظهر فشلاً جوهرياً في العدّ. فحتى في المهام البسيطة مثل عدّ أقل من عشر نقاط سوداء، غالباً ما تفشل هذه النماذج بشكل كبير مقارنة بالرؤية البشرية.

السؤال الجوهري: هل هذا الفشل ناتج عن نقص في قدرة الاستدلال، أم أن النموذج يعتمد مجرد اعتماد على الارتباطات الإحصائية والتحيزات المسبقة للبيانات (الحفظ) بدلاً من تنفيذ آلية عدّ حقيقية؟
الفجوة: غالباً ما تتعامل الأعمال الحالية مع العدّ كمهمة معزولة أو تعتمد على سبر (probing) خشن (مثل السبر الخطي على بيانات اصطناعية) الذي يفشل في الكشف عن الآليات على مستوى الدوائر (رؤوس الانتباه المحددة وتفاعلات الطبقات) المسؤولة عن العدّ. علاوة على ذلك، ليس من الواضح ما إذا كان تحسين العدّ يعزز قدرات الاستدلال البصري الأوسع.

2. المنهجية

يستخدم المؤلفون نهجاً مزدوجاً يجمع بين المعايير القياسية الاصطناعية المتحكم بها والتفسير الآلي لتشريح كيفية معالجة النماذج اللغوية البصرية الكبيرة لمهام العدّ.

أ. المعايير القياسية والمواءمة المعرفية

البيانات الاصطناعية: قدموا SynDot (نقاط سوداء على خلفية بيضاء) و SynPoly (مضلعات ملونة) لعزل الاستدلال الرقمي عن الفوضى البصرية. كما استخدموا SynReal (أجسام واقعية تم إنشاؤها بواسطة FLUX.1) لاختبار البيانات خارج التوزيع (OOD).
النتائج المعرفية: تؤكد الدراسة أن النماذج اللغوية البصرية الكبيرة تظهر خاصية "العدّ السريع" (subitizing) البشرية (دقة مثالية للمجموعات الصغيرة، $N \le 4$ ) وتقديراً مشوشاً للمجموعات الأكبر. ويكشف تحليل الحالة الخفية عبر t-SNE أن الكميات الصغيرة تشكل عناقيد متميزة، بينما تعاني الكميات الأكبر من تشابك طوبولوجي في الفضاء الكامن، مما يحاكي القيود المعرفية البشرية.

ب. أدوات التفسير الآلي

للكشف عن "دائرة العدّ"، اقترح المؤلفون طريقتين جديدتين:

الترقيع التنشيطي البصري (Visual Activation Patching - VAP): وهو امتداد لتقنية الترقيع التنشيطي للمدخلات متعددة الوسائط. من خلال استبدال الحالات الخفية بين الصور النظيفة والمصححة (مثلاً 3 نقاط مقابل 5 نقاط)، يتتبعون تدفق معلومات العدّ.
- النتيجة: تتدفق المعلومات من رموز الصورة (الطبقات المبكرة) $\leftarrow$ التوجيه عبر الوسائط (الطبقات الوسطى، $L15-22$ ) $\leftarrow$ رموز النص/المطالبة (الطبقات المتأخرة).
عدسة الرأس (HeadLens): أداة جديدة تقوم بفك تشفير رؤوس الانتباه الفردية إلى رموز دلالية دون الحاجة لتدريب نماذج سبر منفصلة. وهي تستفيد من خاصية الجمع المصفوفي الكتلي لإسقاطات الانتباه لعزل مساهمة رأس واحد في التدفق المتبقي (residual stream).
- الميزة: على عكس "AttentionLens"، تتجنب "HeadLens" إجبار كل رأس على محاكاة المخرج النهائي، مما يحافظ على الإشارة السببية المتفرقة للرؤوس الوظيفية المحددة.

ج. اكتشاف الدائرة

باستخدام VAP و HeadLens، حدد المؤلفون أربع فئات وظيفية متميزة من رؤوس الانتباه الضرورية للعدّ:

رؤوس التأسيس البصري (الطبقات المبكرة، مثل الطبقة 1): تستخرج الميزات منخفضة المستوى (اللون، الشكل، الحدود) مباشرة من رموز الصورة.
رؤوس التوجيه عبر الوسائط (الطبقات الوسطى، مثل الطبقات 18–24): تترجم المعلومات المكانية البصرية إلى مفاهيم رقمية مجردة، مما يسد الفجوة بين الرؤية واللغة.
رؤوس تجميع العدّ (الطبقات المتأخرة، مثل الطبقات 23–28): تجمع المعلومات الموجهة وتولي انتباهاً شديداً للمطالبة النصية لإنشاء الرمز الرقمي النهائي.
رؤوس الوعي (الطبقات المتأخرة): رؤوس متخصصة تكتشف وجود الأجسام وتقدر صعوبة المهمة (على سبيل المثال، إخراج كلمات مثل "صعب" أو "مستحيل" للأعداد المرتفعة).

د. استراتيجية التدخل

بناءً على هذه النتائج، يقترح المؤلفون تدخلاً خفيف الوزن لتعزيز العدّ:

منظم الانتباه المرتكز على الأجسام ( $L_{focus}$ ): يشرف على رؤوس الانتباه في الطبقات المبكرة والمتوسطة ليتماشى مع مراكز الأجسام في الصور الاصطناعية، مما يجبر النموذج على التركيز على الحالات الفردية.
ضبط درجة حرارة الرأس التكيفي: يقلل من الإنتروبيا لرؤوس "العدّ" المحددة (التوجيه والتجميع) لزيادة حدة تركيزها على الرموز ذات الصلة.
التدريب: يتم ضبط النموذج بدقة (fine-tuning) حصرياً على صور اصطناعية بسيطة (SynDot/SynPoly) باستخدام الضبط الدقيق تحت الإشراف (SFT) مع المنظم.

3. المساهمات الرئيسية

المواءمة المعرفية: أثبتت الدراسة أن النماذج اللغوية البصرية الكبيرة تشترك في نفس التباين بين "العدّ السريع والتقدير" كما لدى البشر، وهو ما يتجذر في البنية الطوبولوجية لمنوعات الحالة الخفية (hidden state manifolds).
الابتكار المنهجي: تقديم الترقيع التنشيطي البصري للمدخلات متعددة الوسائط، و HeadLens، وهي أداة أكثر كفاءة وأمانة لاكتشاف الدوائر على مستوى الرأس مقارنة بالطرق الحالية.
اكتشاف الدائرة: رسم خارطة لـ "دائرة عدّ" مهيكلة تتكون من أربعة أنواع من الرؤوس (التأسيس، التوجيه، التجميع، الوعي) والتي تتشارك بشكل كبير عبر نماذج مختلفة (Qwen2.5-VL, Qwen3-VL, LLaVA).
التعميم عبر العدّ: إثبات أن تعزيز هذه المهارة الأولية المحددة (العدّ) عبر التدخل بالبيانات الاصطناعية يعزز بشكل كبير الأداء في مهام الاستدلال البصري المعقدة خارج نطاق التوزيع.

4. النتائج

تم اختبار التدخل المقترح على نماذج Qwen2.5-VL-7B، و Qwen3-VL-8B، و LLaVA-1.5-7B.

أداء العدّ:
- داخل النطاق (In-Distribution): تحسن ملحوظ في SynDot و SynPoly (على سبيل المثال، ارتفعت دقة Qwen2.5-VL في SynDot من 76.12% إلى 89.20%).
- خارج النطاق (OOD): متوسط تحسن قدره +8.36% في معايير العدّ في العالم الحقيقي (SynReal, PixMo-Count).
- المتانة: تحسن الأداء في الأعداد التي تتجاوز نطاق التدريب (11–30)، مما يثبت أن النموذج تعلم آلية وليس مجرد حفظ الأرقام.
الاستدلال البصري العام:
- رغم التدريب فقط على العدّ، أظهرت النماذج مكاسب متوسطة قدرها +1.54% في المعايير العامة (MMMU, RealWorldQA, MathVista).
- تجربة التحكم: التدريب على مهمة بصرية غير استدلالية (التعرف على اللون/الشكل) لم يؤدِ إلى أي تحسن (بل أدى إلى تراجع طفيف) في معايير الاستدلال العام، مما يؤكد أن الانتقال مرتبط بطبيعة "الاستدلال" في العدّ، وليس مجرد الضبط البصري.
التداخل الميكانيكي: أظهر تحليل تشابه جاكارد (Jaccard similarity) أن أعلى 20 رأساً أهمية للعدّ تشترك في أكثر من 33% من التداخل مع الرؤوس المستخدمة في العلاقات المكانية والاستدلال الرياضي، مما يؤكد أن العدّ يعمل كأساس أولي أوسع للذكاء البصري.

5. الأهمية

تغير هذه الورقة جذرياً المنظور حول قدرات النماذج اللغوية البصرية الكبيرة:

العدّ كأداة سبر: العدّ ليس مجرد مهمة تافهة، بل هو أداة سبر صارمة تكشف عن "الأسلاك" الداخلية للاستدلال البصري.
الدوائر المشتركة: تقدم الدراسة دليلاً على أن النماذج اللغوية البصرية الكبيرة تمتلك دوائر استدلال بصري عامة (خاصة التوجيه عبر الوسائط والتجميع) مشتركة عبر المهام المختلفة.
التعزيز الفعال: توضح أن التدخلات المستهدفة وخفيفة الوزن على دوائر ميكانيكية محددة (باستخدام بيانات اصطناعية بسيطة) يمكن أن تحقق مكاسب غير متناسبة في قدرات الاستدلال المعقدة في العالم الحقيقي. وهذا يشير إلى مسار لتحسين النماذج اللغوية البصرية ليس عبر توسيع البيانات الضخمة، بل من خلال فهم وصقل آلياتها الحسابية الداخلية.