🤖 AI

VisRef: Visual Refocusing while Thinking Improves Test-Time Scaling in Multi-Modal Large Reasoning Models

تقترح الورقة البحثية VisRef، وهو إطار عمل فعال حاسبياً لتوسيع النطاق أثناء وقت الاختبار، يعمل على تحسين أداء الاستدلال متعدد الوسائط من خلال إعادة حقن مجموعة فرعية (coreset) متنوعة وذات صلة دلالياً من الرموز البصرية ديناميكياً لمنع النماذج من فقدان التركيز على محتوى الصورة أثناء الاستدلال النصي الممتد.

المؤلفون الأصليون: Soumya Suvra Ghosal, Youngeun Kim, Zhuowei Li, Ritwick Chaudhry, Linghan Xu, Hongjing Zhang, Jakub Zablocki, Yifan Xing, Qin Zhang

نُشر 2026-03-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Soumya Suvra Ghosal, Youngeun Kim, Zhuowei Li, Ritwick Chaudhry, Linghan Xu, Hongjing Zhang, Jakub Zablocki, Yifan Xing, Qin Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث VisRef، مترجم إلى لغة بسيطة مع تشبيهات إبداعية.

المشكلة: "المحقق النسيّ"

تخيل أنك محقق تحاول حل لغز معقد بناءً على صورة لمسرح الجريمة وبعض شهادات الشهود.

في الأيام الخوالي، كانت نماذج الذكاء الاصطناعي مثل المحققين الذين ينظرون إلى الصورة مرة واحدة، ويأخذون نظرة سريعة، ثم يبدأون في كتابة تقريرهم. كانوا يتحدثون إلى أنفسهم لفترة طويلة ("انتظر، دعني أفكر... ربما كان المسدس يُستخدم باليد اليسرى...").

لكن هنا تكمن المشكلة: كلما طالت مدة حديثهم مع أنفسهم، زاد نسيانهم للصورة.

بينما كان الذكاء الاصطناعي يولد سلاسل أطول فأطول من الأفكار (النصوص)، بدأ انتباهه يبتعد عن الأدلة البصرية. بدأ يعتمد كلياً على ذاكرته ومعرفته العامة (المعلومات النصية المسبقة) بدلاً مما هو موجود بالفعل في الصورة. كان الأمر يشبه محققاً يغمض عينيه، ويدور حول نفسه، ويخمن الإجابة بناءً على حدس، ناسياً النظر إلى الأدلة الموجودة على الطاولة. وهذا ما يسمى بـ "التمييع البصري" (Visual Dilution).

الحلول القديمة: التدريب المكلف

حاول العلماء إصلاح ذلك بطريقتين:

إعادة تدريب المحقق: استخدموا التعلم المعزز (RL) لتعليم الذكاء الاصطناعي: "مهلاً، في كل مرة تكتب فيها جملة، انظر مجدداً إلى الصورة!". نجح هذا، لكن الأمر كان يشبه توظيف فريق من 50 مدرساً لإعادة تعليم المحقق من الصفر. لقد كان الأمر مكلفاً للغاية وبطيئاً.
مجرد التفكير لفترة أطول: حاولوا جعل الذكاء الاصطناعي يفكر لفترة أطول حتى (التفكير الذاتي النصي). لكن هذا جعل المشكلة أسوأ؛ حيث كان الذكاء الاصطناعي يضيع أكثر في أفكاره وينسى الصورة بشكل أسرع.

الحل الجديد: VisRef (الـ "نظرة الذكية")

اقترح مؤلفو هذه الورقة البحثية نظام VisRef. طرحوا سؤالاً بسيطاً: "هل يمكننا جعل المحقق ينظر مجدداً إلى الصورة دون إعادة تدريبه على الإطلاق؟"

الإجابة هي نعم. إن VisRef هو إطار عمل "لا يتطلب تدريباً" (training-free). فهو لا يغير عقل الذكاء الاصطناعي، بل يغير فقط كيفية نظره إلى الصورة أثناء التفكير.

كيف يعمل VisRef (التشبيه)

تخيل أن الذكاء الاصطناعي يحل مسألة رياضية على سبورة بيضاء بجانبها رسم توضيحي.

"المجموعة الجوهرية": يحتوي الرسم التوضيحي على مئات التفاصيل الصغيرة (البكسلات). إذا حاول الذكاء الاصطناعي النظر إلى كل بكسل بمفرده في كل مرة يكتب فيها جملة، فسيشعر بالإرهاق ويصبح بطيئاً.
الاختيار الذكي (DPP): يعمل VisRef مثل كشاف ضوئي ذكي. بدلاً من تسليط الضوء على الغرفة بأكملها، يستخدم خدعة رياضية (تسمى عملية النقطة المحددة - Determinanteal Point Process) لاختيار أهم 30% من التفاصيل ذات الصلة في تلك اللحظة.
- الصلة: يختار الأجزاء من الصورة التي تتوافق مع ما يفكر فيه الذكاء الاصطناعي حالياً (على سبيل المثال، إذا كان الذكاء الاصطناعي يتحدث عن "سيارة حمراء"، فإن الكشاف يركز على السيارة الحمراء).
- التنوع: يضمن أن الكشاف لا يكتفي بالتحديق في إطار السيارة خمس مرات. بل ينتشر ليرى العجلات، والسائق، والخلفية. إنه يضمن رؤية واسعة ومتنوعة.
"إعادة الحقن": في كل مرة يتخذ فيها الذكاء الاصطناعي خطوة في تفكيره المنطقي، يقوم VisRef بإعادة حقن هذه الأدلة البصرية المختارة في عقل الذكاء الاصطناعي. إنه يشبه المحقق الذي يتوقف عن مونولوجه، ويفتح عينيه، وينظر إلى أدلة محددة على الطاولة، ثم يواصل عملية التفكير بعيون جديدة.
معرفة متى يتوقف: يمتلك VisRef أيضاً "مقياس ثقة". إذا كان الذكاء الاصطناعي متأكداً بنسبة 99% من الإجابة (إنتروبيا منخفضة)، فإنه يتوقف عن التفكير ويعطي الإجابة. وإذا كان مرتبكاً، فإنه يستمر في النظر إلى الصورة والتفكير أكثر.

لماذا يعد هذا أمراً مهماً؟

لا حاجة للتدريب: يمكنك أخذ أي نموذج ذكاء اصطناعي ذكي موجود وتوصيل VisRef به مثل وحدة تخزين USB. لا يتطلب الأمر إعادة تدريب مكلفة.
دقة أفضل: في الاختبارات (مثل MathVista و MM-Star)، حققت النماذج التي تستخدم VisRef درجات أفضل بكثير (بزيادة تصل إلى 6.4%) من النماذج التي اكتفت بـ "التفكير لفترة أطول" أو النماذج التي أُعيد تدريبها لتنظر مجدداً.
الكفاءة: لا يضيع الوقت في النظر إلى أجزاء غير ذات صلة من الصورة. إنه ينظر فقط إلى ما يهم.

الخلا الخلاصة

VisRef يشبه إعطاء عبقري نسيّ نظام الملاحظات اللاصقة.

بدلاً من ترك العبقري يهذي وينسى الصورة، يجبره VisRef على التوقف، ولصق بعض "الملاحظات اللاصقة" (الأدلة البصرية) ذات الصلة مجدداً على مكتبه، وتذكيره بالأدلة قبل أن يواصل تفكيره البارع. إنه يبقي الذكاء الاصطناعي متجذراً في الواقع، مما يضمن أنه كلما فكر أكثر، أصبح أكثر ذكاءً، بدلاً من أن يزداد هلوسة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "VisRef: إعادة التركيز البصري أثناء التفكير يحسن توسيع وقت الاختبار في النماذج اللغوية الكبيرة متعددة الوسائط."

1. بيان المشكلة

مشكلة التخفيف البصري (Visual Dilution):
أظهرت النماذج اللغوية الكبيرة متعددة الوسائط (MLRMs) نجاحاً من خلال توسيع سلسلة التفكير (Chain-of-Thought - CoT) لتشمل المهام المرئية-اللغوية. ومع ذلك، يوجد قصور حرج: مع توليد هذه النماذج لمسارات استدلال أطول (توسيع وقت الاختبار)، يتضاءل انتباهها للرموز البصرية (visual tokens) تدريجياً.

الآلية: مع توسع نافذة السياق عبر خطوات الاستدلال النصي، تصبح الرموز البصرية "مخففة". يعتمد النموذج بشكل متزايد على الأولويات النصية (textual priors) بدلاً من تأصيل استدلاله في محتوى الصورة الفعلي.
النتيجة: يؤدي هذا إلى الهلوسة البصرية وتدهور الأداء في المهام الحرجة بصرياً (مثل الهندسة، أو تفسير المخططات البيانية)، رغم أن النموذج "يفكر" لفترة أطول.
محدودية الحلول الحالية:
- الضبط الدقيق بالتعلم التعزيزي (RL Fine-tuning): الطرق مثل "Look-Back" تدرب النماذج على إعادة زيارة الصور صراحةً. ورغم فعاليتها، إلا أنها مكلفة حاسوبياً، وتتطلب مجموعات بيانات ضخمة مشروحة، وليست قابلة للتوسع بسهولة.
- توسيع وقت الاختبار المتمحور حول النص: الطرق التي تكتفي بتوسيع الاستدلال عبر التأمل الذاتي (مثل "انتظر، فكر أكثر") تفشل في معالجة مشكلة التخفيف البصري، لأنها تكتفي بتوسيع السلسلة النصية دون إعادة تأصيل المدخلات البصرية.

السؤال الجوهري: هل يمكننا استعادة التأصيل البصري بالكامل عند "وقت الاختبار" دون أي إعادة تدريب للنموذج أو ضبط دقيق بالتعلم التعزيزي؟

2. المنهجية: VisRef

يقترح المؤلفون VisRef، وهو إطار عمل لا يتطلب تدريباً (training-free) يقوم بإعادة حقن مجموعة فرعية مختارة بعناية من الرموز البصرية بشكل تكيفي أثناء عملية الاستدلال.

أ. الآلية الأساسية: إعادة حقن الرموز البصرية التكيفية

بدلاً من معالجة الصورة مرة واحدة في البداية، يقوم VisRef باختيار وإعادة حقن مجموعة فرعية من الرموز البصرية ديناميكياً عند كل خطوة استدلال $k$ .

المدخلات: صورة $I$ ونص $T$ .
الرموز البصرية: مجموعة $V = \{v_1, ..., v_N\}$ مستخرجة من الصورة.
العملية: عند الخطوة $k$ ، يولد النموذج مسار استدلال $z_k$ . ثم يقوم VisRef باختيار مجموعة فرعية $V_k \subset V$ لإعادة حقنها، مما يحدث السياق ليصبح $\tau_{1:k} = \{(z_1, V_1), ..., (z_k, V_k)\}$ .

ب. اختيار الرموز البصرية عبر العمليات النقطية المحددية (DPP)

يعد تحديد أي الرموز يجب إعادة حقنها هو التحدي المركزي. إن إعادة حقن جميع الرموز بشكل عشوائي أمر غير ممكن حسابياً. يصيغ VisRef هذه العملية كمسألة تحسين لإيجاد "مجموعة أساسية" (coreset) تكون ذات صلة بالحالة الاستدلالية الحالية ومتنوعة في التغطية البصرية.

الصلة (Relevance): يجب أن تتوافق الرموز مع الحالة الاستدلالية النصية الحالية $z_k$ .
التنوع (Diversity): يجب أن تغطي الرموز أجزاء مختلفة من الصورة لتجنب التكرار.

الصياغة الرياضية:
يستخدم المؤلفون العمليات النقطية المحددة (Determinantal Point Processes - DPP) للموازنة بين هذين الهدفين.

يقومون بإسقاط الرموز البصرية في الفضاء الجزئي المحدد بواسطة رموز النص الحالية $z_k$ باستخدام مصفوفة نواة (kernel matrix) $L_k$ .
هدف الاختيار هو تعظيم المحدد (determinant) لمصفوفة النواة المقيدة بالمجموعة الفرعية المختارة $V_k$ :
$\hat{V}_k = \arg \max_{V_k \subseteq V} \det(L_{V_k}^k)$
التفكيك: تعظيم $\log \det(L_{V_k}^k)$ يتفكك طبيعياً إلى:
$\log \det(L_{V_k}^k) = \underbrace{\sum \log(r_i^2)}_{\text{الصلة}} + \underbrace{\log \det(\bar{L}_{V_k}^k)}_{\text{التنوع}}$
حيث $r_i$ هي درجة الصلة للرمز $i$ ، و $\bar{L}$ هي نواة التنوع المعيارية.
الكفاءة: بما أن التحسين الدقيق هو مسألة معقدة (NP-hard)، فإنهم يستخدمون خوارزمية اختيار جشعة (greedy selection algorithm) مع ميزانية ثابتة للرموز $m$ (مثلاً 30% من إجمالي الرموز البصرية) لتقريب الحل بكفاءة.

ج. معيار التوقف التكيفي

لمنع "الإفراط في التفكير" (والذي قد يؤدي لتدهور الأداء) وللحد من التكلفة الحسابية، يستخدم VisRef معيار توقف يعتمد على الإنتروبيا (Entropy).

عند كل خطوة، يحسب النموذج الإنتروبيا $H_k$ لتوزيع الإجابة الخاص به.
إذا كان $H_k < \delta_{entropy}$ (عتبة الثقة)، يتوقف النموذج عن الاستدلال ويخرج الإجابة النهائية.
يسمح هذا للنموذج بالاستمرار في التفكير للمشكلات المعقدة والتوقف مبكراً للمشكلات البسيطة.

3. المساهمات الرئيسية

إطار عمل لا يتطلب تدريباً: يحقق VisRef إعادة التركيز البصري التكيفي بمجرد التدخل في وقت الاستدلال دون تعديل معاملات النموذج أو الحاجة لضبط دقيق بالتعلم التعزيزي.
الاختيار القائم على DPP: يقدم طريقة منهجية باستخدام العمليات النقطية المحددة لاختيار مجموعة أساسية من الرموز البصرية توازن بشكل مثالي بين الصلة (المواءمة مع الفكر الحالي) والتنوع (التغطية العالمية للصورة).
التوقف التكيفي: ينفذ معياراً يعتمد على الإنتروبيا لإنهاء الاستدلال ديناميكياً، مما يوازن بين الدقة والكفاءة.
قابل للتركيب المباشر (Plug-and-Play): يتوافق منهج VisRef مع أي نموذج لغوي كبير متعدد الوسائط (MLRM) مدرب مسبقاً.

4. النتائج التجريبية

قيم المؤلفون VisRef على ثلاثة اختبارات تحدي (MathVista، MM-Star، MathVision) باستخدام ثلاثة نماذج متطورة (InternVL-3.5، Qwen-3-VL، SAIL-VL2).

النتائج الرئيسية:

أداء متفوق: في ظل ميزانيات حسابية ثابتة لوقت الاختبار، يتفوق VisRef باستمرار على كل من التفكير القياسي (Standard Thinking - ST) والتأمل الذاتي النصي (Textual Self-Reflection - TSR).
- مثال: في MathVision مع SAIL-VL2، حسن VisRef الدقة بنسبة 7.5% مقارنة بالتفكير القياسي و5.4% مقارنة بالتأمل الذاتي النصي.
- مثال: في MM-Star مع InternVL-3.5، حقق VisRef زيادة قدرها 6.4% عن خط الأساس.
توسيع وقت الاختبار: عند توليد سلاسل استدلال متعددة ومتوازية (توسيع الحوسبة)، يحقق VisRef باستمرار دقة أعلى من الاستدلال النصي المتوازي لأي ميزانية رموز معطاة.
المقارنة مع طرق التعلم التعزيزي (RL): يؤدي VisRef أداءً منافساً لطريقة Look-Back (وهي طريقة تعتمد على RL تتطلب 60 ساعة من تدريب الـ GPU) ولكنه يفعل ذلك دون أي تدريب. علاوة على ذلك، فإن الجمع بين Look-Back و VisRef يعطي أفضل النتائج، مما يشير إلى أن الطريقتين متعامدتان.
دراسات الاستبعاد (Ablation Studies):
- كل من مصطلحي الصلة والتنوع في هدف DPP ضروريان؛ حيث يؤدي استخدام أحدهما فقط إلى انخفاض كبير في الأداء.
- المنهج قوي عبر ميزانيات الرموز المختلفة ( $m$ ) وعتبات الإنتروبيا ( $\delta$ ).
- يتوسع VisRef بفعالية من النماذج الصغيرة (1B) إلى الكبيرة (8B).

5. الأهمية والأثر

حل مشكلة "التخفيف البصري": يوفر VisRef حلاً عملياً لمشكلة فقدان النماذج (MLRMs) للتأصيل البصري أثناء سلاسل الاستدلال الطويلة، وهي عقبة حرجة لتطبيقات العالم الحقيقي متعددة الوسائط.
الكفاءة مقابل الأداء: يثبت أن الاستدلال البصري عالي الأداء لا يتطلب بالضرورة إعادة تدريب مكلفة أو تعلم تعزيزي. يمكن للتدخلات المنهية البسيطة في وقت الاستدلال أن تحقق مكاسب كبيرة.
القابلية للتعميم: كونه نهجاً لا يتطلب تدريباً، يمكن نشر VisRef فوراً على أي MLRM مدرب مسبقاً، مما يجعله حلاً عالي القابلية للتوسع لمجتمع الذكاء الاصطعي.
الاستدلال الشبيه بالبشر: يحاكي هذا المنهج استراتيجيات حل المشكلات لدى البشر (التبادل بين فحص الصورة والاستدلال المجرد) من خلال الاختيار الخوارزمي للرموز فقط، مما يسد الفجوة بين الإدراك البشري والذكاء الاصطناعي.

في الختام، يثبت VisRef أن إعادة التركيز البصري عنصر حاسم لتوسيع وقت الاختبار للنماذج متعددة الوسائط، مما يوفر مساراً فعالاً حاسبياً ولا يتطلب تدريباً لتحسين دقة الاستدلال بشكل كبير في المهام البصرية المعقدة.