💻 computer science

Thinking with Images as Continuous Actions: Numerical Visual Chain-of-Thought

تقترح هذه الورقة البحثية "سلسلة التفكير البصري الرقمي" (NV-CoT)، وهو إطار عمل يُمكّن النماذج اللغوية الكبيرة متعددة الوسائط من إجراء استدلال دقيق مرتبط بالمنطقة من خلال توليد إحداثيات عددية مستمرة كأفعال، مما يتغلب على قيود النهج القائم على النصوص المتقطعة أو الرقع الثابتة مع تحسين دقة التحديد وكفاءة التدريب.

المؤلفون الأصليون: Kesen Zhao, Beier Zhu, Junbao Zhou, Xingyu Zhu, Zhongqi Yue, Hanwang Zhang

نُشر 2026-03-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kesen Zhao, Beier Zhu, Junbao Zhou, Xingyu Zhu, Zhongqi Yue, Hanwang Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت ذكي جداً كيف ينظر إلى صورة ويجيب على سؤال حولها، مثل "ماذا يمسك الرجل الذي على اليسار؟"

للقيام بذلك، يحتاج الروبوت إلى التقريب (Zoom in) على جزء محدد من الصورة (يدي الرجل مثلاً) ليلقي نظرة أفضل قبل الإجابة. تسمى هذه العملية "سلسلة التفكير البصري" (Visual Chain-of-Thought).

لفترة طويلة، كان على الروبوتات القيام بذلك بطريقة خرقاء للغاية. إليك قصة كيف قامت هذه الورقة البحثية بحل هذه المشكلة باستخدام طريقة جديدة تسمى NV-CoT.

الطريقة القديمة: مشكلة "البكسلات" (Pixelated)

تخيل أنك تحاول إخبار صديقك بمكان شجرة معينة في حديقة ضخمة.

طريقة "النصوص" (الطريقة القديمة):
يحاول الروبوت وصف موقع الشجرة باستخدام الكلمات. يقول: "الشجرة عند 3... 1... 5... 9."

المشكلة: بالنسبة للروبوت، "3" و"4" هما مجرد كلمتين مختلفتين تماماً، مثل "تفاحة" و"موزة". هو لا يفهم أنهما بجانب بعضهما البعض مباشرة. إذا كانت الشجرة في الواقع عند 3.1، وخمن الروبوت أنها عند 3.9، سيعتقد الروبوت أنه ارتكب خطأً فادحاً لأن الأرقام كلمات مختلفة تماماً. الأمر يشبه محاولة قياس غرفة بمسطرة تحتوي فقط على بوصات كاملة، بدون كسور. إنه أمر غير دقيق ومربك.

طريقة "الرقعة" (طريقة قديمة أخرى):
يقوم الروبوت بتقطيع الصورة إلى شبكة ضخمة من كتل الليغو (Patches). يمكنه فقط الإشارة إلى "الكتلة رقم 42".

المشكلة: ماذا لو كانت الشجرة تقع تماماً على الخط الفاصل بين الكتلة 42 والكتلة 43؟ لن يستطيع الروبوت أن يكون دقيقاً. إنه مقيد بحجم كتل الليغو، بغض النظر عن مدى صغرها.

الطريقة الجديدة: NV-CoT (المنزلق السلس)

ابتكر المؤلفون في هذه الورقة، كيسين تشاو وفريقه، حلاً عبقرياً يسمى Numerical Visual Chain-of-Thought (NV-CoT).

بدلاً من استخدام الكلمات أو كتل الليغو، أعطوا الروبوت منزلقاً سلساً (مثل مفتاح التحكم في مستوى الصوت في المسجل أو مفتاح تعتيم الضوء).

كيف يعمل: عندما يحتاج الروبوت إلى التقريب، فإنه لا يقول "3، 1، 5، 9". بدلاً من ذلك، يقوم بتوليد رقم سلس ومستمر مثل 3.142.
السحر: نظرًا لأنه رقم سلس، يدرك الروبوت أن 3.14 قريبة جداً من 3.15. إذا أخطأ الهدف بمقدار ضئيل جداً، فإنه يعرف أنه كان "قريباً جداً من الصواب"، وليس "مخطئاً تماماً". هذا يسمح للروبوت بالإشارة إلى النقطة المحددة بدقة الليزر.

تشبيه "غاوسي" و"لابلاس" (Gaussian and Laplace)

تذكر الورقة بعض المصطلحات الرياضية المعقدة مثل "Gaussian" و"Laplace". إليك ما تعنيه باللغة البسيطة:

سياسة غاوس (تخمين "منحنى الجرس"):
تخيل أن الروبوت يرمي السهام على هدف. هو لا يرمي سهماً واحداً فحسب؛ بل يرمي مجموعة كاملة من السهام التي تتجمع حول المركز. هو يعلم: "أنا متأكد من أن الهدف هنا، لكنني قد أكون بعيداً قليلاً". هذا يساعد الروبوت على التعلم من خلال تجربة أماكن مختلفة قليلاً ورؤية أي منها يعمل بشكل أفضل.
سياسة لابلاس (التخمين "الأكثر حدة"):
في بعض الأحيان، يحتاج الروبوت إلى أن يكون أكثر ثقة وأقل عرضة لارتكاب أخطاء كبيرة. طريقة "لابلاس" تشبه رامي السهام الذي يكون مركزاً جداً ونادراً ما يرمي سهماً بعيداً عن المركز. إنها رائعة في المواقف التي تحتاج فيها إلى دقة عالية وتجنب "القيم المتطرفة" (التخمينات العشوائية البعيدة).

لماذا يعد هذا أمراً هاماً؟

اختبر الباحثون هذه الطريقة الجديدة على ثلاثة "مستويات ألعاب فيديو" (اختبارات معيارية) حيث يتعين على الروبوتات العثور على الأشياء في الصور.

إنها أسرع: يتعلم الروبوت كيفية التقريب بسرعة أكبر من ذي قبل.
إنها أكثر دقة: يجد الروبوت الشيء المحدد (مثل مطحنة الفلفل أو حقيبة اليد) دون أن يقترب بالخطأ من الخلفية.
إنها مرنة: تعمل سواء كان الروبوت يتم تعليمه بواسطة معلم (ضبط دقيق تحت الإشراف) أو يتعلم من خلال التجربة والخطأ (التعلم المعزز).

الخلاصة

فكر في الروبوتات القديمة كأشخاص يحاولون التنقل في مدينة باستخدام خريطة تحتوي فقط على الطرق السريعة الرئيسية. كان بإمكانهم الوصول قريباً، لكنهم غالباً ما كانوا يضيعون في التفاصيل.

NV-CoT يعطي الروبوت نظام GPS مع ملاحة خطوة بخطوة. فهو يسمح له بالقول: "انعطف يساراً عند 42.5 متراً"، بدلاً من قول "انعطف يساراً عند التقاطع الكبير التالي". هذا التغيير الصغير يجعل الروبوت أكثر ذكاءً، وأسرع، وأفضل في فهم العالم المرئي.

باختختصار: لقد علموا الروبوت أن يتوقف عن التخمين بالكلمات ويبدأ في القياس بأرقام سلسة ودقيقة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفكير باستخدام الصور كأفعال مستمرة: سلسلة التفكير البصرية الرقمية" (NV-CoT).

1. بيان المشكلة

تستخدم النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد "سلسلة التفكير البصرية" (Visual CoT) لأداء الاستدلال القائم على تحديد المناطق. ومع ذلك، تعاني الأساليب الحالية من قصورين جوهريين:

الإحداثيات القائمة على النصوص (عدم تطابق الوسائط والتجزئة الدلالية): تقوم الطرق الحالية بتسلسل إحداثيات المربعات المحيطة (bounding box) كرموز نصية منفصلة (على سبيل المثال: ["x1", "y1", "x2", "y2"]). يؤدي هذا إلى عدم تطابق بين الطبيعة المستمرة للمساحة البصرية والرموز النصية المنفصلة. كما يؤدي إلى تجزئة دلالية (تقسيم الأرقام إلى رموز فرعية غير مترابطة) واستدلال هش (على سبيل المثال، الفشل في تمييز أن 3.9 أقرب إلى 3.1 منها إلى 3.2، حيث تعامل الخطأ على مستوى الرمز (token-level cross-entropy) هذه القيم كأخطاء متساوية البعد).
الإحداثيات القائمة على الرقع (التحجيم الثابت): تعمل الطرق البديلة مباشرة على رقع بصرية ذات تحجيم ثابت. وبينما تتجنب هذه الطرق التسلسل النصي، إلا أنها تظل مقيدة بالدقة المكانية المحددة مسبقاً للنموذج البصري الأساسي (vision backbone)، مما يحد من دقة اختيار المنطقة ويتطلب تغييرات هيكلية كبيرة.

2. المنهجية: سلسلة التفكير البصرية الرقمية (NV-CoT)

يقترح المؤلفون إطار عمل NV-CoT، الذي يوسع مساحة الأفعال (action space) للنماذج اللغوية الكبيرة متعددة الوسائط من رموز المفردات المنفصلة إلى مساحة إقليدية مستمرة. يقوم النموذج بتوليد إحداثيات المربعات المحيطة الرقمية مباشرة كأفعال.

الهيكل الأساسي

توسيع مساحة الأفعال: يتم تعزيز رأس المخرجات القياسي للنموذج (LLM output head) بأربعة رؤوس خطية خفيفة الوزن للتنبؤ بالإحداثيات المستمرة $[x_1, y_1, x_2, y_2]$ .
صياغة السياسة (Policy Formulation): بدلاً من التوزيع الفئوي على الرموز، يقوم NV-CoT بنمذجة مخرجات الإحداثيات كتوزيع احتمالي:
- سياسة غاوس (Gaussian Policy): تتنبأ بمتجه متوسط $\mu$ وانحراف معياري مشترك $\sigma$ .
- سياسة لابلاس (Laplace Policy): متغير يتنبأ بمتوسط $\mu$ ومعلمة المقياس $\alpha$ ، مدفوعاً بمتانة خسارة $\ell_1$ في مهام التحديد (localization).
العشوائية عبر إعادة المعلمة (Reparameterization): لتمكين التعلم التعزيزي (RL)، يستخدم النموذج خدعة إعادة المعلمة لأخذ عينات من الإحداثيات:
- غاوس: $b = \mu + \sigma \epsilon$ ، حيث $\epsilon \sim \mathcal{N}(0, I)$ .
- لابلاس: $b = \mu + \alpha (s \odot \epsilon)$ ، حيث $s$ هو متجه إشارة Rademacher و $\epsilon$ هو توزيع أسي.

نماذج التدريب

يتوافق NV-CoT مع كل من الضبط الدقيق تحت الإشراف (SFT) والتعلم التعزيزي (RL):

الضبط الدقيق تحت الإشراف (SFT):
- عندما تتوفر مربعات محيطة حقيقية (ground-truth)، يتم تدريب النموذج باستخدام خسارة الانحدار (regression loss).
- دالة الخسارة: تستبدل الـ cross-entropy على مستوى الرمز لخسارة الإحداثيات بـ $\ell_2^2$ (MSE) أو $\ell_1$ .
- الصيغة: $L_{SFT} = \text{CrossEntropy}(\text{text}) + \lambda \sum \|\mu_t - b^*_t\|^2$ .
التعلم التعزيزي (RL) - خوارزمية GRPO:
- يعمل على تكييف خوارزمية تحسين السياسة النسبية للمجموعات (GRPO) للأفعال المستمرة.
- نسب الأهمية (Importance Ratios): يشتق نسب الاحتمالية ذات الصيغة المغلقة لتوزيعات غاوس/لابلاس لاستبدال النسب الفئوية القياسية.
- تنظيم KL (KL Regularization): يستخدم تباعد KL التحليلي بين سياسات غاوس/لابلاس الحالية والمرجعية لتقييد تحديث السياسة.
- المكافأة (Reward): يستخدم مكافآت قائمة على النتائج (صحة الإجابة، صلاحية التنسيق، ومكافأة إضافية لنجاح عملية التكبير/Zoom-in).

3. المساهمات الرئيسية

مساحة أفعال مستمرة: يقترح NV-CoT، محولاً استدلال النماذج اللغوية الكبيرة متعددة الوسائط من رموز نصية منفصلة إلى إحداثيات عددية مستمرة، مما يلغي عدم تطابق الوسائط والتجزئة الدلالية.
التوافق مع التعلم التعزيزي (RL) للأفعال المستمرة: طور سياسات غاوس ولابلاس مع إعادة معلمة أخذ العينات ونسب الأهمية التحليلية، مما يجعل التحديد المستمر متوافقاً تماماً مع خوارزميات RL الرئيسية مثل GRPO.
حد أدنى من الأعباء الهيكلية: لا يتطلب سوى إضافة خمسة رؤوس خطية خفيفة الوزن، مما يتجنب التغييرات الهيكلية المعقدة المطلوبة للطرق القائمة على الرقع (patch-based).
التحقق التجريبي: أثبت تحسينات كبيرة في دقة التحديد، ودقة الإجابة النهائية، وسرعة تقارب التدريب عبر عدة اختبارات معيارية.

4. النتائج التجريبية

قيم المؤلفون NV-CoT على ثلاثة اختبارات معيارية: V*Bench، و HR-Bench 4K، و HR-Bench 8K، مقارنة بثمانية نماذج أساسية (بما في ذلك CoT القائم على النصوص مثل DeepEyes/Vis-CoT و CoT القائم على الرقع مثل LVR/PaDT).

مكاسب الأداء:
- إعداد SFT: تفوق NV-CoT (SFT) على النموذج النصي الأساسي Vis-CoT-7B بنسبة +3.7% إجمالاً في V*Bench وأظهر مكاسب متسقة في HR-Bench.
- إعداد RL: حسن NV-CoT (RL) من أداء DeepEyes-7B النصي بنسبة +2.6% إجمالاً في V*Bench.
- المقارنة مع النماذج الأكبر: تفوق نموذج NV-CoT بـ 7 مليار معلمة على أداء نموذج Qwen2.5-VL بـ 32 مليار معلمة عبر جميع الاختبارات المعيارية.
دقة التحديد: حقق NV-CoT نسبة تقاطع فوق الاتحاد (IoU) أعلى بكثير للمربعات المحيطة (59.5% مع خسارة $\ell_1$ مقابل 47.3% لـ Vis-CoT).
التقارب: أظهرت منحنيات التدريب أن NV-CoT يتقارب بشكل أسرع من النماذج النصية الأساسية في كل من إعدادات SFT و RL.
دراسات الاستئصال (Ablation Studies):
- دالة الخسارة: تفوقت خسارة $\ell_1$ (سياسة لابلاس) باستمرار على خسارة $\ell_2^2$ (سياسة غاوس) في كل من SFT و RL، مما يؤكد متانة $\ell_1$ لمهام التحديد.
- التمثيل (Parameterization): أدت معاملات المقياس المشتركة ( $\sigma$ أو $\alpha$ ) أداءً مقارباً للمعلمات المستقلة لكل إحداثي، ولكنها كانت مفضلة من أجل الكفاءة.

5. الأهمية

الربط بين الإدراك والاستدلال: يوفر NV-CoT إطار عمل موحداً حيث يحدث الإدراك البصري (التحديد) والاستدلال (CoT) في نفس المساحة الرياضية المستمرة، بدلاً من فرض ترجمة بين الرؤية والنص.
الكفاءة: من خلال تجنب الحاجة إلى شبكات رقع ثابتة أو عمليات استدعاء أدوات معقدة لاستخراج الإحداثيات، يقدم NV-CoT آلية أكثر كفاءة ودقة لـ "التفكير باستخدام الصور".
القابلية للتوسع: تسمه طبيعة إطار العمل القابلة للتركيب والتشغيل (تغييرات هيكلية دنيا) من سهولة دمجه في النماذج اللغوية الكبيرة متعددة الوسائط الحالية، مما قد يسرع تطوير وكلاء متعددين الوسائط أكثر قدرة للمهام التي تتطلب فهماً مكانياً دقيقاً (مثل التعرف الضوئي على الحروف OCR، والأسئلة البصرية، والروبوتات).