🤖 AI

Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models

تحدد هذه الورقة أن نماذج اللغات الكبيرة متعددة الوسائط الانتشارية (dMLLMs) غالبًا ما تولد إجابات سابقة لأوانها مع عدم كفاية في الربط البصري أثناء استدلال سلسلة الأفكواب (Chain-of-Thought)، وتقترح عقوبة الموضع والخطوة (PSP) وتوجيه الاستدلال البصري (VRG) لتأخير توليد الإجابة وتعزيز المحاذاة البصرية، مما يؤدي إلى تحسين الدقة وسرعة الاستنتاج بشكل كبير.

المؤلفون الأصليون: Keuntae Kim, Mingyu Kang, Yong Suk Choi

نُشر 2026-04-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Keuntae Kim, Mingyu Kang, Yong Suk Choi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فناناً عبقرياً ولكنه قليل الصبر قليلاً يُدعى "ديفيوجن" (Diffusion). على عكس الرسام التقليدي الذي يرسم اللوحة ضربة بضربة من اليسار إلى اليمين (كلمة بكلمة)، يبدأ "ديفيوجن" بلوحة مغطاة بالكامل بضجيج ساكن (أقنعة/ماسك)، ثم يقوم بـ "تنظيف" الصورة تدريجياً حتى تظهر اللوحة.

مؤخراً، أعطى العلماء هذا الفنان وظيفة جديدة: الاستنتاج البصري (Visual Reasoning). طلبوا من "ديفيوجن" النظر إلى صورة (مثل وحيد قرن اثنين) والإجابة على سؤال ("هل هما من نفس اللون؟") من خلال التفكير بصوت عالٍ أولاً.

ومع ذلك، لاحظ الباحثون عادتين مضحكتين ومثيرتين للمشاكل في طريقة عمل "ديفيوجن":

المشكلتان

1. عادة "الحكم المتسرع" (التوليد المبكر للإجابة)
تخيل أنك تسأل "ديفيوجن": "ما هي الإجابة؟"، فيصرخ فوراً: "إنها B!"، قبل حتى أن ينظر إلى الصورة أو يفكر في "لماذا". ثم يحاول بجنون كتابة قصة لتبرير سبب اختياره لـ B.

المجاز: الأمر يشبه طالباً في امتحان يكتب "C" في ورقة الإجابة في أول 10 ثوانٍ، ثم يقضي بقية الساعة وهو يحاول كتابة مقال يجعل من "C" خياراً صحيحاً، حتى لو كان المقال غير منطقي. ولأن "ديفيوجن" يعمل بشكل متوازٍ (ينظف الصورة بأكملها في وقت واحد)، فإنه غالباً ما يقرر النهاية قبل أن يقوم بالجزء الأوسط.

2. عادة "أحلام اليقظة" (ضعف الارتباط البصري)
في بداية العملية، يكاد "ديفيوجن" لا ينظر إلى الصورة. إنه يشبه المحقق الذي يبدأ بحل جريمة عبر تخمين الجاني بناءً على حدس، وبعد أن يختار المشتبه به فقط، يبدأ في النظر إلى صور مسرح الجريمة.

المجاز: الفنان التقليدي (النماذج ذات الترتيب التتابعي/Autoregressive) ينظر إلى الصورة المرجعية باستمرار أثناء الرسم. أما "ديفيوجن"، في مراحله الأولى، فهو يرسم في الظلام، متجاهلاً الصورة المرجعية حتى يقترب من الانتهاء.

الحل: قاعدتان جديدتان

لإصلاح هذه العادات دون إعادة تدريب الفنان (لأن ذلك مكلف وبطيء)، قدم الباحثون قاعدتين بسيطتين لـ "قواعد الطريق" لتوجيه "ديفيوجن" أثناء عملية الرسم.

القاعدة 1: عقوبة "عدم الاستعجال" (عقوبة الموقع والخطوة - PSP)

كيف تعمل: يخبر الباحثون "ديفيوجن": "إذا حاولت كتابة الإجابة النهائية (مثل 'A' أو 'B' أو 'C') في وقت مبكر جداً من العملية، فسنجعل تلك الإجابة تبدو 'ثقيلة' ويصعب كتابتها".

التشبيه: تخيل أنك تكتب قصة. هناك قاعدة تقول: "لا يمكنك كتابة كلمة 'النهاية' حتى تكتب 50 صفحة على الأقل من القصة". إذا حاولت كتابتها في الصفحة الخامسة، سيصبح القلم ثقيلاً كأنه مصنوع من الرصاص.
النتيجة: يُجبر "ديفيوجن" على التمهل. يجب عليه كتابة خطوات الاستنتاج (الـ "منتصف" من القصة) قبل أن يُسمح له بكتابة الإجابة النهائية براحة. هذا يوقف "الحكم المتسرع".

القاعدة 2: تعزيز "انظر إلى الصورة" (التوجيه بالاستنتاج البصري - VRG)

كيف تعمل: يقوم الباحثون بتضخيم الإشارة القادمة من الصورة. يخبرون "ديفيوجن": "في كل مرة تقوم فيها بالتخمين، قارن ذلك بالصورة بضعف القوة التي تستخدمها عادةً".

التشبيه: تخيل أن الصورة هي مكبر صوت يعزف أغنية. في العادة، يكون مستوى الصوت منخفضاً، لذا يتجاهلها "ديفيوجن". يقوم الباحثون برفع مستوى الصوت إلى الدرجة القصوى (11). الآن، لا يمكن لـ "ديفيوجن" تجاهل الأدلة البصرية؛ فهي تصرخ فيه لكي ينتبه.
النتيجة: يبدأ "ديفيوجن" في النظر إلى ألوان وحيد القرن منذ الخطوة الأولى، مما يضمن أن استنتاجه مبني بالفعل على ما يراه، وليس مجرد تخمين.

النتيجة: أسرع وأذكى

بتطبيق هاتين القاعدتين، حقق الباحثون شيئاً مذهلاً:

تفكير أفضل: بدأ النموذج يقوم بالاستنتاج قبل اختيار الإجابة، مما أدى إلى دقة أعلى بكثير (بزيادة تصل إلى 7.5%).
سرعة فائقة: عادةً، لجعل النموذج يفكر بشكل أفضل، يتعين عليك جعله يعمل بجهد أكبر (خطوات أكثر)، مما يستغرق وقتاً أطول. ولكن لأن "ديفيوجن" أصبح الآن يفكر بكفاءة، فقد حقق نتائج أفضل بـ 3 مرات أسرع من نموذج تم إجباره على اتخاذ أربعة أضعاف الخطوات ليفكر.

باختصار:
تعلمت هذه الورقة البحثية كيف تعلم ذكاءً اصطناعياً ذا تفكير متوازٍ كيف يتوقف عن تخمين الإجابة قبل أن يفكر، وكيف ينظر فعلياً إلى الصورة أثناء تفكيره. الأمر يشبه تعليم عداء سريع كيف يتوقف عن الركض نحو خط النهاية قبل بدء السباق، وبدلاً من ذلك، يركض المسار كاملاً مع إبقاء عينيه على الخريطة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "Thinking Diffusion: Penalize and Guide Visual-Grounded Reasoning in Diffusion Multimodal Language Models."

1. بيان المشكلة

تتناول الورقة القيود الحرجة في نماذج اللغات متعددة الوسائط القائمة على الانتشار (dMLLMs) عند تنفيذ سلسلة التفكير (CoT). وبينما توفر هذه النماذج استدلالاً أسرع من خلال التوليد المتوازي للرموز (tokens) مقارنة بالنماذج ذات التوليد التلقائي (AR)، حدد المؤلفون مشكلتين جوهريتين تؤديان إلى تدهور أداء الاستدلال، لا سيما في المهام البصرية:

التوليد المبكر للإجابة: تميل نماذج dMLLMs إلى توليد رمز الإجابة النهائية في خطوات زمنية مبكرة جداً (غالباً قبل اكتمال خطوات الاستدلال الكافية). فبدلاً من التفكير أولاً ثم الإجابة لاحقاً، يحدد النموذج الإجابة مسبقاً ثم يقوم بتوليد خطوات الاستدلال الوسيطة لتبرير تلك الإجابة المحددة مسبقاً. ويتفاقم هذا الأمر عندما يكون عدد خطوات الانتشار ( $T$ ) أو طول التوليد ( $L$ ) صغيراً.
ضعف الربط البصري في المراحل المبكرة: على عكس النماذج البصرية-اللغوية (VLMs) ذات التوليد التلقائي، والتي تعتمد بشدة على المدخلات البصرية منذ بداية عملية التوليد، تُظهر نماذج dMLLMs اعتماداً ضئيلاً على المحفزات البصرية خلال الخطوات الزمنية الأولية. فهي تبدأ فقط في دمج الأدلة البصرية في مراحل لاحقة من عملية الانتشار. ونتيجة لذلك، غالباً ما يولد النموذج إجابة دون ربطها بفعالية بالأدلة البصرية، مما يؤدي إلى الهلوسة أو الاستنتاجات الخاطئة.

2. المنهجية

لمعالجة هذه المشكلات دون الحاجة إلى تدريب إضافي للنموذج، اقترح المؤلفون طريقتين جديدتين أثناء الاستدلال (inference-time): عقوبة الموقع والخطوة (PSP) وتوجيه الاستدلال البصري (VRG).

أ. عقوبة الموقع والخطوة (PSP)

الهدف: تأخير توليد رموز الإجابة حتى الخطوات الزمنية اللاحقة، مما يجبر النموذج على إجراء استدلال تدريجي أولاً.
الآلية: تقوم PSP بتعديل درجات الثقة للرموز أثناء عملية إعادة الحجب (remasking process) (حيث يتم إلغاء حجب الرموز أو إعادة حجبها في كل خطوة).
- تطبق عقوبة على الرموز الموجودة في نهاية تسلسل الاستجابة (حيث توجد الإجابة عادةً) خلال خطوات الانتشار المبكرة.
- يتم حساب العقوبة بناءً على الموقع النسبي للرمز ($rel(j) $) والتقدم النسبي لخطوة الانتشار ($ \tau_i$).
- الصيغة: $\tilde{C}_j^i = C_j^i \cdot [1 - \gamma(1 - \tau_i) \cdot rel(j)]$
- من خلال كبح احتمالية توليد رموز الإجابة مبكراً، يتم تشجيع النموذج على ملء التسلسل بخطوات الاستدلال الوسيطة أولاً.

ب. توجيه الاستدلال البصري (VRG)

الهدف: تضخيم اعتماد النموذج على المدخلات البصرية طوال عملية التوليد، لضمان أن يكون الاستدلال مرتكزاً على أدلة بصرية.
الآلية: مستوحاة من توجيه المصنف الخالي من التدخل (CFG) المستخدم في توليد الصور، تقوم VRG بتعديل الـ (logits) المستخدمة لأخذ عينات الرموز.
- تقوم بحساب كل من الـ (logits) الشرطية (المشروطة بالمحفز البصري $v$ ) والـ (logits) غير الشرطية (بدون مدخل بصري).
- تعمل على تضخيم الفرق بين هذين التوزيعين لتقوية الإشارة البصرية.
- الصيغة: $logits_{vrg} = logits_u + (s_{vrg} + 1) \cdot (logits_c - logits_u)$
- هنا، $s_{vrg}$ هو مقياس التوجيه البصري. يضمن ذلك أن تؤثر المعلومات البصرية على اختيار الرموز بشكل أقوى، خاصة في الخطوات الزمنية الأولى حيث يكون النموذج عادةً "أعمى" عن الصورة.

3. المساهمات الرئيسية

أول تحليل كمي لاستدلال dMLLM: قدم المؤلفون أول تحليل مفصل لنماذج dMLLM مع تحفيز سلسلة التفكير (CoT)، حيث حددوا ظواهر "التوليد المبكر للإجابة" و"ضعف الربط البصري" عبر مقاييس مثل مقياس اعتماد المحفز البصري (PDM).
طرق مبتكرة أثناء الاستدلال: قدموا PSP وVRG، وهما تقنيتان لا تتطلبان تدريباً (training-free) يمكن تطبيقهما مباشرة أثناء الاستدلال لتصحيح مسار الاستدلال لنماذج dMLLM.
كفاءة ودقة متفوقة: تحقق الطريقة المقترحة دقة أعلى من النماذج المرجعية (baselines) مع استخدام خطوات انتشار أقل بكثير، مما يحل بفعالية المقايضة بين السرعة والجودة المتأصلة في نماذج الانتشار.

4. النتائج التجريبية

تم تقييم الطرق على أربعة اختبارات مرجعية: M3CoT، MMBench، SQA-IMG، وV Bench، باستخدام نماذج مثل LaViDa و*MMaDa.

تحسينات الدقة:
- حقق النهج المدمج (PSP & VRG) دقة أعلى بنسبة تصل إلى 7.5% مقارنة بالطرق المرجعية (مثل Low-confidence remasking) عبر مختلف الاختبارات.
- تفوق باستمرار على استراتيجيات CoT الحالية المصممة للنماذج ذات التوليد التلقائي (مثل DDCoT وCCoT) واستراتيجيات إعادة الحجب الأخرى (Entropy, Margin).
مكاسب الكفاءة:
- حققت الطريقة تسريعاً يزيد عن 3 أضعاف مقارنة بالاستدلال باستخدام أربعة أضعاف خطوات الانتشار.
- على سبيل المثال، في اختبار MMBench، حقق نموذج LaViDa دقة 74.9% باستخدام $L=64, T=32$ باستخدام الطريقة المقترحة، بينما احتاج النموذج المرجعي إلى $L=256, T=128$ (4 أضعاف الخطوات) للوصول إلى 74.3% فقط.
دراسات الاستئصال (Ablation Studies):
- أدى كل من PSP وVRG بشكل فردي إلى تحسين الأداء، لكن دمجهما أعطى أفضل النتائج.
- الطرق هي جاهزة للاستخدام المباشر (plug-and-play)، حيث تعمل بفعالية عبر مختلف استراتيجيات إعادة الحجب (Low-conf, Entropy, Margin) ومختلف أحجام النماذج.
تحليل الربط البصري:
- أظهرت قياسات PDM أن VRG زادت بشكل كبير من اعتماد النموذج على المدخلات البصرية خلال الخطوات الزمنية المبكرة، مما جعل سلوك نماذج dMLLM أكثر توافقاً مع نماذج VLMs ذات التوليد التلقائي.

5. الأهمية

تكمن أهمية هذه الورقة في أنها تسد الفجوة بين مزايا السرعة لنماذج الانتشار وقدرات الاستدلال المطلوبة للمهام متعددة الوسائط المعقدة.

تحول في النموذج الفكري: تثبت أن تعزيز الاستدماء لنماذج الانتشار لا يمكنه ببساطة نسخ استراتيجيات التوليد التلقائي؛ بل يتطلب آليات محددة لإدارة طبيعة التوليد المتوازي (مثل معاقبة الإجابات المبكرة).
الأثر العملي: من خلال تمكين نماذج dMLLM من الاستدلال بفعالية بخطوات أقل، تجعل هذه الطريقة الاستدلال متعدد الوسائط عالي الجودة أكثر كفاءة من الناحية الحسابية وأكثر سهولة في الوصول إليه.
الاتجاه المستقبلي: يوفر هذا العمل إطاراً تأسيسياً لتحسين الاستدلال القائم على الانتشار، مشيراً إلى أن التحكم في توقيت توليد الرموز وقوة إشارات التكييف (conditioning signals) أمر بالغ الأهمية لإطلاق الإمكانات الكاملة لنماذج dMLLM.