ملخص تقني: التفكير أمر جوهري: الحد من الهلوسة في النماذج اللغوية الكبيرة متعددة الوسائط عبر التحسين المشروط بالتفكير

بيان المشكلة

أظهرت النماذج اللغوية الكبيرة متعددة الوسائط التي تعتمد على التفكير (MLRMs) قدرات قوية في المهام البصرية-اللغوية المعقدة من خلال توليد خطوات تفكير وسيطة (سلسلة الأفكور أو Chain-of-Thought، اختصاراً CoT) بشكل صريح قبل إنتاج الإجابات النهائية. ومع ذلك، لا تزال هذه النماذج عرضة للهلوسة، حيث تولد محتوى يبدو منطقياً ولكنه غير متسق مع المدخلات البصرية. وخلافاً للنماذج اللغوية الكبيرة متعددة الوسائط التقليدية (MLLMs)، حيث تحدث الهلوسة عادةً في المخرجات النهائية، يمكن أن تنشأ هلوسة نماذج MLRMs داخل سلسلة التفكير (CoT) الوسيطة ومن ثم تنتقل إلى الإجابة النهائية.

تعامل طرق التحسين القائمة على التدريب الحالية، مثل تحسين التفضيل المباشر (DPO)، سلسلة التفكير (CoT) والإجابة النهائية ككتلة مخرجات واحدة. وتلاحظ الورقة أن هذا التحسين على مستوى الاستجابة يتصرف بشكل مشابه للتحسين القائم على الإجابة فقط، حيث يتعلم بشكل أساسي تفضيلات مستوى الإجابة بينما لا يتم استغلال الإشراف على مستوى سلسلة التفكير (CoT) بشكل كافٍ. ونتيجة لذلك، غالباً ما تستمر الهلوسة المتبقية في سلسلة التفكير، وهي تهيمن على معدل الخطأ الإجمالي للاستجابة الكاملة.

المنهجية: RC-DPO

لمعالجة عدم كفاية الإشراف خشن الحبيبات، اقترح المؤلفون تحسين التفضيل المباشر المشروط بالتفكير (RC-DPO). يقوم هذا الإطار بنمذجة العلاقة بين سلاسل التفكير والإجابات النهائية بشكل صريح من خلال معاملة سلسلة التفكير (CoT) كشرط لتوليد الإجابة.

1. الهدف الجوهري

بدلاً من التحسين المشترك للاستجابة بأكملها $(c, a)$، يقوم RC-DPO بمقارنة احتمالية توليد نفس الإجابة المفضلة ($a_w$) تحت شروط مختلفة لسلسلة التفكير:

• الشرط المفضل ($c_w$): سلسلة تفكير مستندة إلى الرؤية وصحيحة منطقياً.
• الشرط المرفوض ($c_l$): سلسلة تفكير مهلوسة أو فاسدة.

يعزل دالة الهدف تأثير سلسلة التفكير على توليد الإجابة. فهي تزيد من هامش الاحتمالية الشرطية للإجابة المفضلة في ظل وجود CoT عالية الجودة مقابل CoT فاسدة:
$$L_{RC} = -\log \sigma \left( \beta \left[ \log \frac{\pi_\theta(a_w|x, c_w)}{\pi_{ref}(a_w|x, c_w)} - \log \frac{\pi_\theta(a_w|x, c_l)}{\pi_{ref}(a_w|x, c_l)} \right] \right)$$
وتجمع دالة التدريب النهائية بين خسارة RC-DPO وخسارة DPO القياسية على مستوى الاستجابة:
$$L = L_{DPO} + \lambda L_{RC}$$

2. بناء بيانات التفضيل

يتطلب RC-DPO بناء أزواج تفضيل $(x, c_w, a_w, c_l, a_l)$ دون الاعتماد على تعليقات توضيحية خارجية (ground-truth) أو نماذج أقوى. قدم المؤلفون مسار عمل يستخدم مخرجات النموذج نفسه:

• بناء العينة الإيجابية (MCTS): استخدم المؤلفون بحث مونت كارلو في شجرة القرار (MCTS) لاكتشاف مسارات تفكير عالية الجودة. بدءاً من نموذج الضبط الدقيق الخاضع للإشراف (SFT)، يقوم MCTS بتوسيع خطوات التفكير المرشحة ويستخدم مدققاً لتقييم المسارات بناءً على الاتساق البصري، والصحة المنطقية، وصحة الإجابة. ويتم اختيار المسار صاحب أعلى درجة كعينة إيجابية $(c_w, a_w)$.
• بناء العينة السلبية (التقليم الموجه بالانتباه): لإنشاء عينات سلبية تحديّة، استخدم المؤلفون استراتيجية تقليم الرموز (tokens) الموجهة بانتباه الصورة. يتم حساب درجات الانتباه من كل رمز في الـ CoT إلى رموز الصورة. تُحدد الرموز ذات الصلة البصرية العالية ويتم تقليمها (إزالتها) من الـ CoT الأصلي. يؤدي هذا إلى تعطيل التأسيس البصري لسلسلة التفكير، مما يخلق CoT فاسداً ($c_l$) يعمل كشرط سلبي لنفس الإجابة.

3. مسار التدريب

1. محاذاة تنسيق CoT: تعمل مرحلة الإعداد (warm-up) باستخدام SFT على محاذاة النموذج مع تنسيق CoT مهيكل (تفكير خطوة بخطوة يليه إجابة) لتسهيل عمليات MCTS.
2. توليد البيانات: يقوم MCTS والتقليم الموجه بالانتباه بتوليد مجموعة بيانات التفضيل.
3. التحسين: يتم تدريب النموذج باستخدام هدف $L_{DPO} + \lambda L_{RC}$ المدمج.

المساهمات الرئيسية

1. تحليل DPO الحالي: تكشف الورقة أن DPO القياسي على مستوى الاستجلة ينحاز نحو تحسين مستوى الإجابة، مما يترك الهلوسة على مستوى CoT دون معالجة كافية.
2. إطار عمل RC-DPO: اقتراح إطار عمل لتحسين التفضيل دقيق الحبيبات يقوم بمحاذاة سلاسل التفكير بشكل صريح من خلال مقارنة نفس الإجابة المفضلة تحت ظروف CoT مختلفة.
3. استراتيجية توليد البيانات: تقديم مسار عمل ذاتي لاكتشاف بيانات التفضيل باستخدام MCTS لأخذ العينات الإيجابية والتقليم الموجه بالانتباه لبناء العينات السلبية.
4. التحقق التجريبي: إجراء تجارب واسعة النطاق على أربعة نماذج MLRM وتسعة معايير اختبار لإثبات فعالية النهج.

النتائج التجريبية

قيم المؤلفون RC-DPO على أربعة نماذج MLRM ممثلة: R1-Onevision-7B، وMM-Eureka-7B، وThinkLite-VL-7B، وOpenVLThinker-7B.

• الحد من الهلوسة: في معيار Object HalBench، حقق RC-DPO باستمرار أدنى درجات CHAIRS وCHAIRI عبر جميع النماذج، متفوقاً بشكل كبير على النماذج المرجعية مثل VCD وSID وRLAIF-V وOPA-DPO. على سبيل المثال، في نموذج R1-Onevision، انخفضت درجة CHAIRS من 36.7 (Vanilla) إلى 21.7 (RC-DPO).
• وجود الكائنات: في معيار POPE، حقق RC-DPO أفضل دقة ودرجات F1 في الإعدادات العشوائية، والشائعة، والخصمية، مما يشير إلى تحسن في التعرف على وجود الكائنات.
• التوليد مفتوح النهايات: في MMHal-Bench والتقييمات المدعومة من GPT-4، قلل RC-DPO من معدلات الهلوسة مع الحفاظ على جودة الوصف والطلاقة أو تحسينهما.
• القدرات العامة: أظهرت التقييمات على MME وMMBench وVMCBench وMMVP أن RC-DPO لا يضحي بالإدراك البصري العام أو قدرات التفكير؛ بل في كثير من الحالات، قام بتحسين الأداء في المهام البصرية دقيقة التفاصيل (مثل التعرف على النصوص OCR والتموضع).

الأهمية والادعاءات

تدعي الورقة أن المحاذاة الصريحة لسلاسل التفكير الوسيطة أمر بالغ الأهمية لبناء نماذج MLRM موثوقة وأمينة. ومن خلال الانتقال من التحسين خشن الحبيبات على مستوى الاستجابة إلى التحسين دقيق الحبيبات المشروط بالتفكير، يعالج RC-DPO السبب الجذري لانتشار الهلوسة في نماذج التفكير. ويؤكد المؤلفون أن طريقتهم تحد من الهلوسة بفعالية في كل من الـ CoT الوسيط والإجابة النهائية، مما يؤدي إلى تفكير متعدد الوسائط أكثر موثوقية دون المساس بالقدرات العامة. وتسلط الورقة الضوء على أن معاملة الـ CoT كشرط لتوليد الإجابة يوفر إشارة تدريب مباشرة لتعلم تفضيلات التفكير الداعمة للإجابة.