💬 NLP

MIRL: Mutual Information-Guided Reinforcement Learning for Vision-Language Models

تقدم الورقة البحثية MIRL، وهو إطار عمل للتعلم التعزيزي الموجه بالمعلومات المتبادلة، والذي يعمل على تحسين استدلال نماذج الرؤية واللغة باستخدام المعلومات المتبادلة كإشارة فحص مسبق لتخصيص ميزانيات أخذ العينات بكفاءة ومكافآت مفككة لتحسين الإدراك البصري بشكل محدد، مما يقلل من الهلوسة ويحقق دقة أعلى بعدد أقل من المسارات الكاملة.

المؤلفون الأصليون: Yin Zhang, Jiaxuan Zhao, Zonghan Wu, Zengxiang Li, Junfeng Fang, Kun Wang, Qingsong Wen, Yilei Shao

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yin Zhang, Jiaxuan Zhao, Zonghan Wu, Zengxiang Li, Junfeng Fang, Kun Wang, Qingsong Wen, Yilei Shao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية حل الألغاز المعقدة التي تتطلب النظر إلى صورة ثم كتابة قصة لشرح الإجابة. هذا هو ما تفعله نماذج الرؤية واللغة (VLMs). ومع ذلك، غالبًا ما ترتكب هذه الروبوتات خطأً محددًا: فهي تنظر إلى الصورة، لكنها "تهلوس" أو تخطئ في التفاصيل منذ البداية. وبمجرد أن تخطئ في وصف الصورة، لن ينفع أي تفكير ذكي لاحقًا في إصلاح الإجابة النهائية. الأمر يشبه محاولة خبز كعكة بمكونات خاطئة؛ فلا يوجد قدر من التزيين الفاخر سينقذ الموقف.

يقدم البحث طريقة تدريب جديدة تسمى MIRL (التعلم المعزز الموجه بالمعلومات المتبادلة) لإصلاح هذا الخلل. وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

المشكلة: إضاعة الوقت على بدايات سيئة

في الوقت الحالي، عندما يتم تدريب هذه الروبوتات، يحاول الكمبيوتر تجربة العديد من "المسارات" (أو القصص) المختلفة لحل مشكلة ما. الأمر يشبه طباخًا يحاول خبز 16 كعكة مختلفة ليرى أي واحدة منها سيكون طعمها الأفضل.

الإضاعة: العديد من هذه الكعكات محكوم عليها بالفشل لأن الطباخ اختار المكونات الخاطئة (الوصف البصري) في الخطوة الأولى. لكن الكمبيوتر يضيع الوقت في خبز الكعكة بالكامل قبل أن يدرك أنها فسدت.
الحيرة: إذا كان طعم الكعكة النهائية سيئًا، فإن الكمبيوتر لا يعرف لماذا. هل استخدم الطباخ دقيقًا سيئًا (خطأ بصري)؟ أم أنه نسي تشغيل الفرن (خطأ في الاستنتاج المنطقي)؟ هذا يجعل من الصعب تعليم الروبوت ما الذي يجب إصلاحه.

الحل: "الفحص المسبق" و"التفرع" في تقنية MIRL

تقوم تقنية MIRL بتغيير عملية التدريب إلى لعبة أكثر ذكاءً تتكون من خطوتين.

1. "اختبار الشم" (المعلومات المتبادلة)
قبل خبز الكعكة بأكملها، تطلب MIRL من الروبوت فقط وصف المكونات. إنها تستخدم أداة رياضية تسمى المعلومات المتبادلة (MI) لتعمل مثل "اختبار الشم".

كيف تعمل: تقيس MI مدى اعتماد وصف الروبوت على الصورة الفعلية مقابل مجرد التخمين بناءً على ما يقوله عادةً.
التشبيه: إذا قال الروبوت: "هذا يبدو كمثلث عام"، فهذا يعني درجة منخفضة (إنه يخمن). أما إذا قال: "هذا مثلث بزاوية 30 درجة وخط يسقط عموديًا"، فهذه درجة عالية (إنه ينظر حقًا إلى الصورة).
النتيجة: تقوم MIRL بسرعة بفحص 10 أوصاف مختلفة. إذا كان لأحد الأوصاف درجة منخفضة، يتم استبعاده فورًا. وبهذا يوفر الكمبيوتر وقتًا هائلاً عبر عدم إضاعة الوقت في خبز الكعكة بأكملها لهذه البدايات السيئة.

2. استراتيجية "التفرع" (الشوكة)
بمجرد أن تجد MIRL أفضل الأوصاف (أفضل 6 من أصل 10)، فهي لا تكتفي باختيار واحد منها فقط، بل تأخذ تلك الأوصاف الجيدة وتقوم بـ "تفرعها".

التشبيه: تخيل أنك وجدت 6 قواعد مثالية للكعكة. بدلًا من خبز قاعدة واحدة فقط، تأخذ هذه القواعد الست وتخبز نسختين مختلفتين من الكعكة لكل قاعدة. الآن لديك 12 كعكة كاملة لتقييمها، لكنك لم تضع وقتك إلا على أفضل 6 بدايات.
الفائدة: يسمح هذا للروبوت باستكشاف مسارات استنتاج عديدة، ولكن فقط للمسارات التي بدأت بوصف بصري جيد.

3. نظام "المدربين الاثنين" (المكافآت المنفصلة)
أخيرًا، تعالج MIRL الحيرة حول سبب فشل الكعكة. إنها تستخدم مدربين مختلفين:

المدرب (أ) (المدرب البصري): يراقب هذا المدرب جزء الوصف فقط. إذا وصف الروبوت الصورة بشكل جيد، يمنحه المدرب (أ) مكافأة، حتى لو كانت الإجمة النهائية خاطئة. هذا يعلم الروبوت النظر إلى الصورة بعناقة.
المدرب (ب) (مدرب المنطق): يراقب هذا المدرب العملية بأكملها. إذا كانت الإجابة النهائية صحيحة، يمنحه المدرب (ب) مكافأة.
النتيجة: يتعلم الروبوت فصل "النظر بشكل صحيح" عن "التفكير بشكل صحيح"، مما يعالج كلا المشكلتين في آن واحد.

النتائج

اختبر البحث هذه الطريقة على ستة أنواع مختلفة من الألغاز البصرية (مثل المسائل الرياضية التي تحتوي على رسوم بيانية وأسئلة الصور العامة).

الكفاءة: تمكنت MIRL من الحصول على نتائج أفضل من الطريقة القديمة مع استخدام 25% أقل من قوة الحوسبة. لقد كان الأمر يشبه الحصول على كعكة أفضل بمكونات أقل.
الدقة: حققت متوسط دقة قدره 70.22%، متفوقة على الطريقة القياسية التي استخدمت موارد أكثر.

باختصار، تعلم MIRL الروبوت كيفية التحقق من عمله مبكرًا، والتوقف عن إضاعة الوقت في الأفكار السيئة، والحصول على ملاحظات محددة حول ما إذا كان ينظر إلى الصورة أم مجرد التخمين.

ملخص تقني: MIRL – التعلم المعزز الموجه بالمعلومات المتبادلة لنماذج الرؤية واللغة

1. بيان المشكلة

تعاني نماذج الرؤية واللغة (VLMs) بشكل متكرر من أخطاء في الإدراك البصري والهلوسة، حيث تتعارض النصوص المولدة مع الحقائق البصرية. هذه الأخطاء تضعف الدقة في مهام الاستدلال المعقدة. وبينما يقدم التعلم المعزز بالمكافآت القابلة للتحقق (RLVR) حلاً عبر تحسين السياسات بناءً على صحة الإجابة، تواجه الطرق السائدة مشكلتين حرجتين:

الاستكشاف غير الفعال: تخصص طرق RLVR القياسية ميزانيات أخذ العينات بشكل موحد عبر جميع المسارات. ومع ذلك، إذا كان الوصف البصري الأولي يحتوي على أخطاء حرجة (مثل تحديد أشياء بشكل خاطئ أو نقص في التفاصيل)، فإن الاستدلال اللاحق يكون "محكوماً عليه بالفشل". إن توليد مسارات كاملة لهذه الأوصاف منخفضة الجودة يهدر موارد حوسبية كبيرة.
العمى عن المكافأة: تعتمد الطرق الحالية عادةً على مكافآت متفرقة على مستوى التسلسل (صحة الإجابة النهائية). عندما يفشل مسار ما، لا تستطيع إشارة المكافأة التمييز ما إذا كان الخطأ ناتجاً عن مرحلة الإدراك البصري، أم المنطق الاستدلالي، أم صياغة الإجابة. هذا الغموض يعيق التحسين المستهدف لمرحلة التأسيس البصري (visual grounding).

2. المنهجية: MIRL

يقترح المؤلفون MIRL (التعلم المعزز الموجه بالمعلومات المتبادلة)، وهو إطار عمل مفكك يعالج عدم كفاءة أخذ العينات والعمى عن المكافأة من خلال الاستفضاء من المعلومات المتبادلة (MI) بين الأوصاف المولدة والمدخلات البصرية.

الآليات الجوهرية

أ. المعلومات المتبادلة كإشارة فحص مسبق (كفاءة أخذ العينات)
تفترض الطريقة أن جودة الوصف البصري يمكن أن تتنبأ بنجاح المهمة اللاحقة. وهي تستخدم المعلومات المتبادلة لقياس اعتماد رموز (tokens) الوصف المولد على المدخل البصري:
$MI(D; I | q) = \frac{1}{k} \sum_{t=1}^{k} [H(y_t | q, y_{<t}) - H(y_t | I, q, y_{<t})]$
تشير قيمة MI العالية إلى أن النموذج يولد محتوى يعتمد على الصورة، بينما تشير القيمة المنخفضة إلى الاعتماد على الأولويات النصية (الهلوسة).

ب. استراتيجية (أخذ عينة-تقييم-تفرع)
بدلاً من أخذ عينات موحدة لـ $G$ من المسارات الكاملة، يستخدم MIRL استراتيجية ثلاث مراحل:

أخذ العينات المسبق: توليد $N$ من الاستجابات المرشحة، واستخراج جزء الوصف الأولي $D$ فقط.
الاختيار بناءً على MI: حساب درجات MI لجميع أوصاف $N$ . اختيار أفضل $K$ من المرشحين ذوي الـ MI العالي.
التفرع (Forking): بالنسبة للأوصاف $K$ المختارة، يتم توليد $M$ من فروع الاستدلال الإضافية (الفروع) لإنشاء هيكل شجري. يتم استبعاد الأوصاف ذات الـ MI المنخفض من توليد المسار الكامل ولكن يتم الاحتفاظ بها لتدريب الإدراك.
هذا يركز الميزانية الحوسبية على المسارات ذات الإمكانات العالية.

ج. تخصيص المكافأة المفكك
لحل مشكلة العمى عن المكافأة، يقوم MIRL بتفكيك إشارات التدريب:

المكافأة القائمة على MI: تتلقى جميع أوصاف $N$ التي تم أخذ عيناتها مسبقاً مكافأة فورية بناءً على درجة MI الخاصة بها. يوفر هذا تغذية راجعة كثيفة ومنخفضة التأخير مخصصة لتحسين الإدراك البصري ومحاذاة التنسيق.
المكافأة القائمة على المهمة: تتلقى فقط المسارات الكاملة $K(M+1)$ من الأوصاف المختارة المكافأة القياسية القابلة للتحقق (صحة الإجابة) للإشراف على الاستدلال وصياغة الإجابة.
التحديثات المفككة: يتم حساب تدرجات السياسة (policy gradients) بشكل منفصل لرموز الوصف (باستخدام مزايا MI) وللمسارات الكاملة (باستخدام مزايا المهمة)، مما يضمن عدم اختلاط تحسين الإدراك البصري بجودة الاستدلال.

3. المساهمات الرئيسية

تخصيص الميزانية الموجه بـ MI: توضح الورقة أن MI يعمل كوكيل رخيص حوسبياً وموثوق لجودة الإدراك البصري، مما يسمح بتخصيص ذكي للموارد عبر آلية "التفرع" التي تقلل عدد المسارات الكاملة المطلوبة.
إطار عمل تدريبي مفكك: يقدم MIRL نموذجاً تدريبياً جديداً يفصل بين تحسين الإدراك البصري وتحسين الاستدلال، مما يوفر إشارات مستقلة لحل مشكلة تخصيص الائتمان (credit assignment) المتأصلة في RLVR المتفرقة.
التكامل النمطي: تم تصميم النهج ليكون متوافقاً مع خوارزميات RL الحالية (مثل GRPO و DAPO) من خلال تعديل استراتيجية أخذ العينات وحساب المكافأة فقط، دون إعادة هيكلة إطار التحسين الأساسي.

4. النتائج التجريبية

أُجريت التجارب على ستة معايير تشمل الاستدلال الرياضي (MathVista, MathVerse, We-Math)، وسلسلة التفكير متعددة الوسائط (M3CoT)، والفهم البصري العام (MMStar, RealWorldQA) باستخدام نموذج Qwen2.5-VL-7B-Instruct.

الأداء مقابل التكلفة: حقق MIRL-12 (أخذ عينات مسبقة 10، اختيار أفضل 6، تفرع 1) متوسط دقة قدره 70.22%، متفوقاً على خط الأساس DAPO-16 (69.76%) مع استخدام 25% أقل من المسارات الكاملة (12 مقابل 16).
مكاسب الكفاءة: حقق MIRL-8 دقة 68.38%، وهي مقاربة لـ DAPO-12 (69.17%) ولكن مع 33% مسارات أقل.
دراسات الاستئصال (Ablation Studies):
- استراتيجية الاختيار: أدى استبدال الاختيار القائم على MI بالاختيار العشوائي أو اختيار الأوصاف ذات الـ MI المنخفض إلى انخفاض كبير في الأداء، مما يؤكد أن الاختيار الموجه بـ MI هو المحرك الرئيسي للكفاءة.
- تكوين المكافأة: أدى استخدام مكافآت MI وحدها أو مكافآت المهام وحدها إلى نتائج دون المستوى. حقق النهج المفكك (الذي يجمع بين كليهما) أفضل توازن، مما يؤكد ضرورة الإشراف المستقل للإدراك والاستدلال.
التعميم: كان الارتباط بين درجات MI ودقة المهمة ثابتاً عبر مجالات متنوعة (معامل بيرسون $r = 0.71$ إلى $0.94$)، مما يشير إلى أن MI هو مؤشر عالمي لجودة التأسيس البصري.

5. الأهمية والادعاءات

تدعي الورقة أن MIRL تكشف عن القيمة الكبيرة للمعلومات المتبادلة كإشارة تقييم وسيطة في التعلم المعزز لنماذج الرؤية واللغة. من خلال التعامل مع الإدراك البصري كعائق متميز يمكن فحصه وتحسينه بشكل مستقل، يقدم MIRL مساراً نحو تدريب أكثر كفاءة لنماذج VLMs واسعة النطاق.

يؤكد المؤلفون أن عملهم يفتح آفاقاً بحثية جديدة لـ تدريب نماذج VLM واسعة النطاح بكفاءة من خلال إثبات أن:

يمكن اكتشاف أخطاء الإدراك البصري مبكراً وتصفيتها قبل عملية توليد الاستدلال المكلفة.
يسمح تفكيك مكافآت الإدراك والاستدلال بالتحسين المستهدف للتأسيس البصري دون التضحية بقدرات الاستدلال.

تحافظ الورقة على موقف متواضع بشأن القيود، مشيرة إلى أن التنفيذ الحالي يركز على الصور الثابتة والاستدلال الرياضي والعلمي، وأن هناك حاجة لمزيد من التحقق للمحتوى البصري الديناميكي (الفيديو) وبنيات النماذج المتنوعة.