Reinforced Attention Learning

إليك ملخص تقني مفصل لورقة البحث "Reinforced Attention Learning" (RAL).

1. بيان المشكلة

بينما أدى التدريب اللاحق باستخدام التعلم المعزز (RL) إلى تعزيز قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs) بشكل كبير عبر توسيع نطاق وقت الاختبار (مثل توليد مسارات "سلسلة الأفكام" - Chain-of-Thought - طويلة)، فإن توسيع هذا النموذج ليشمل النماذج اللغوية متعددة الوسائط (MLLMs) أثبت أنه أمر إشكالي.

• القصور: في النماذج اللغوية متعددة الوسائط، غالبًا ما يؤدي إجبار النماذج على توليد مسارات نصية مطولة للمهام التي تعتمد بكثافة على الإدراك (مثل الإجابة على الأسئلة المتعلقة بالصور أو الفيديو) إلى مكاسب ضئيلة أو حتى تدهور في الأداء.
• السبب الجذري: يعمل التعلم المعزز القياسي على تحسين توزيع التوكن التالي (أي ماذا يتم توليده). ومع ذلك، يعتمد الاستدلال متعدد الوسائط الدقيق بشكل كبير على قدرة النموذج على تحديد والاهتمام بالمعلومات البصرية البارزة بشكل صحيح (أي أين يجب التركيز). يقوم التعلم المعزز من التغذية الراجحة البشرية (RLHF) القياسي بتحسين المخرجات النصية بدلاً من عملية تخصيص المعلومات الداخلية، مما يؤدي إلى "اختراق المكافأة" (reward hacking) حيث تولد النماذج نصوصًا تبدو منطقية ولكنها غير مرتبطة بصريًا بالواقع.

2. المنهجية: تعلم الانتباه المعزز (RAL)

يقترح المؤلفون تعلم الانتباه المعزز (RAL)، وهو إطار عمل لسياسة التدرج (policy-gradient) ينقل هدف التحسين من تسلسلات التوكنات المخرجة إلى توزيعات الانتباه الداخلية.

المفهوم الجوهري

بدلاً من معاملة السياسة كالتوزيع الاحتمالي للتوكنات ($\pi(a_t|s_t)$)، يعامل RAL توزيع الانتباه ($p_t^\theta$) كسياسة. يتم مكافأة النموذج لتخصيص أوزان الانتباه للتوكنات البصرية الصحيحة التي تدعم الإجابة النهائية.

المكونات الرئيسية

1. سياسة توزيع الانتباه السببي المجمعة:

   • بالنسبة لتوكن تم توليده في الموقع $t$، تُعرف السياسة بأنها أوزان الانتباه المعيرة من ذلك التوكن إلى جميع التوكنات السابقة (بما في ذلك المدخلات البصرية والنصوص السابقة).
   • هذا يلتقط كيفية دمج النموذج للسياق البصري مع استدلاله الناشئ.

2. تباعد الانتباه المرجح بالميزة (Advantage-Weighted Attention Divergence):

   • تعمل دالة الخسارة ($L_{AttnRL}$) على تقليل التباعد (تحديدًا تباعد جينسن-شانون) بين سياسة الانتباه الحالية والسياسة المرجعية، مع الترجيح بواسطة الميزة ($A_t$).
   • المنطق:
     • إذا أدى المسار إلى مكافأة عالية ($A_t > 0$)، يتم تشجيع النموذج على تقليل التباعد عن نمط الانتباه الناجح.
     • إذا أدى المسار إلى مكافأة منخفضة ($A_t < 0$)، يتم معاقبة النموذج لـ زيادة التباعد عن نمط الانتباه غير الأمثل.
   • يوفر هذا إشرافًا لكل توكن على عملية الاستدلال الداخلي، مما يمنع مشكلة "تلاشي التدرج" الشائعة في التسلسلات الطويلة.

3. هدف التحسين المشترك:

   • تجمع إجمالي الخسارة بين التعلم المعزز القياسي على مستوى التوكن ($L_{RL}$) ومنظم الانتباه ($L_{AttnRL}$):
     $$L_{total} = L_{RL} + \lambda_{attn} L_{AttnRL}$$
   • يضمن هذا بقاء النموذج مرنًا لغويًا مع فرض ربط بصري مهيكل ومتوافق مع المكافأة.

التوسيع: تقطير الانتباه في الوقت الفعلي (On-Policy Attention Distillation)

تم توسيع الإطار في سياق التقطير حيث يتعلم نموذج طالب من نموذج معلم.

• التقطير المزدوج: يتم الإشراف على الطالب في كل من المخرجات على مستوى التوكن (التقطير المعرفي القياسي) وتوزيعات الانتباه الداخلية.
• الفائدة: ينقل هذا "أنماط الاستدلال الهيكلية" (أين ينظر المعلم) بدلاً من مجرد الإجابة النهائية، مما يخفف من انحياز التعرض (exposure bias) ويحسن المحاذاة عبر الوسائط.

3. المساهمات الرئيسية

1. تعلم الانتباه المعزز (RAL): نموذج جديد للتدريب اللاحق يقوم بتحسين توزيعات الانتباه الداخلية مباشرة، مما يسمح بالتعزيز المباشر للربط البصري دون الاعتماد فقط على الإشراف النصي للمخرات.
2. تقطير الانتباه في الوقت الفعلي: طريقة لنقل سلوكيات الانتباه الكامنة من المعلم إلى الطالب، مما يثبت أن محاذاة "أين يجب التركيز" تحقق محاذاة أقوى عبر الوسائط مقارنة بالتقطير القياسي الذي يقتصر على المخرات فقط.
3. التحقق التجريبي: تجارب واسعة أظهرت أن RAL يتفوق باستمرار على تحسين المجموعة النسبي للسياسة (GRPO) والنماذج الأساسية عبر مختلف اختبارات الصور والفيديو، لا سيما في المهام كثيفة الإدراك.

4. النتائج التجريبية

قيم المؤلفون RAL على نموذج Qwen-2.5-VL-7B باستخدام مجموعة بيانات Video-R1، مقارنة بـ GRPO والنماذج المرجعية القياسية.

• اختبارات VQA للصور:
  • تفوق RAL على GRPO في جميع الاختبارات الثمانية (بما في ذلك $V^*$Bench، MME، ChartQA، VizWiz).
  • مكاسب ملحوظة: $V^*$Bench (+5.8)، MME (+94.1)، و VizWiz (+3.8).
  • من المهم أن RAL تجنب تدهور الأداء الذي يظهر غالبًا في GRPO مقارنة بالنموذج الأساسي، مما يشير إلى تعميم أفضل.
• اختبارات VQA للفيديو:
  • تفوق RAL على GRPO في 6 من أصل 7 من اختبارات الفيديو الطويل (مثل LongVideoBench، NExT-QA، MVBench).
  • تحسينات كبيرة في الاستدلال الزمني والاستدلال متعدد الخطوات.
• دراسات الاستئصال (Ablation Studies):
  • القابلية للتوسع: اتسعت ميزة RAL على GRPO مع زيادة كثافة المعلومات البصرية (دقة أعلى للصور وإطارات فيديو أطول)، مما يثبت فعاليته في السياقات المعقدة.
    • ضرورة المسارات (Rationales): نسخة RAL-zero (التي أزالت نص "سلسلة الأفكام" الصريح، واكتفت بالتدريب على الانتباه فقط) حققت أيضًا نتائج رائدة في عدة اختبارات. وهذا يثبت أن تحسين توزيعات الانتباه هو محرك قوي للفهم البصري، حتى بدون المنطق اللفظي المطول.
  • التقطير: أدى إضافة تقطير الانتباه إلى التقطير القياسي في الوقت الفعلي إلى تحسين الأداء باستمرار في كل من مهام الصور والفيديو.

5. الأهمية والخاتمة

• تحول في النموذج: تتحدى الورقة المفهوم السائد بأن "النص الأطول = استدلال أفضل" للنماذج اللغوية متعددة الوسائط. وتجادل بأنه بالنسبة لمهام الإدراك، فإن تحسين العملية (تخصيص الانتباه) أكثر أهمية من تحسين المنتج (توليد التوكنات).
• الاستقرار: على عكس التعلم المعزز على مستوى التوكن الذي قد يؤدي إلى اختراق المكافأة أو عدم الاستقرار، يوفر التحسين القائم على الانتباه إشارة تدريب أكثر استقرارًا وقابلية للتعميم.
• الاتجاهات المستقبلية: يضع هذا العمل توزيعات الانتباه كهدف تحسين من "الدرجة الأولى". ويفتح آفاقًا لتحسين الهياكل الداخلية الأخرى (مثل توجيه MoE، والدمج عبر الوسائط) لبناء ذكاء أكثر قوة وترابطًا عبر الوسائط.

باختًا، يقدم تعلم الانتباه المعزز (RAL) بديلًا مبدئيًا للتعلم المعزز من التغذية الراجحة البشرية (RLHF) التقليدي للنماذج اللغبية متعددة الوسائط، موضحًا أن تعليم النماذج أين تنظر لا يقل أهمية، إن لم يكن أكثر أهمية، من تعليمها ماذا تقول.