💻 computer science

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

يُعد Remember-R1 إطار عمل للتعلم المعزز يعمل على التخفيف من حدة النسيان البصري في سياقات النصوص الطويلة في النماذج اللغوية الكبيرة متعددة الوسائط، وذلك عبر تطبيق الإشراف على مستوى العمليات لتشجيع الاستخدام المستمر للأدلة البصرية طوال مسارات الاستدلال المعقدة.

المؤلفون الأصليون: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

نُشر 2026-08-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا فائق الذكاء كيف يحل لغزًا من خلال النظر إلى صورة واحدة معقدة. تقول للروبوت: "انظر إلى هذه الصورة وأخبرني ماذا يحدث". في البداية، يكون الروبوت مثل محقق في حالة تأهب قصوى، يحدق بتركيز شديد في كل تفصيل في الصورة. ولكن بمجرد أن يبدأ الروبوت في التحدث، وكتابة أفكاره الطويلة والمنظمة خطوة بخطوة، يحدث شيء غريب. فكلما طال حديثه، بدا وكأنه ينسى الصورة تمامًا. يبدأ في الاعتماد على كلماته السابقة، وتخمين ما قد يكون موجودًا في الصورة بناءً على كيفية سير القصص عادةً، بدلاً من الاعتماد على ما هو موجود بالفعل. هذه مشكلة تواجه جيلاً جديدًا من "النماذج اللغوية الكبيرة متعددة الوسائط" (MLLMs) — وهي أنظمة ذكاء اصطناعي يمكنها الرؤية والقراءة. إنها تزداد براعة في التفكير المعقد، ولكن لديها خلل: فكلما طال "سلسلة أفكارها"، تعاني مما يسمى "النسيان البصري". إنها تبتعد عن الأدلة المرئية، مما يؤدي إلى إجابات خاطئة حتى عندما تحمل الصورة الحقيقة.

يهتم العلماء بهذا الأمر لأنهم إذا لم يتمكنوا من جعل هذه النماذج تبقي أعينها على الهدف أثناء التفكير، فلن يمكن الوثوق بها في المهام الجادة مثل حل المسائل الرياضية ذات المخططات أو فهم الفحوصات الطبية.

إليك Remember-R1، وهو أسلوب تدريب ذكي وجديد مصمم لإبقاء عيني الروبوت ملتصقتين بالصورة، مهما طالت القصة. فكر في عملية التفكير لدى الذكاء الاصطناعي كرحلة طويلة بالسيارة. في الماضي، حاول الباحثون حل مشكلة النسيان عن طريق إيقاف السيارة باستمرار لإظهار الخريطة للسائق مرة أخرى (إعادة تقديم الصورة)، وهو أمر بطيء وغير متناسق. وحاول آخرون أن يطلبوا من السائق وضع قائمة بالأشياء التي يعتقد أنه رآها للتحقق منها لاحقًا، لكن ذلك كان يشبه التحقق من ملاحظة بديلة بدلاً من التحقق من الطريق الفعلي. يأخذ Remember-R1 نهجًا مختلفًا؛ فبدلاً من تغيير الرحلة أو إضافة توقفات، فإنه يعمل مثل مدرب صارم ولكن متعاون يركب في المقعد الخلفي، ويهمس بالمكافآت للسائق أثناء قيادته.

تقترح الورقة البحثية نظامًا يسمى Remember-R1 يستخدم تقنية تسمى "التعلم التعزيزي" لتدريب هذه النماذج. الفكرة الأساسية هي الإشراف على "عملية التفكير" للنموذج مباشرة، بدلاً من مجرد تقييم الإجابة النهائية. صمم الباحثون ثلاث "مكافآت" محددة لتشجيع النموذج على البقاء مرتبطًا بالصورة:

مكافأة "صائد الكلمات المفتاحية": يحصل النموذج على نقاط مقابل ذكر تفاصيل محددة وموضحة وجدها في الصورة (مثل "كرة زرقاء" أو "مكعب صغير") طوال عملية تفكيره. إنها تشبه لعبة حيث يحصل السائق على مكافأة مقابل رصد وتسمية كل معلم مر به بدقة، مما يضمن أنه لا يختلق الأشياء من خياله.
مكافأة "حافظ الذاكرة": تعاقب هذه المكافأة النموذج إذا بدأ في إعطاء اهتمام أقل للصورة مع طول المحادثة. الهدف هو الحفاظ على "الانتباه البصري" ثابتًا من الخطوة الأولى وحتى الأخيرة، ومنع النموذج من الانجراف في أحلام اليقظة حيث يعتمد فقط على نصوصه الخاصة.
مكافأة "تسليط الضوء": تضمن هذه المكافأة أن النموذج لا ينظر إلى الصورة بشكل عشوائي؛ بل يجب أن يركز انتباهه على الأجزاء المحددة من الصورة التي تجيب على السؤال فعليًا. إذا كان السؤال عن سيارة حمراء، فسيتم مكافأة النموذج لإبقاء "ضوء تسليط الضوء" الخاص به على السيارة الحمراء، وليس على الأشجار في الخلفية.

اختبر المؤلفون Remember-R1 على حجمين مختلفين من نماذج الذكاء الاصطناعي (3 مليارات و7 مليارات معلمة) عبر سبعة معايسات مختلفة، بما في ذلك الرياضيات والمنطق والفهم البصري العام. وتشير النتائج إلى أن هذه الطريقة ناجحة. فالنماذج التي تم تدريبها باستخدام Remember-R1 حققت أداءً أفضل باستمرار من نظيراتها غير المدربة والأساليب الأخرى الموجودة. على سبيل المثال، في معيار MathVista، حسن النموذج (3B) درجته من 51.90 إلى 65.50، وقفز النموذج (7B) من 62.30 إلى 69.80.

الأمر الأهم هو أن الورقة تظهر أن هذا التحسن ليس متعلقًا فقط بالحصول على الإجابة الصحيحة في النهاية، بل بكيفية الوصول إليها. ومن خلال تحليل "انتباه" النماذج، وجد الباحثون أن Remember-R1 يبطئ معدل نسيان النموذج للصورة. فبينما تميل النماذج القياسية إلى فقدان الاهتمام بالصورة في منتصف عملية التفكير، يحافظ نموذج Remember-R1 على نظره مثبتًا على الأدلة المرئية لفترة أطول بكثير. وتستبعد الورقة صراحةً فكرة أن مجرد إعادة إظهار الصورة للنموذج أثناء العملية هو الحل الأفضل، مشيرة إلى أن ذلك مكلف للغاية ويكسر تدفق التفكير. وبدلاً من ذلك، يجادلون بأن تدريب النموذج على الحفاظ على تركيزه البصري الخاص من خلال هذه المكافآت المحددة هو المسار الأكثر فعالية.

باختد، يقترح Remember-R1 أنه من خلال مكافأة نماذج الذكاء الاصطناعي لتكون "محققين بصريين" جيدين طوال عملية التفكير بأكملها — عبر رصد الكلمات المفتاحية، والحفاظ على ذاكرة حية، والتركيز على المواضع الصحيحة — يمكننا منعها من نسيان ما تنظر إليه. هذا لا يجعلها أكثر ذكاءً في الرياضيات أو المنطق فحسب، بل يجعلها مراقبين أكثر موثوقية للعالم، مما يضمن أن قصصها الطويلة والمعقدة تظل دائمًا متجذرة في حقيقة الصورة التي تراها.

ملخص تقني: Remember-R1

بيان المشكلة

تستخدم نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) بشكل متزايد سلسلة التفكير الطويلة (CoT) للمهام المعقدة. ومع ذلك، تم تحديد نقطة ضعف حرجة في النماذج الحالية وهي النسيان البصري في السياق الطويل. فمع ازدياد طول تسلسلات الاستدلال، تميل النماذج إلى الاعتماد بشكل أقل على الأدلة البصرية والاعتماد أكثر على السياق النصي المتراكم الناتج في الخطوات السابقة. يؤدي هذا إلى انحراف حيث تبتعد سلسلة الاستدلال عن الحقائق البصرية، لا سيية في مهام الاستدلال الرياضي والمنطقي والمكاني متعددة الخطوات.

تقع استراتيجيات التخفيف الحالية ضمن فئتين، كل منهما تعاني من قيود:

إعادة إدخال المحتوى البصري: إعادة إدراج الصورة أو المناطق في السياق أثناء الاستنتاج. ورغم فعاليتها، إلا أنها تزيد من تكاليف الاستنتاج (الحوسبة والذاكرة) ويمكن أن تؤدي إلى تفتيت عملية الاستدلال.
الوكلاء الادعائيين البصريين: إدراج ادعاءات بصرية وسيطة أثناء التدريب. وهذا يؤدي إلى "فجوة مهمة الوكيل"، حيث يتم تطبيق الإشراف على تفاعلات مساعدة بدلاً من مسار الاستدلال الأصلي الذي يحدث فيه النسيان فعلياً.

هناك نقص في الطرق التي توفر إشرافاً مباشراً على مسار الاستدلال الأصلي لضبط كيفية استخدام الأدلة البصرية والحفاظ عليها دون تغيير إجراء الاستنتاج.

المنهجية: Remember-R1

يقترح المؤلفون Remember-R1، وهو إطار عمل للتعلم التعزيزي (RL) مصمم للتخفيف من النسيان البصري عبر تطبيق الإشراف على مستوى العملية مباشرة على مسار الاستدلال المستهدف. يعمل إطار العمل دون تعديل إجراء الاستنتاج.

1. توصيف البيانات

لتمكين الإشراف على مستوى العملية، قام المؤلفون بتعزيز مجموعة بيانات ViRL39K بتوصيفات أدلة بصرية مهيكلة:

استخراج الكلمات المفتاحية البصرية: باستخدام Qwen-VL-Max، قاموا باستخراج مجموعة من الوحدات اللغوية القصيرة والمثبتة (الأشياء، السمات، الكميات، العبارات المكانية) من الصورة.
توصيف مناطق المفاتيح (Key-Region Box Annotation): حددوا مناطق محددة في الصورة (صناديق الإحاطة) ذات صلة بالإجابة على السؤال.
التحقق: يضمن التحقق البشري جودة الكلمات المفتاحية والصناديق. تحتوي مجموعة البيانات النهائية على 38,657 عينة موصوفة.

2. تصميم المكافأة

يقوم Remember-R1 بتفكيك "الاعتماد المستمر على الأدلة البصرية" إلى ثلاثة جوانب متكاملة، كل منها يقابل مكافأة محددة على مستوى العملية:

مكافأة المفردات البصرية ( $r_{voc}$ ): تشجع على الذكر الصريح للكلمات المفتاحية البصرية الموصوفة طوال مسار الاستدلال.
- الآلية: تحسب متوسطاً مقصوصاً للكلمات المفتاحية المتطابقة والموزونة حسب الموقع. هي لا تكافئ مجرد وجود الكلمات المفتاحية فحسب، بل ظهورها في الخطوات اللاحقة من التوليد، مما يمنع النموذج من ذكر الحقائق البصرية في البداية فقط.
مكافأة الذاكرة البصرية ( $r_{mem}$ ): تشجع على استمرار الانتباه البصري في خطوات الاستدلال اللاحقة.
- الآلية: تقيس الكتلة الإجمالية للانتباه المخصصة لرموز (tokens) بصرية ( $\Omega(t)$ ) عند خطوة التوليد $t$ . تعتمد المكافأة على الفرق بين متوسط الانتباه في النافذة النهائية للتوليد مقابل النافذة الأولية. وهي تعاقب التدهور الكبير في الانتباه البصري مع طول الاستجابة.
مكافأة المنطقة المفتاحية البصرية ( $r_{region}$ ): تشجع على استمرار الانتباه خصيصاً على مناطق الصورة ذات الصلة بالسؤال.
- الآلية: تحسب نسبة الانتباه المخصص لصناديق المناطق المفتاحية الموصوفة بالنسبة لإجمالي الانتباه البصري. وهي تستخدم متوسطاً موزوناً زمنياً، حيث تخصص وزناً أعلى للخطوات اللاحقة لضمان بقاء النموذج مركزاً على المناطق ذات الصلة طوال عملية الاستدلال.

3. تحسين التعلم التعزيزي

تجمع المكافأة الإجمالية بين مكافأة صحة الإجابة القياسية ( $r_{acc}$ ) والمكافآت الثلاث للعملية البصرية:
$R(Y, I, Q) = r_{acc}(Y) + r_{voc}(Y) + r_{mem}(Y) + r_{region}(Y)$
يتم تحسين السياسة باستخدام تحسين السياسة النسبي للمجموعات (GRPO)، عبر أخذ عينات من مجموعات الاستجابات لحساب المزايا المعيارية.

المساهمات الرئيسية

إطار عمل للإشراف على مستوى العملية: يقترح البحث نهجاً جديداً لدراسة النسيان البصري عبر الإشراف المباشر على مسار الاستدادة الأصلي، متجنباً تكاليف الاستنتاج لإعادة الإدخال وفجوات الوكيل القائمة على الادعاء.
تصميم مكافأة ثلاثي الجوانب: صمم المؤلفون ثلاث مكافآت محددة تستهدف تغطية الكلمات المفتاحية البصرية، واستمرارية الانتباه البصري بمرور الوقت، وتوطين الانتباه في المناطق ذات الصلة بالسؤال.
التحقق التجريبي: تم التحقق من الطريقة عبر حجمين من النماذج (3B و 7B) وسبعة معايير متنوعة، مما أظهر تحسينات مستمرة في الاستدلال، والقدرة متعددة الوسائط العامة، والإدراك البصري.

النتائج التجريبية

قيم المؤلفون نموذج Remember-R1 على النماذج الأساسية Qwen2.5-VL-3B و Qwen2.5-VL-7B عبر سبعة معايير:

الاستدلال الرياضي والمنطقي: MathVision, MathVista, LogicVista.
القدرة متعددة الوسائط العامة: MMVet, MMMB, MMStar.
الإدراك البصري: RealWorldQA.

النتائج الرئيسية:

مكاسب الأداء: يتفوق Remember-R1 باستمرار على النماذج الأساسية والنماذج الحديثة الموجهة نحو الاستدلال (مثل Ocean-R1, VLAA-Thinking) وطرق التخفيف السابقة للنسيان البصري (مثل DeepSketcher, TVC). لوحظت تحسينات ملحوية في MathVista (+13.60 لـ 3B، +7.50 لـ 7B) و MMVet.
تحليل التوطين البصري: يظهر تحليل نسبة الانتباه أنه بينما تظهر جميع النماذج انخفاضاً في الانتباه البصري بمرور الوقت، فإن Remember-R1 يظهر تراجعاً أبطأ بكثير، خاصة في المراحل المتوسطة والمتأخرة من التوليد.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من مكافآت المستوى العملي الثلاث إلى تدهور الأداء عبر المعايير.
- إزالة $r_{voc}$ أدت إلى ذكر أقل للكلمات المفتاحية البصرية واستدلال أضعف.
- إزالة $r_{mem}$ أدت إلى تدهور أسرع في الانتباه.
- إزالة $r_{region}$ قللت من الانتباه للمناطق ذات الصلة، مما تسبب في انخفاض الدقة عبر جميع أنواع المهام.
المقارنة مع التعلم التعزيزي القائم على الدقة فقط: أظهر متغير تم تدريبه فقط على صحة الإجابة ( $r_{acc}$ ) تحسينات، ولكنه كان أدنى من Remember-R1 الكامل، مما يشير إلى أن الإشراف على الإجابة النهائية وحده غير كافٍ للحفاظ على التوطين البصري في السياقات الطويلة.

الأهمية والادعاءات

يدعي البحث أن Remember-R1 يخفف بفعالية من النسيان البصري في السياق الطويل من خلال الإشراف المباشر على استخدام الأدلة البصرية في المسار الذي يحدث فيه النسيان. تكمن الأهمية في إثبات أن:

التعلم التعزيزي على مستوى العملية يمكن أن يحسن أداء الاستدلال دون تغيير إجراء الاستنتاج أو زيادة تكاليف الاستنتاج.
الحفاظ على الاعتماد على الأدلة البصرية لا يقتصر فقط على ذكر الكلمات المفتاحية، بل يتعلق بالحفاظ على استمرارية الانتباه والتركيز على المناطق ذات الصلة طوال عملية التوليد.
هذه التحسينات تعمم عبر أحجام النماذج وأنواع المهام المختلفة، مما يشير إلى أن الإشراف المباشر على مسار الاستدلة هو اتجاه واعد للاستدلال متعدد الوسائط طويل المدى.

خلص المؤلفون إلى أن نهجهم يساعد النماذج على الحفاظ بشكل أفضل على الاعتماد على الأدلة البصرية مع تقدم عملية التوليد، مما يعالج قصوراً جوهرياً في نماذج MLLM الحالية دون الأعباء الحسابية للطرق السابقة.