🤖 AI

Recurrent Reasoning with Vision-Language Models for Estimating Long-Horizon Embodied Task Progress

تقترح الورقة البحثية $\text{R}^2\text{VLM}$ ، وهو إطار عمل استدلالي تكراري يعالج مقتطفات الفيديو المحلية بشكل متكرر مع الحفاظ على سلسلة أفكار متطورة لتقدير تقدم مهام التجسيد طويلة المدى بكفاءة ودقة، محققاً أداءً هو الأفضل في فئته دون التكلفة الحسابية لمعالجة مسارات الفيديو الكاملة.

المؤلفون الأصليون: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

نُشر 2026-03-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuelin Zhang, Sijie Cheng, Chen Li, Zongzhao Li, Yuxin Huang, Yang Liu, Wenbing Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية طهي وجبة معقدة، مثل "إعداد كوب من القهوة". لا يحتاج الروبوت فقط إلى رؤية الفيديو؛ بل يحتاج إلى فهم أين هو في العملية. هل انتهى؟ هل قطع منتصف الطريق؟ هل نسي إحضار الحليب؟

تقدم هذه الورقة البحثية نظام ذكاء اصطناعي جديد يسمى R2VLM (نموذج الرؤية واللغة الاستنتاجي المتكرر)، والذي يعمل كـ مدرب طهي ذكي وصبور يجلس بجانب الروبوت. مهمته هي الإجابة باستمرار على السؤال: "كم أنجزنا من المهمة فعلياً؟"

إليك كيف يعمل هذا النظام، مقسماً إلى مفاهيم بسيطة:

1. المشكلة: كابوس "الفيديو الطويل"

تخيل أنك تحاول مشاهدة فيلم مدته ساعتان لتفهم ما حدث في أول 5 دقائق. إذا حاولت إعادة مشاهدة الفيلم بأكالته في كل مرة يحدث فيها مشهد جديد، فستصاب بالإرهاق وسيتشتت عقلك.

أساليب الذكاء الاصطناعي القديمة حاولت فعل ذلك تماماً. كانت تنظر إلى تاريخ الفيديو بالكامل في كل ثانية لتخمين التقدم. وهذا أمر بطيء ومكلف، وغالباً ما يصاب الذكاء الاصطناعي بـ "الهلوسة" (الارتباك بشأن ما حدث سابقاً) لأن الفيديو طويل جداً.
التحدي: المهام في العالم الحقيقي (مثل تنظيف المنزل أو الطهي) تستغرق وقتاً طويلاً وتتكون من خطوات عديدة. إذا نسي الذكاء الاصطناعي أنه التقط كوب القهوة بالفعل، فقد يحاول التقاطه مرة أخرى، أو الأسوأ من ذلك، قد يعتقد أنه انتهى بينما لم يبدأ بعد.

2. الحل: "الدفتر المستمر" (الاستنتاج المتكرر)

بدلاً من إعادة مشاهدة الفيلم بأكمله، يستخدم R2VLM حيلة ذكية: الدفتر المستمر.

تخيل الذكاء الاصطناعي كمحقق يحل لغزاً.

الطريقة القديمة: في كل مرة تصل فيها قطعة دليل جديدة، يعيد المحقق قراءة ملف القضية المكون من 500 صفحة من الصفحة الأولى.
طريقة R2VLＭ: يحتفظ المحقق بـ دفتر ملاحظات (يسمى "سلسلة الأفكط" أو CoT).
1. ينظر المحقق إلى مقطع الفيديو الجديد (آخر دليل وصل).
2. يفتح دفتر ملاحظاته، الذي يقول بالفعل: "وجدت حبوب القهوة، لكنني لم أطحنها بعد."
3. ينظر إلى المقطع الجديد، ويرى الروبوت وهو يطحن الحبوب، ثم يحدث الدفتر: "حسناً، تم طحن الحبوب. الآن أحتاج إلى إحضار الماء."
4. يكتب نسبة التقدم الجديدة (مثلاً: "تم إنجاز 40%").

من خلال النظر فقط إلى المقطع الأحدث والدفتر، يظل الذكاء الاصطناعي سريعاً، ولا يرتبك، ويتذكر الصورة الكبيرة بشكل مثالي.

3. التدريب: "لعبة المشتتات"

لتعليم هذا الذكاء الاصطناعي أن يكون ذكياً، لم يكتفِ الباحثون بعرض فيديوهات لأشخاص يقومون بمهام، بل لعبوا معه لعبة مخادعة.

تخيل أنك تعلم طالباً كيفية تحديد "سيارة حمراء". إذا عرضت عليه سيارات حمراء فقط، فقد يخمن كلمة "حمراء" دون النظر إلى الشكل.

الحيلة: عرض الباحثون للذكاء الاصطناعي فيديو لشخص يصنع القهوة، لكنهم أخبروه: "هذا فيديو لشخص يصنع شطيرة."
النتيجة: اضطر الذكاء الاصطناعي للنظر بدقة. أدرك قائلاً: "انتظر، إنهم يصبون القهوة، وليسوا يضعون الجبن على الخبز. وصف المهمة لا يتطابق مع الفيديو!"
أجبر هذا الأمر الذكاء الاصطناعي على التوقف عن التخمين بناءً على الاختصارات، وبدأ في الاستنتاج فعلياً حول خطوات المهمة، مما ضمن فهمه الحقيقي لهيكل المهمة.

4. لماذا يهم هذا: "المدرب" للروبوتات

هذا ليس مجرد تخمين للأرقام؛ بل يتعلق بمساعدة الروبوتات على التعلم ومساعدتنا. توضح الورقة البحثية ثلاث طرق رائعة يمكن استخدام هذا "المدرب" فيها:

المدرب الشخصي (تعلم السياسات): إذا كان الروبوت يتعلم المشي أو الطهي، فإن المدرب يخبره: "أنت تبلي بلاءً حسناً، لقد أنهيت 3 من أصل 5 خطوات!" وهذا يساعد الروبوت على التعلم بشكل أسرع مما لو تلقى إجابة "نعم/لا" في النهاية فقط.
الحكم (نمذجة المكافأة): في ألعاب الفيديو، تحصل على نقاط مقابل الحركات الجيدة. في العالم الحقيقي، لا توجد نقاط للروبوتات. يعمل R2VLM كحكم، حيث يعطي الروبوت "درجة" (مكافأة) في كل مرة يكمل فيها خطوة صغيرة، مما يوجهه للقيام بالشيء الصحيح.
المساعد اللطيف (المساعدة الاستباقية): تخيل أنك شخص مسن يحاول تجميع قطعة أثاث. يراقبك الذكاء الاصطناعي عبر كاميرا. يرى أنك تعاني مع مسمار ما، فيقول: "لقًد انتهيت من تركيب الأرجل، لكنك لم تثبت الجزء العلوي بعد. إليك الخطوة التالية." هو لا يكتفي بالمشاهدة؛ بل يفهم تدفق عملك.

ملخص

R2VLM يشبه مساعداً ذكياً ومنتبهاً يحتفظ بمذكرات يومية لما يفعله الروبوت. بدلاً من الشعور بالإرهاق من الفيديوهات الطويلة، يقوم بتحديث مذكراته خطوة بخطوة. هذا يسمح له بإخبارنا بدقة بمدى تقدم المهمة، مما يساعد الروبوتات على التعلم بشكل أسرع، وارتكاب أخطاء أقل، ومساعدتنا بشكل أكثر فعالية في حياتنا اليومية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "الاستدلال المتكرر باستخدام نماذج الرؤية واللغة لتقدير تقدم المهام المجسدة طويلة الأمد."

1. بيان المشكلة

يعد تقدير تقدم المهام طويلة الأمد ومتعددة الخطوات (مثل "إعداد كوب من القهوة" أو "تنظيف المطبخ") بدقة أمراً بالغ الأهمية لتمكين الوكلاء (Agents) من التخطيط بفعالية، والتعافي من الأخطاء، والتفاعل الاستباقي مع البشر. ومع ذلك، تواجه النهج الحالية تحديين رئيسيين:

محدودية الاستدلال: تعتمد نماذج الرؤية واللغة (VLMs) الحالية بشكل أساسي على فهم الفيديو ونوافذ السياق الكبيرة، لكنها لا تستغل إمكانات الاستدلال المعقدة لديها بشكل كافٍ. فهي غالباً ما تفشل في مواءمة الملاحظات البصرية مع التبعيات الزمنية المعقدة بين المهام الفرعية.
عدم الكفاءة الحسابية: إن معالجة مسارات الفيديو الكاملة والطويلة باستخدام نماذج الرؤية واللغة أمر باهظ التكلفة حسابياً للنشر في الوقت الفعلي وفي العالم الحقيقي، وذلك بسبب التكلفة العالية لمعالجة الأعداد الهائلة من الرموز البصرية (Visual Tokens) وقيود طول السياق.

2. المنهجية: R2VLM

يقترح المؤلفون R2VLM (نموذج الرؤية واللغة للاستدلال المتكرر)، وهو إطار عمل مصمم لتقدير تقدم المهمة من خلال الجمع بين المعالجة المحلية المتكررة للفيديو وبين ذاكرة استدلال عالمية.

البنية الأساسية

إطار الاستدلال المتكرر: بدلاً من تغذية تاريخ الفيديو بالكامل في النموذج دفعة واحدة، يقوم R2VLM بمعالجة الفيديو كسلسلة من المقتطفات (Snippets) المحلية القصيرة (على سبيل المثال، 2-4 ثوانٍ).
سلسلة الأفكام (CoT) المتطورة: يحافظ النموذج على سياق عالمي من خلال سلسلة أفكار متطورة. في كل خطوة زمنية $t$ ، يأخذ النموذج:
1. المقتطف المرئي الحالي ( $v_t$ ).
2. سلسلة الأفكار التاريخية من التكرار السابق ( $c_{t-1}$ ).
3. وصف المهمة ( $\tau$ ).
ثم يقوم بتحديث سلسلة الأفكار ( $c_t$ ) ويخرج تقدير التقدم الحالي ( $p_t$ ).

آلية سلسلة الأفكار (CoT)

تعمل سلسلة الأفكار كشكل من أشكال الذاكرة التاريخية وتُسجل صراحةً ما يلي:

تفكيك المهمة: تقسيم المهمة طويلة الأمد إلى مهام فرعية رئيسية.
تتبع الحالة: تحديد الخطوات المكتملة، أو المنتظرة، أو غير المكتملة بناءً على الأدلة البصرية.
التعديل الديناميكي: يمكن للنموذج دمج أو تقسيم أو إعادة ترتيب الخطوات إذا تعارض التفكيك الأولي مع الملاحظات البصرية الفعلية (على سبيل المثال، إذا تخطى المستخدم خطوة أو قام بها بترتيب مختلف).
حساب التقدم: يتم تقدير التقدم النهائي بناءً على نسبة الخطوات المكتملة بالنسبة لإجمالي الخطوات المطلوبة.

استراتيجية التدريب

تم تدريب النموذج على مجموعات بيانات واسعة النطاق تم إنشاؤها تلقائياً من ALFRED (المحاكاة) و Ego4D (العالم الحقيقي). يتضمن التدريب مرحلتين:

الضبط الدقيق الخاضع للإشراف (SFT): يتعلم النموذج توليد سلاسل أفكار مهيكلة وتقديرات للتقدم باستخدام بيانات عالية الجودة تم إنشاؤها بواسطة خط معالجة آلي. يقوم هذا الخط بإنشاء أوصاف مهام "مشتتة" لمنع النموذج من الاعتماد على الإشارات البصرية السطحية.
التعلم التعزيزي (RL): باستخدام تحسين السياسة المتطورة (PPO)، يتم صقل النموذج بشكل أكبر باستخدام دالة مكافأة متعددة المكونات:
- مكافأة التنسيق (Format Reward): تضمن اتباع المخرجات لهيكل (سلسلة الأفكار + الإجابة).
- مكافأة الحاوية (Bin Reward): تتحقق مما إذا كان التقدم يقع ضمن الفترة الصحيحة بناءً على عدد الخطوات المكتملة.
- مكافأة متوسط الخطأ المطلق (MAE Reward): تشجع على الدقة العددية الدقيقة.
- مكافأة التحسين (Improvement Reward): مصممة خصيصاً للتعلم التعزيزي متعدد الدورات، وهي تكافئ النموذج على تقليل الخطأ مقارنة بالدورة السابقة، مما يعزز التصحيح الذاتي.
- مكافأة الانتهاء (Finish Reward): تضمن الكشف الدقيق عن اكتمال المهمة (100%).

3. المساهمات الرئيسية

نموذج استدلال متكرر مبتكر: يعد R2VLM أول نموذج يطبق إطار عمل سلسلة أفكار متكررة لتقدير تقدم المهام المجسدة، مما يسمح للنموذج بالحفاظ على السياق العالمي مع معالجة مقتطفات فيديو محلية فقط. وهذا يتجنب العبء الحسابي لمعالجة الفيديو الكامل.
بناء مجموعة بيانات مؤتمتة: طور المؤلفون خط معالجة لتوليد بيانات تدريب واسعة النطلة متعددة الدورات مع تعليقات توضيحية لسلسلة الأفكار ومهام مشتتة من مجموعات البيانات الموجودة (ALFRED و Ego4D)، مما يعالج نقص بيانات الاستدلال عالية الجودة لهذه المهمة المحددة.
تصميم شامل للمكافآت: أدى إدخال "مكافأة التحسين" و"مكافأة الحاوية" في مرحلة التعلم التعزيزي إلى توجيه النموذج بفعالية لصقل استدلاله بشكل متكرر وفهم إتمام الخطوات.
تطبيقات نهائية متعددة الاستخدامات: ليس النموذج مجرد مقدر للتقدم بل هو أداة عامة لـ:
- تحسين تعلم السياسة المدعوم بالتقدم: تحسين أداء الوكيل من خلال توفير إشارات تقدم دلالية (أفضل من الإشارات القائمة على الوقت).
- نمذجة المكافأة: توليد مكافآت كثيفة ودقيقة للتعلم التعزيزي عبر الإنترنت، مما يحل مشكلة الندرة في المهام طويلة الأمد.
- المساعدة الاستباقية: تمكين التتبع خطوة بخطوة في الوقت الفعلي للتوجيه من قبل البشر (Human-in-the-loop).

4. النتائج التجريبية

تم تقييم النموذج على معايير ALFRED و Ego4D مقابل نماذج أساسية قوية، بما في ذلك واجهات برمجة التطبيقات مغلقة المصدر (GPT-5، Gemini-2.5-Pro) ونماذج الرؤية واللغة مفتوحة المصدر (Qwen2.5-VL، InternVL3).

أداء رائد (State-of-the-Art): حقق R2VLM أفضل النتائج عبر جميع المقاييس الأربعة:
- pMAE (متوسط الخطأ المطلق للتقدم): أقل بكثير من النماذج الأساسية (على سبيل المثال، 2.19 في ALFRED مقابل 27.87 لنموذج Qwen2.5-VL-7B الأساسي).
- $\Delta$ pMAE: دقة عالية في التنبؤ بزيادات التقدم (وهو أمر ضريد لنمذجة المكافأة).
- دقة الحاوية (Bin Accuracy): دقة عالية في تحديد مرحلة الإكمال الصحيحة.
- الدقة (Acc): دقة عالية في اكتشاف اكتمال المهمة بالكامل.
الكفاءة: باستخدام مقتطفات الفيديو + سلسلة الأفكار، يحافظ R2VLM على وقت استدلال ثابت بغض النظر عن طول الفيديو، بينما تعاني النماذج الأساسية التي تعالج الفيديو كاملاً من زيادة خطية في زمن الاستجابة وتشتت الانتباه.
التعميم: أظهر النموذج قدرة قوية على التعميم عبر المجالات، حيث قدم أداءً جيداً عند التدريب على مجموعة بيانات واحدة والاختبار على أخرى، مما يشير إلى أنه تعلم استراتيجيات الاستدلال بدلاً من الأنماط الخاصة بمجموعة البيانات.
دراسات الاستئصال (Ablation Studies): تسبب إزالة "مكافأة التحسين" في انخفاض كبير في الأداء، مما يؤكد ضرورتها لصقل الاستدلال المتكرر.

5. الأهمية

يقلص هذا العمل الفجوة بين قدرات الاستدلال لنماذج الرؤية واللغة الكبيرة والقيود العملية للذكاء الاصهادي (Embodied AI). من خلال فصل السياق العالمي (عبر سلسلة الأفكار) عن المعالجة البصرية المحلية (عبر المقتطفات)، يقدم R2VLM حلاً قابلاً للتوسع، وفعالاً، وعالي الدقة لمراقبة المهام طويلة الأمد. إن قدرته على توليد مكافآت دلالية كثيفة تجعل منه مكوناً أساسياً لتدريب وكلاء مجسدين أكثر قدرة عبر التعلم التعزيزي، متجاوزاً بذلك إشارات النجاح الثنائية والنادرة. كما أن إصدار النماذج ومعايير الاختبار للجمهور يعزز من وتيرة الأبح في مجال تقدير التقدم في الذكاء الاصطاذي.