🤖 AI

Thinking in Text and Images: Interleaved Vision--Language Reasoning Traces for Long-Horizon Robot Manipulation

تقدم هذه الورقة البحثية إطار عمل "الاستنتاج البصري اللغوي المتداخل" (IVLR)، وهو إطار سياسات يولد مسارات صريحة تتناوب بين الأهداف الفرعية النصية والإطارات الرئيسية البصرية لتمكين التلاعب الروبوتي طويل المدى والقوي من خلال الجمع بين التماسك المنطقي والتجذر الهندسي، محققاً معدلات نجاح هي الأفضل في فئتها على معايير الاختبار الصعبة.

المؤلفون الأصليون: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

نُشر 2026-05-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jinkun Liu, Haohan Chi, Lingfeng Zhang, Yifan Xie, YuAn Wang, Long Chen, Hangjun Ye, Xiaoshuai Hao, Wenbo Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية تنظيف مطبخ فوضوي. المهمة ليست مجرد "التقط الملعقة"، بل هي قصة طويلة: "أولاً، انقل الطبق المتسخ إلى الحوض، ثم أمسك الإسفنجة، وافرك الطاولة، وأخيرًا ضع الإسفنجة مكانها".

عقول الروبوتات الحالية (التي تسمى سياسات الرؤية واللغة والأفعال - Vision-Language-Action policies) تشبه الممثلين الذين يجيدون قول السطر التالي من الحوار مباشرة، لكنهم سيئون جدًا في تذكر السيناريو بأكمله. هم ينظرون إلى الحوض، يرون طبقًا، فيمسكون به. لكن إذا كانت المهمة تتطلب منهم الإمساك بكوب قبل الطبق، فقد يصابون بالارتباك، أو يمسكون الشيء الخطأ، أو ينسون السبب الذي جاءوا من أجله في المقام الأول. إنهم "قصيرو النظر" (myopic)—يرون فقط الخطوة التالية المباشرة.

تقدم هذه الورقة البحثية طريقة جديدة لتفكير الروبوت، تسمى IVLR (الاستنتاج المتداخل بين الرؤية واللغة). وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "الممثل فاقد الذاكرة"

فكر في الروبوت القياسي كممثل يُعطى سيناريو، ولكن عليه حفظه سطرًا بسطر أثناء الأداء. إذا كانت المسرحية قصيرة، فسيكون بخير. ولكن إذا كانت المسرحية طويلة (مهمة ذات أفق طويل)، فسينسى الحبكة.

الخطط القائمة على النص فقط تشبه سيناريو يقول "التقط الكوب". هي تخبر الروبوت ماذا يفعل، ولكن ليس أين بالضبط أو كيف يجب أن يبدو المشهد. إنها مثل وصفة طعام بدون صور.
الخطط القائمة على الرؤية فقط تشبه شريط فيلم للمستقبل. هي تظهر للروبوت كيف سيبدو المشهد، ولكن بدون كلمات، قد لا يفهم الروبوت لماذا يتواجد الكوب هناك أو ما هو الترتيب الذي حدثت به الأمور.

2. الحل: "المخرج صاحب لوحة القصص المصورة"

يمنح المؤلفون الروبوت لوحة قصص مصورة (Storyboard). قبل أن يحرك الروبوت عضلة واحدة، يتوقف ويقوم بإنشاء "فيلم" كامل للمهمة بأكملها في مخيلته. هذه اللوحة تسمى IVLR-Trace.

هذا الأثر (Trace) مميز لأنه يمزج بين شيئين معًا، بالتناوب مثل القصص المصورة:

لوحات نصية: "التقط الكوب الأبيض". (المنطق/الترتيب السببي).
لوحات صورية: صورة للكوب الأبيض وهو موضوع تمامًا حيث يجب أن يكون. (الهدف البصري).

يقوم الروبوت بتوليد لوحة القصص المصورة هذه بالكامل مرة واحدة في البداية. الأمر يشبه مخرجًا يقول: "حسنًا، إليكم الفيلم بأكمله. المشهد 1: التقط الكوب. المشهد 2: ضعه على الطبق. المشهد 3: التقط الكوب الأصفر..."

3. كيف يستخدمها الروبوت: "نظام تحديد المواقع (GPS) مع خريطة"

بمجرد صنع لوحة القصص المصورة، لا يتبع الروبوت الصور بشكل أعمى كشخصية في لعبة فيديو. بدلاً من ذلك، يحتفظ بلوحة القصص في "ذاكرة مؤقتة" (cache) أثناء عمله.

الحلقة: في كل لحظة، ينظر الروبوت إلى العالم الحقيقي (ما يراه الآن) ويتحقق منه مقابل لوحة القصص المصورة (ما خطط لرؤيته).
التشبيه: تخيل أنك تقود سيارتك للذهاب إلى حفلة. لديك خريطة (لوحة القصص) تظهر الطريق والوجهة. ولكن لديك أيضًا عينان (كاميرا حية). إذا اتخذت منعطفًا خاطئًا، ستخبرك عيناك: "مهلًا، هذا ليس الشارع الموجود في الخريطة!" ثم تقوم بتصحيح مسارك.
يقوم الروبوت بهذا باستمرار. إنه يستخدم لوحة القصص لتذكر ترتيب الأحداث والهدف البصري، ولكنه يستخدم عينيه الحيّتين للتأكد من أنه لن يصطدم بكرسي لم يكن موجودًا عندما وضع الخطة.

4. كيف علموا الروبوت (الاستعراف الزائف)

الروبوتات الحقيقية لا تأتي مع لوحات قصص مصورة؛ بل تأتي فقط مع فيديوهات لأشخاص يقومون بمهام. اضطر المؤلفون لتعليم الروبوت كيفية صنع لوحات القص المصورة الخاصة به.

أخذوا فيديوهات لروبوتات تقوم بمهام واستخدموا ذكاءً اصطناعيًا ذكيًا لتقطيع الفيديو إلى "مشاهد" (مراحل).
ثم استخدموا ذكاءً اصطناعيًا آخر لكتابة وصف لكل مشهد (مثل: "القبضة تتحرك نحو الكوب") واختيار "إطار رئيسي" (صورة تمثيلية لتلك اللحظة).
غدوا هذه اللوحات المصنوعة للروبوت كبيانات تدريب. الأمر يشبه إعطاء طالب كتابًا مدرسيًا مع إجابات مكتملة، ليتعلم كيف يحل المشكلات بنفسه لاحقًا.

5. النتائج: لماذا يهم هذا؟

اختبر المؤلفون هذا في محاكاة حاسوبية حيث كان على الروبوتات القيام بمهام طويلة متعددة الخطوات (مثل تكديس المكعبات أو تحريك الأكواب).

بدون لوحة القصص المصورة: فشل الروبوت كثيرًا، خاصة في المهام الطويلة (بنسبة نجاح حوالي 37% فقط). لقد فقد مساره في منتصف القصة.
باستخدام النص فقط أو الصور فقط: كان أداؤه أفضل، لكن ليس جيدًا جدًا (حوالي 60-68%).
باستخدام "لوحة القص المصورة" الكاملة (النص + الصور): نجح الروبوت بنسبة 92.4% في أصعب المهام.

النتيجة الرئيسية هي أن كلاهما ضروري. أنت بحاجة إلى النص لتذكر الترتيب (السببية) وإلى الصور لتذكر الموقع (الهندسة). أحدهما دون الآخر ليس كافيًا.

6. العيوب (المحددات)

الورقة صريحة بشأن السلبيات:

وقت التفكير: يجب على الروبوت أن "يفكر" لمدة 10 ثوانٍ تقريبًا قبل أن يبدأ في التحرك لإنشاء لوحة القص المصورة. هذا جيد للمهام البطيئة والحذرة، ولكنه بطيء جدًا لروبوت يحتاج لتفادي كرة متحركة بسرعة.
الخطط القديمة: إذا تغير العالم بعد أن وضع الروبوت خطته (على سبيل المثال، إذا قام شخص ما بتحريك الكوب أثناء تفكير الروبوت)، تصبح لوحة القص المصورة خاطئة. قد يحاول الروبوت اتباع خطة لعالم لم يعد موجودًا.
المحاكاة فقط: تم اختبار هذا في محاكاة حاسوبية، وليس على روبوت حقيقي في مطبخ حقيقي.

الملخص

تقترح هذه الورقة أنه بدلًا من إجبار الروبوت على تخمين الخطوة التالية بناءً على ما يراه الآن فقط، يجب أن نتركه يكتب "قصة مصورة" للمهمة بأكملها أولاً. من خلال دمج الكلمات (الخطة) والصور (الهدف) في "أثر" واحد، يمكن للروبوت تذكر الصورة الكبيرة مع الاستمرار في التفاعل مع العالم المباشر. إنه تحول من "رد الفعل" إلى "التخطيط ورد الفعل".

إليك ملخص تقني مفصل لورقة البحث بعنوان "التفكير في النصوص والصور: تتبعات الاستدلال المتداخلة بين الرؤية واللغة للمهام الروبوتية طويلة المدى."

1. بيان المشكلة

تتطلب المهام الروبوتية طويلة المدى سياسات تلبي متطلبات متضاربة: التماسك السببي (الحفاظ على الترتيب المنطقي للأهداف الفرعية) والتأسيس الهندسي (التموضع المكاني الدقيق).

محدودية الطرق الحالية:
- سياسات VLA (الرؤية-اللغة-الفعل) القياسية: عادة ما تخفي التخطيط داخل حالات كامنة (latent states). وغالبًا ما تعاني من "قصر النظر الزمني"، حيث تفشل في الحفاظ على الحالة عبر تسلسلات طويلة أو تنفذ الخطوات بترتيب خاطئ.
- سلسلة الأفكار (CoT) القائمة على النص فقط: ترمز الترتيب السببي جيدًا، لكنها تفتقر إلى التفاصيل المحددة للوضعية المكانية، وهندسة التلامس، وتفاصيل الوضع المستهدف المطلوبة للتحكم منخفض المستوى.
- النماذج العالمية/نماذج التنبؤ البصري: توفر إشارات هندسية ولكنها غالبًا ما تظل محلية وغير مقيدة دلاليًا، مما يؤدي إلى مستقبلات بصرية تبدو منطقية ولكنها غير صحيحة للمهمة.
الفجوة: هناك نقص في تمثيل وسيط صريح يلتقط في آن واحد المنطق الدلالي (النص) والحالة الهندسية (الرؤية) عبر كامل أفق المهمة.

2. المنهجية: الاستدلال المتداخل بين الرؤية واللغة (IVLR)

يقترح المؤلفون إطار عمل IVLR، الذي يتمحور حول IVLR-Trace، وهو تمثيل وسيط صريح يتناوب فيه الأهداف الفرعية النصية مع الإطارات المفتاحية البصرية.

أ. التمثيل الجوهري: IVLR-Trace

التتبع هو تسلسل من المراحل $z = [(c^{(1)}, k^{(1)}), \dots, (c^{(N)}, k^{(N)})]$ ، حيث:

$c^{(i)}$ : هدف فرعي نصي (وصف) يصف الدور السببي للمرحلة.
$k^{(i)}$ : إطار مفتاحي بصري (صورة RGB) يثبت الحالة المكانية المقصودة لتلك المرحلة.
هذا يخلق "لوحة قصة" (storyboard) لكامل الأفق تجعل استدلال الروبوت مرئيًا وقابلًا للاختبار.

ب. البنية الهيكلية

يستخدم النظام محولًا متعدد الوسائط أصيلًا واحدًا (مبني على Show-o2 1.5B) مع مرحلتين متميزتين:

مرحلة الاستدلال (t=0):
- المدخلات: الملاحظة الأولية ( $o_0$ ) وتعليمات المهمة ( $I$ ).
- العملية: يقوم النموذج بتوليد IVLR-Trace الكامل.
- الآلية: يتم فك تشفير النص بشكل تلقائي (autoregressively) عبر رأس لغوي؛ ويتم توليد الإطارات المفتاحية البصرية عبر رأس مطابقة التدفق (flow-matching head) (يتنبأ بمجالات المتجهات لنقل الضجيج إلى التمثيلات الكامنة المستهدفة).
مرحلة التنفيذ (t>0):
- المدخلات: الملاحظة الحالية ( $o_t$ )، التعليمات الأصلية ( $I$ )، والتتبع المخزن مؤقتًا ( $z$ ).
- العملية: يقوم فك تشفير الفعل ذو الحلقة المغلقة بالتنبؤ بالأفعال المستمرة ( $a_t$ ).
- الآلية: ينتبه رمز الفعل (action token) إلى التتبع المخزن بالكامل والملاحظة الحية، مما يسمح للنموذج باختيار الأجزاء ذات الصلة ديناميكيًا بناءً على الحالة الحالية دون الحاجة لمؤشر مرحلة محدد مسبقًا.

ج. خط أنابيب الإشراف الزائف (Pseudo-Supervision)

بما أن مجموعات بيانات الروبوتات القياسية تفتقر إلى التتبعات المتداخلة، فقد أنشأ المؤلفون خط أنابيب لتوليد تتبعات زائفة للتدريب:

التقسيم: استخدام المفكك البصري العالمي (UVD) لتقسيم مسارات العرض إلى مراحل بناءً على انكسارات الرتابة (monotonicity breaks) في التمثيلات البصرية.
اختيار الإطارات المفتاحية: يصبح الإطار النهائي لكل جزء هو الإطار المفتاحي البصري ( $k^{(i)}$ ).
الوصف: يقوم نموذج رؤية-لغة (Qwen3-VL) بتوليد وصف نصي مهيكل ( $c^{(i)}$ ) يصف التفاعل بين القابض (gripper) والجسم والعلاقات المكانية لكل مرحلة.

د. هدف التدريب

يجمع إجمالي الخسارة (loss) بين ثلاثة مكونات:

$L_{text}$ : تقاطع الإنتروبيا للرمز التالي للأوصاف.
$L_{flow}$ : خسارة مطابقة التدفق للإطارات المفتاحية البصرية.
$L_{action}$ : خسارة L1 للتنبؤ بالفعل المستمر.
المتانة: يتم تطبيق ضجيج عشوائي على التتبع وقناع سياقي ديناميكي أثناء التدريب لمنع الاعتماد المفرط على التتبعات المثالية.

3. المساهمات الرئيسية

IVLR-Trace الصريح: صياغة تسلسل متداخل من النصوص وصور RGB يمثل واجهة دلالية-هندسية للتحكم في VLA.
بنية موحدة: التنفيذ في محول متعدد الوسائط أصيل يولد الخطة مرة واحدة ويقوم بتكييف تنفيذ الحلقة المغلقة بناءً على التتبع المخزن مؤقتًا.
بناء التتبع الزائف القابل للتوسع: خط أنابيب يستخدم UVD ونماذج VL لترقية عروض الروبوتات غير المهيكلة بتدريب متعدد الوسائط ومقسم إلى مراحل.
التحقق التجريبي: إثبات أن التتبعات المتداخلة تتفوق بشكل كبير على النماذج أحادية الوسائط في المهام طويلة المدى وتتمتع بالمتانة تجاه الانحراف التنفيذي وتلف التتبع.

4. النتائج التجريبية

تم تقييم الطريقة على LIBERO (التحكم المحاكي) و SimplerEnv-WidowX (انزياح التوزيع البصري).

الأداء الرئيسي (LIBERO):
- IVLR: حقق متوسط نجاح بنسبة 95.5%.
- LIBERO-Long (طويل المدى): حقق 92.4%، متفوقًا بشكل كبير على CoT-VLA (69.0%) و VLA-0 (87.6%).
- SimplerEnv-WidowX: حقق نجاحًا إجماليًا بنسبة 59.4%، متفوقًا على SpatialVLA (42.7%).
دراسات الاستئصال (ضرورة التداخل):
- بدون تتبع: انخفض النجاح إلى 37.7% في LIBERO-Long.
- تتبع نصي فقط: 62.0% (جيد للترتيب، لكنه يفتقر للمرتكزات المكانية).
- تتبع بصري فقط: 68.4% (جيد للهندسة، لكنه يفتقر للتسلسل الدلالي).
- IVLR الكامل: 92.4% (يثبت أن النص والرؤية يكمل كل منهما الآخر، وليسا بديلين).
اختبارات متانة الضغط:
- اضطراب التنفيذ: مع إزاحة عشوائية قدرها 2 سم في النهاية الطرفية، انخفض النجاح بشكل طفيف فقط (95.5% $\leftarrow$ 92.1%)، مما يظهر أن الطبيعة ذات الحلقة المغلقة يمكنها التعافي من الانزلاقات الصغيرة.
- تلف التتبع: أدى قناع (masking) 30% من الرموز النصية أو البصرية إلى تدهور متوسط (إلى ~90-92%)، مما يشير إلى أن النظام يتحمل المحتوى المفقود محليًا.

5. الأهمية والقيود

الأهمية:

الاستدلال الصريح: ينقل النموذج من التخطيط الضمني في الحالات الكامنة إلى استدلال متعدد الوسائط صريح، قابل للفحص والتحكم.
القابلية للتوسع: يثبت أن التتبعات ذات الإشراف الزائف يمكن أن تدرب بفعالية سياسات للمهام المعقدة متعددة المراحل دون الحاجة لخطط رمزية مصنفة بشريًا.
التكامل: يؤكد أن الجمع بين المنطق الدلالي (النص) والتأسيس الهندسي (الرؤية) أمر بالغ الأهمية للنجاح طويل المدى.

القيود:

زمن الاستجابة (Latency): يستغرق توليد التتبع الكامل حوالي 10 ثوانٍ (على وحدة H20 GPU) قبل بدء التنفيذ، مما يشكل عائقًا أمام البيئات الديناميكية.
الافتراض الساكن: تفترض الطريقة مساحة عمل ثابتة ومراقبة بالكامل عند $t=0$ . إذا تغير المشهد بشكل جذري (مثل إزالة جسم أو حجب الرؤية) بعد التخطيط، يصبح التتبع المخزن قديمًا.
الاقتصار على المحاكاة: تقتصر النتائج حاليًا على اختبارات المحاكاة؛ ويتطلب النشر على روبوتات حقيقية مزيدًا من التحقق.

الاتجاهات المستقبلية:
يقترح المؤلفون استكشاف التخطيط غير المتزامن أثناء العمل (توليد مراحل التتبع المستقبلية أثناء تنفيذ المرحلة الحالية) وإعادة التخطيم ذاتي التحفيز للتعامل مع التغيرات في المشهد الديناميكي.