💻 computer science

TEMPO: Semantic-Action Decoupled RL Post-Training for Vision-Language-Action Models

تقترح الورقة البحثية TEMPO، وهو إطار عمل للتعلم التعزيزي يعتمد على فصل الدلالات عن الأفعال، والذي يقوم بتجميد العمود الفقري للرؤية واللغة مع استخدام استراتيجيات تحديث متميزة ذات مقياسين زمنيين لطبقة الإسقاط الدلالي وخبير الأفعال لاستقرار التمثيلات عالية المستوى وتسريع تعلم التحكم منخفض المستوى، مما يؤدي بالتالي إلى التفوق على أساليب التدريب اللاحق القائمة على التعلم الخاضع للإشراف والتعلم التعزيزي في كل من مهام التلاعب المعيارية وفي العالم الحقيقي.

المؤلفون الأصليون: Ziheng Liu, Quantao Yang

نُشر 2026-08-10

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ziheng Liu, Quantao Yang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية القيام بالأعمال المنزلية، مثل طي الملابس أو صنع شطيرة. أنت لا تريد برمجة كل حركة يدوياً؛ بل تريد من الروبوت أن يتعلم من خلال مراقبتك ثم تجربة ذلك بنفسه. هذا هو عالم نماذج الرؤية واللغة والعمل (VLA). فكر في هذه النماذج كدماغ للروبوت يجمع بين ثلاث قوى خارقة: الرؤية (رؤية العالم عبر الكاميرات)، واللغة (فهم تعليماتك المنطوقة مثل "ضع الكوب على الطاولة")، والعمل (تحريك أذرعه فعلياً للقيام بذلك).

قبل أن يتمكن الروبوت من التعلم بمفرده، فإنه عادة ما يحصل على "تدريب مسبق" هائل على مكتبة ضخمة من البيانات، تماماً مثل طالب يقرأ كل كتاب في المكتبة قبل البدء في وظيفة محددة. هذا يمنحه فهماً عاماً للعالم. ومع ذلك، عندما تطلب منه القيام بمهمة جديدة محددة، فإنه غالباً ما يحتاج إلى مساعدة إضافية. تقليدياً، استخدم العلماء طريقتين رئيسيتين لمنحه تلك المساعدة: الضبط الدقيق الخاضع للإشراف (SFT)، وهو يشبه عرض فيديو للرجل يقوم بالحركة المثالية وطلب نسخها بدقة، والتعلم المعزز (RL)، وهو يشبه ترك الروبوت يجرب المهمة، فيفشل، ويتلقى "إشارة سلبية"، ثم يحاول مجدداً، ويحصل في النهاية على "إشارة إيجابية" عندما ينجح. السؤال الكبير الذي يطرحه الباحثون هو: كيف يمكننا تعليم هذه الروبوتات كيف تصبح أفضل في مهام العالم الحقيقي دون كسر معرفتها العامة والذكية التي تمتلكها بالفعل؟

هنا يأتي دور TEMPO، وهي طريقة جديدة اقترحها الباحثان زي هينج ليو وكوانتاو يانغ. تخيل دماغ الروبوت كفريق مكون من جزأين: الباحث الذي يفهم الصورة الكبيرة والتعليمات، والعامل اليدوي الذي يكتشف حركات العضلات المحددة لإنجاز المهمة. في العديد من الطرق الموجودة، عندما يحاول الروبوت التعلم من أخطائه، يقوم العلماء بتحديث الفريق بأكمله بنفس السرعة تماماً. المشكلة هي أنه إذا أخبرت "الباحث" أن يغير رأيه بسرعة كبيرة بناءً على خطأ واحد، فقد ينسى القواعد العامة للعالم، مما يجعل "العامل اليدوي" يرتبك ويفشل.

يحل TEMPO هذه المشكلة عن طريق فصل جداول تعلم الفريق. فهو يقوم بتجميد المعرفة الجوهرية لـ "الباحث" (العمود الفقري للرؤية واللغة المدرب مسبقاً) بحيث لا ينسى الأساسيات أبداً. ثم، ينشئ حلقتين تدريبيتين منفصلتين. يتم تحديث الباحث (تحديداً الجزء الذي يترجم اللغة إلى خطة) بشكل غير متكرر (على فترات متباعدة). هذا يحافظ على استقرار فهم الروبوت للمهمة. وفي الوقت نفسه، يتم تحديث العامل اليدوي (خبير الحركة الذي يتحكم في العضلات) بشكل متكرر جداً. وهذا يسمح للروبوت بالتعلم بسرعة من تفاعلاته الفورية، مثل "أوه، لقد اصطدمت بالحائط، دعني أتحرك يساراً".

اختبر الباحثون هذه الفكرة في عالم افتراضي يسمى CALVIN، حيث يتعين على الروبوتات إكمال سلاسل طويلة من المهام، مثل "افتح الدرج، أمسك المكعب، وضعه في الصندوق". ووجدوا أن TEMPO كان الأفضل في هذه السلاسل الطويلة. في المحاكاة، تمكن TEMPO من إكمال جميع الخطوات الخمس على التوالي بنسبة 81.7% من المرات، متفوقاً على أفضل طريقة سابقة والتي نجحت في 81.2% فقط. والأهم من ذلك، عندما اختبروه على ذراع روبوت حقيقية في مختبر فيزيائي، تعلم TEMPO التعامل مع المواقف الصعبة بشكل أفضل. على سبيل المثال، إذا كان الدرج مفتوحاً قليلاً فقط، فإن الطريقة القديمة كانت ستحاول دفع المكعب في الفجوة الصغيرة وتفشل. أما TEMPO، وبفضل "الباحث" المستقر لديه، فقد أدرك أنه يحتاج إلى فتح الدرج بشكل أوسع أولاً، ثم تحريك المكعب.

استكشف البحث أيضاً مدى سرعة تعلم "العامل اليدوي" مقارنة بـ "الباحث". ووجدوا أن تحديث العامل اليدوي 5 مرات مقابل مرة واحدة لتحديث الباحث كان هو الأفضل. إذا قاموا بتحديثهما بنفس السرعة، فإن الروبوت سيصبح أسوأ في الواقع، مما يثبت أن نهج "السرعتين المختلفتين" أمر بالغ الأهمية. وبينما تبدو النتائج واعدة جداً في عمليات المحاكاة والاختبارات الواقعية، يقترح المؤلفون أن العمل المستقبلي قد يتضمن تعليم الروبوت فهم سبب فشله بمزيد من التفصيل، بدلاً من مجرد معرفة ما إذا كان قد نجح أم فشل. في الوقت الحالي، يظهر TEMPO أنه في بعض الأحيان، أفضل طريقة لتعليم الروبوت هي السماح ليديه بالتحرك بسرعة مع الحفاظ على عقله ثابتاً.

ملخص تقني: TEMPO

بيان المشكلة
عادةً ما يتم تكييف نماذج الرؤية واللغة والأفعال (VLA) مع مهام التلاعب الروبوتي في المهام النهائية عبر الضبط الدقيق الخاضع للإشراف (SFT) أو التعلم المعزز (RL) عبر الإنترنت. ومع ذلك، فإن الـ SFT محدود بسبب عدم تطابق التوزيع، حيث يعمل على تحسين بيانات العرض بدلاً من النجاح في الحلقة المغلقة تحت التوزيع الحالاتي المستحث بواسطة السياسة، مما يؤدي إلى تراكم الأخطاء في المهام طويلة المدى. تحاول أساليب التعلم المعزز عبر الإنترنت الحالية معالجة ذلك، لكنها تعتمد عموماً استراتيجية تحديث موحدة على جميع المكونات القابلة للتدريب في نموذج VLA. يتجاهل هذا النهج الموحد الأدوار الوظيفية المتميزة لمختلف الوحدات: طبقة التمثيل الدلالي (التي تشفر الفهم عالي المستوى) ووحدة توليد الأفعال (التي ترتبط بالتحكمات القابلة للتنفيذ). وتخاطر التحديثات الموحدة بزعزعة استقرار التمثيلات الدلالية المدربة مسبقاً مع الفشل في تكييف سياسة الفعل بسرعة كافية لدمج تغذية التحكم الراجعة عبر الإنترنت.

المنهجية: TEMPO
يقترح المؤلفون TEMPO، وهو إطار عمل للتدريب اللاحق بالتعلم المعزز (RL) بأسلوب فك الارتباط بين الدلالة والفعل وبزمنين مختلفين، مصمم لحل هذه الصراعات. يعتمد الأسلوب على بنية VLA مجزأة (ممثلة بـ FLOWER) تتكون من عمود فقري مدرب مسبقاً للرؤية واللغة (مجمد)، وطبقة إسقاط دلالي، وخبير أفعال.

المكونات التقنية الرئيسية تشمل:

حلقات التحسين المفككة: ينشئ TEMPO حلقتين منفصلتين من نوع TD3 (الخوارزمية المتأخرة المزدوجة لـ DDPG) على مستوى الوحدة.
- الحلقة الدلالية: تعمل على تحسين طبقة الإسقاط الدلالي ( $\pi^s_\theta$ ) باستخدام التمثيلات الدلالية متعددة الوسائط ( $h_t$ ) كحالات، والأفعال الكامنة ( $z_t$ ) كأفعال. يظل العمود الفقري للرؤية واللغة المدرب مسبقاً مجمداً للحفاظ على المعرفة الدلالية العامة.
- حلقة الفعل: تعمل على تحسين خبير الفعل ( $\pi^a_\phi$ ) باستخدام الأفعال الكامنة ( $z_t$ ) كحالات، وكتل الأفعال القابلة للتنفيذ ( $a_t$ ) كأفعال.
- تشترك كلتا الحلقتين في نفس مكافأة المهمة المتفرقة (1 للنجاح، 0 بخلاف ذلك) ولكن تحافظان على مخازن إعادة تشغيل (replay buffers)، ونماذج ناقدة (critics)، وشبكات مستهدفة منفصلة. ومن الأهمية بمكان أن التدرجات لا تنتشر بين مساري التحديث هذين.
استراتيجية فك الارتباط في التردد: الابتكار الجوهري هو التردد غير المتزامن للتحديث بين الوحدتين.
- يتم تحديث خبير الفعل بشكل متكرر لدمج تغذية التحكم والتنفيذ بسرعة من التفاعلات عبر الإنترنت.
- يتم تحديث طبقة الإسقاط الدلالي بشكل غير متكرر لمنع "انزياح الفعل الكامن"، مما يضمن بقاء التمثيل الدلالي مستقراً بينما تتكيف سياسة الفعل.
- نسبة تردد التحديث ( $\rho = f_a / f_s$ ) هي معلمة فائقة قابلة للضبط. وجد المؤلفون أن $\rho > 1$ (تحديث خبير الفعل بشكل أكثر تكراراً من الطبقة الدلالية) يحقق أداءً فائقاً مقارنة بالتحديثات المتزامنة ( $\rho = 1$ ).

المساهمات الرئيسية

تصميم الإطار العملي: تقديم TEMPO، وهو إطار عمل يفصل بين تحسين المكونات الدلالية والعملية في نماذج VLA من خلال حلقات RL مخصصة، مع الحفاظ على العمود الفقري المجمد أثناء تكييف طبقات محددة.
استراتيجية تردد التحديث: استراتيجية مبتكرة لتردد التحديث الخاصة بكل وحدة توازن بين الاستقرار الدلالي وتحسين السياسة. من خلال تحديث طبقة الإسقاط الدلالي بشكل أقل تكراراً، يقلل الأسلوب من انزياح الفضاء الفعلي الكامن، بينما يسمح التحديث المتكرر لخبير الفعل بالتعلم الفعال من التغذية الراجعة عبر الإنترنت.
التحقق التجريبي: تقييم شامل يوضح أن فك الارتباط بين هذه المكونات ومعدلات تحديثها يؤدي إلى تحسين الأداء طويل المدى مقارنة بالنماذج المرجعية الموحدة للتعلم المعزز ونماذج VLA الرائدة.

النتائج التجريبية
قيم المؤلفون TEMPO على معيار CALVIN (محاكاة) ومهمتين من مهام التلاعب في العالم الحقيقي.

معيار CALVIN (المحاكاة): في إعداد ABC→D، حقق TEMPO معدل نجاح قدره 81.7% لإكمال سلسلة من 5 مهام (SR5) ومتوسط طول سلسلة (Avg. Len.) قدره 4.59. وقد تفوق هذا على أقوى النماذج المرجعية (DeFI) وعلى نموذج التعلم المعزز أحادي الحلقة (FLOWER-RL). ومن الملاحظ أن الفجوة في الأداء بين TEMPO والنماذج المرجعية اتسعت مع زيادة طول سلسلة التعليمات، مما يشير إلى أن الطريقة فعالة بشكل خاص للمهام طويلة المدى.
دراسات الاستئصال (Ablation Studies):
- ضرورة المكونات: أدى حذف إما تحديث الإسقاط الدلالي أو تحديث خبير الفعل إلى نتائج أقل أداءً من نموذج TEMPO الكامل، مما يشير إلى أن كلا الوحدتين توفران فوائد متكاملة.
- نسبة التردد: تفوقت نسب تردد التحديث 5:1 و10:1 (فعل:دلالة) بشكل كبير على نسبة 1:1. وكان أداء إعداد 1:1 أسوأ من نموذج الحلقة الواحدة، مما يؤكد أن فك الارتباط في التردد ضروري لتحقيق المكاسب، وليس مجرد هيكل الحلقة المزدوجة.
حجم مجموعة المهام: لم يتحسن الأداء بشكل رتيب مع حجم مجموعة مهام ما بعد التدريب؛ حيث كان أداء إعداد المهمة الواحدة أفضل من إعداد الـ 34 مهمة، مما يشير إلى أن تكوين المهام أهم من الحجم المجرد.
تجارب العالم الحقيقي: في المهام الفيزيائية التي تتضمن سحب الكتل واستعادة السيارة (التي تتطلب التعامل مع الدرج)، حقق TEMPO مكافآت تقييم أعلى وأداءً أكثر استقراراً من FLOWER-RL. أظهر التحليل النوعي أن TEM_PO نجح في تعلم المتطلبات الدلالية الضمنية (مثل فتح الدرج بالكامل قبل التلاعب بالشيء)، بينما فشل النموذج المرجعي بسبب انزياح الفضاء الفعلي الكامن.

الأهمية والادعاءات
يزعم البحث أن TEMPO يعالج قصوراً حرجاً في التدريب اللاحق لنماذج VLA: وهو الصراع بين الحفاظ على تمثيلات دلالية عالية المستوى مستقرة وبين التكيف السريع مع سياسات التحكم منخفضة المستوى. من خلال فك الارتباط بين هذه المكونات وترددات تحديثها، يُمكّن TEMPO نماذج VLA من التعلم من التفاعل عبر الإنترنت دون زعزعة المعرفة الدلالية التأسيسية المشفرة في العمود الفقري. ويضع المؤلفون هذا كخطوة نحو تلاعب روبوتي أكثر قوة وطول المدى، موضحين أن كيفية تحديث الوحدات لا تقل أهمية عن ماهية الوحدات التي يتم تحديثها. ويشير العمل إلى أن التحسينات المستقبلية يمكن أن تتضمن تعلم دوال مكافأة كثيفة مشروطة باللغة لتعزيز تخصيص الائتمان (credit assignment) في المهام طويلة المدى.

أبحاث مشابهة