💻 computer science

Agentic-VLA: Efficient Online Adaptation for Vision-Language-Action Models

يُعد Agentic-VLA إطار عمل فعال للتكيف عبر الإنترنت لنماذج الرؤية واللغة والعمل، والذي يستفيد من التوليف التكيفي للمكافآت، والاستكشاف الموجه باللغة، وذاكرة الخبرة لتحسين التعميم، وكفاءة العينات، ونقل المهام عبر معايسات التلاعب الروبوتية بشكل كبير.

المؤلفون الأصليون: Ruofan Jin, Zaixi Zhang

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruofan Jin, Zaixi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت طهي وجبة معقدة، مثل إعداد نوع معين من القهوة باستخدام وعاء على الموقد. في الماضي، كان عليك أن تظهر للروبوت كيفية القيام بذلك بدقة مئات المرات، خطوة بخطوة. إذا أسقط الروبوت الوعاء أو إذا كان الموقد في مكان مختلف قليلاً، فإنه يصاب بالارتباك ويفشل تماماً. كان الأمر يشبه طالباً حفظ الإجابات لاختبار محدد، لكنه لم يستطع حل مشكلة مشابهة إذا تغيرت الأرقام.

يقدم البحث Agentic-VLA، وهي طريقة جديدة لتدريب الروبوتات تجعلها تعمل ليس كطالب جامد، بل كـ متدرب ذكي لديه معلم مساعد. فبدلاً من مجرد نسخ ما يراه، يتعلم هذا النظام "كيف يتعلم".

إليك كيف يعمل ذلك، مقسماً إلى ثلاث "قدرات خارقة" بسيطة:

1. المدرب الذكي (توليف المكافأة التكيفي - Adaptive Reward Synthesis)

المشكلة: عادةً، يحصل الروبوت فقط على "عمل جيد!" أو "حاول مرة أخرى!" في نهاية المهمة. إذا كانت المهمة طويلة (مثل الطهي)، فلن يعرف الروبوت أي خطوة محددة أخطأ فيها.
الحل: يعمل Agentic-VLA كمدرب يقوم بتفكيك هدف كبير إلى خطوات صغيرة يمكن إدارتها.

التشبيه: تخيل تعلم ركوب الدراجة. المدرب السيئ يقول فقط: "لقد فشلت في السباق". أما المدرب الذكي فيقول: "عمل رائع في التوازن على الأرض المستوية! الآن، لنحاول الانعطاف يساراً. لقد ترنحت قليلاً، لذا دعنا نركز على ذلك".
كيف يعمل: يقوم النظام تلقائياً بتفكيك مهمة معقدة (مثل "صنع القهوة") إلى أهداف فرعية صغيرة ("ابحث عن الموقد"، "أشعله"، "ابحث عن الوعاء"). ثم يراقب الروبوت. إذا كان الروبوت جيداً بالفعل في العثيد على الموقد، يتوقف المدرب عن إعطاء نقاط لذلك ويركز انتباه الروبوت على الجزء الذي يعاني فيه (مثل وضع الوعاء). إنه ينشئ "منهجاً دراسياً" مخصصاً يصبح أصعب فقط عندما يصبح الروبوت أفضل.

2. المرشد المساعد (الاستكشاف الموجه باللغة - Language-Guided Exploration)

المشكلة: عندما تحاول الروبوتات التعلم بمفردها، فإنها غالباً ما تتحرك بشكل عشوائي، مثل طفل يضرب مفاتيح البيانو أملاً في عزف نغمة. هذا يهدر الكثير من الوقت والطاقة.
الحل: بدلاً من التخمين العشوائي، يتلقى الروبوت تلميحات بلغة بسيطة.

التشبيه: تخيل أنك تحاول العثرة على مفتاح مخفي في غرفة فوضوية. البحث العشوائي يعني البحث تحت كل سجادة وفي كل درج بعشوائية. أما البحث "الموجه باللغة" فهو مثل صديق يهمس لك: "مهلاً، أعتقد أنك تنظر من الزاوية الخطأ؛ جرب التحقق من الجانب الأيسر للطاولة".
كيف يعمل: يقوم نموذج "ناقد" (Critic) خاص بمراقبة ما يفعله الروبوت واقتراح تغييرات محددة بلغة طبيعية، مثل "حاول الاقتراب من الجسم من جهة اليسار" أو "أمسك بالمركز لتحقيق استقرار أفضل". هذا يساعد الروبوت على اكتشاف الاستراتيجيات الجيدة بشكل أسرع بكثير من التجربة والخطأ العشوائي.

3. كتاب الذاكرة (ذاكرة الخبرة - Experience Memory)

المشكلة: إذا تعلم الروبوت فتح درج، فإنه عادةً ما يبدأ من الصفر عندما يتعلم فتح خزانة، رغم أن الحركات متشابهة.
الحل: يحتفظ الروبوت بـ "مكتبة" لنجاحاته السابقة.

التشبيه: فكر في هذا كطاهٍ تعلم تقطيع البصل. عندما يحتاج لتقطيع الثوم، فإنه لا يبدأ من الصفر؛ بل يتذكر: "أنا أعرف كيف أمسك السكين والحركة مشابهة".
كيف يعمل: عندما يواجه الروبوت مهمة جديدة، فإنه يبحث في كتاب ذاكرته ليجد مهمة مشابهة تعلمها بالفعل. إنه "يسخن" بالبدء بالمهارات من تلك المهمة المشابهة، بدلاً من البدء بصفحة بيضاء. هذا يسمح له بتعلم أشياء جديدة بشكل أسرع بكثير.

النتائج: ماذا وجدوا؟

اختبر الباحثون هذا النظام الجديد على معيار يُسمى LIBERO (مجموعة من مهام التحكم في الروبوت) واختبار روبوت ثنائي الأذرع يُسمى RoboTwin. وإليك ما حدث:

المهام الطويلة: أصبح الروبوت أفضل بنسبة 12.3% في إكمال المهام الطويلة متعددة الخطوات مقارنة بالطرق السابقة.
التعلم من مثال واحد: في اختبار "المرة الواحدة" (حيث يرى الروبوت المهمة مرة واحدة فقط قبل محاولة تعلمها)، تحسن بنسبة 28.5%. لقد تمكن من التعلم بسرعة أكبر وببيانات أقل بكثير.
من الصفر إلى البطولة: بدون أي أمثلة محددة لمهمة جديدة، استطاع الروبوت مع ذلك معرفة كيفية القيام بها بنسبة 31% من الوقت، بينما فشلت الطرق القديمة بنسبة 100%.
السرعة: تعلم النظام أسرع بـ 2.4 مرة من طرق التعلم عبر الإنترنت الأخرى، مما يعني أنه احتاج إلى محاولات أقل بكثير ليصبح جيداً في المهمة.

الملخص

Agentic-VLA هو إطار عمل يجعل الروبوتات تتعلم بذكاء أكبر. فبدلاً من مجرد حفظ فيديوهات لبشر يقومون بمهام، فإنه يستخدم مدرباً ذكياً لتفكيك المهام، ومرشداً مساعداً لتقديم تلميحات قائمة على اللغة، وكتاب ذاكرة لإعادة استخدام المهارات السابقة. وهذا يسمح للروبوتات بالتكيف بسرعة مع البيئات الجديدة وتعلم المهام المعقدة ببيانات ووقت أقل بكثير مما سبق.

ملخص تقني: Agentic-VLA: التكيف عبر الإنترنت الفعال لنماذج الرؤية واللغة والأفعال (VLA)

1. بيان المشكلة

لقد طورت نماذج الرؤية واللغة والأفعال (VLA) عمليات التحكم الروبوتية من خلال الاستفادة من التمثيلات المسبقة للرؤية واللغة لتفسير التعليمات وتوليد الأفعال. ومع ذلك، تواجه نماذج VLA الحالية في تدريبها نموذجين حرجين يعيقان النشر في العالم الحقيقي:

ضعف التعميم: تميل النماذجة التي يتم تدريبها عبر الضبط الدقيق الخاضع للإشراف (SFT) على عروض الخبراء إلى حفظ مسارات محددة بدلاً من تعلم دلالات المهام الأساسية. ونتيجة لذلك، تظهر أداءً هشاً عندما تنحرف ظروف النشر قليلاً عن توزيعات التدريب، مما يعني افتقارها لآليات التعافي من الخطأ أو إعادة التخطيط التكيفي.
انخفاض كفاءة التدريب: تتطلب الطرق الحالية مئات العروض لكل مهمة، حيث تتوسع تكاليف جمع البيانات خطياً مع عدد المهام. وهذا يجعل التوسع ليشمل مجموعة متنوعة من المهام المطلوبة للروبوتات العامة أمراً غير عملي.

بينما استكشفت أعمال حديثة التكيف عبر الإنترنت باستخدام التعلم المعزز (RL)، إلا أنها تعاني من الاعتماد على إشارات مكافأة مشوشة، والاستكشاف العشوائي غير الفعال في فضاءات الأفعال عالية الأبعاد، وعدم القدرة على نقل المعرفة عبر المهام ذات الصلة.

2. المنهجية: إطار عمل Agentic-VLA

يقترح Agentic-VLA إطار عمل "وكيل" (Agentic) يعيد تصور عملية التعلم نفسها كنظام ذكي ومنظم. وبدلاً من معاملة تصميم المكافأة، والاستكشاف، ونقل المعرفة كإجراءات ثابتة، يستخدم الإطار وكلاء متعلمين لإدارة هذه المكونات بنشاط بناءً على حالة التعلم الحالية. يدمج الإطار ثلاثة ابتكارات تآزرية:

2.1 تركيب المكافأة التكيفي (ARS)

لمعالجة غياب إشارات المكافأة المثالية (Oracle)، يقوم نظام ARS بتوليد وتعديل وظائف المكافأة ديناميكياً بما يتناسب مع قدرات نموذج VLA الحالية.

تفكيك المهام: يقوم نموذج لغوي بتفكيك تعليمات المهام المعقدة طويلة المدى ( $l_{task}$ ) إلى تسلسل من الأهداف الفرعية المتوسطة ( $G = \{g_1, \dots, g_K\}$ ).
الوزن الواعي بالقدرات: يحافظ النظام على تقدير لكفاءة الـ VLA ( $\hat{c}_k$ ) لكل هدف فرعي، ويتم حسابه كمتوسط متحرك أسي لمعدلات النجاح الأخيرة. يتم تعريف وزن المكافأة للهدف الفرعي كـ $w_k = 1 - \hat{c}_k$ . وهذا يخلق منهجاً تعليمياً طبيعياً: الأهداف الفرعية التي يعاني فيها الوكيل تحصل على أوزان عالية لتشجيع التعلم المركز، بينما تتراجع أوزان الأهداف التي تم إتقانها.
مكافآت التقدم الكثيفة: يوفر نموذج ناقد متعلم ( $C_\phi$ ) تقديرات تقدم كثيفة ( $\Delta_k$ ) لكل هدف فرعي، مما يضمن أن التغذية الراجعة تركز على جبهة التعلم الحالية للوكيل.

2.2 الاستكشاف الموجه باللغة (LGE)

للتغلب على عدم كفاءة أخذ العينات العشوائية في فضاءات الأفعال عالية الأبعاد، يستبدل LGE التجربة والخطأ الأعمى باستكشاف مهيكل.

الناقد القائم على VLM: يعمل نموذج رؤية ولغة (VLM) مدرب مسبقاً كناقد للاستكشاف. وبالنظر إلى الملاحظة البصرية الحالية، وتعليمات المهمة، وسياق المسار، يقوم الـ VLM بتوليد اقتراحات بلغة طبيعية (مثل "اقترب من اليسار") لتوجيه السلوك.
التوليد المعزز بالموجهات (Prompts): يتم دمج هذه الاقتراحات مع تعليمات المهمة لتحيز توزيع أفعال الـ VLA نحو السلوكيات الواعدة مع الحفاظ على العشوائية.
التكرار التكيفي: يتم تعديل وتيرة الاقتراحات ديناميكياً بناءً على تقدم التعلم، مما يوفر توجيهاً متكرراً في بداية التدريب ويقلل منه مع اكتساب السياسة للاستقلالية.

2.3 ذاكرة الخبرة (EM)

لتمكين نقل المعرفة عبر المهام، تحتفظ EM ببنك ذاكرة لأوزان السياسة المتكيفة والمفهرسة حسب تضمينات المهام (Task Embeddings).

استرجاع البداية الدافئة: عند مواجهة مهمة جديدة، يحسب النظام تضمين المهمة ويسترجع الـ $k$ من المهام الأكثر تشابهاً التي تم تعلمها سابقاً.
استكمال الأوزان (Weight Interpolation): يتم حساب معاملات السياسة الأولية كتركيبة موزونة من أوزان السياسات المسترجعة. يوفر هذا "بداية دافئة" تسرع التعلم في المهام ذات الصلة، بدلاً من التعلم من الصفر.
إدارة السعة: يتم تحديث بنك الذاكرة بالأوزان المتكيفة الناجحة وإدارته لإعطاء الأولوية للمدخلات المتنوعة وعالية الجودة.

تستخدم حلقة التدريب خوارزمية GRPO (تحسين السياسة النسبي للمجموعات) لتحديث السياسة، مع دمج هذه المكونات في دورة تكيف عبر الإنترنت موحدة.

3. المساهمات الرئيسية

إطار عمل وكيل (Agentic Framework): أول إطار عمل وكيل للتكيف عبر الإنترنت لنماذج VLA يجمع بين تركيب المكافأة التكيفي، والاستكشاف الموجه باللغة، وذاكرة الخبرة.
آلية مكافأة تكيفية: آلية مبتكرة تقوم تلقائياً بتفكيك المهام المعقدة وتعديل دقة المكافأة بناءً على تقدم التعلم في الوقت الفعلي، مما ينفذ فعلياً منهجاً تعليمياً واعياً بالقدرات.
استكشاف مهيكل: إثبات أن الاستكشاف الموجه باللغة يحسن كفاءة العينات بشكل كبير من خلال تمكين الاكتشاف المنهجي والموجه نحو الأهداف للاستراتيجيات.
نقل المعرفة عبر المهام: دليل على أن ذاكرة الخبرة تمكن من النقل الفعال، محققة معدلات نجاح غير ضئيلة في المهام دون أي عروض تقديمية خاصة بالمهمة.
أداء رائد (State-of-the-Art): تجارب واسعة تظهر تحسينات جوهرية عبر مقاييس ومعايير متعددة.

4. النتائج التجريبية

تم تقييم الإطار على معيار LIBERO (أربعة مجموعات مهام: مكانية، كائنية، هدفية، وطويلة المدى) ومعيار الذراع المزدوج RoboTwin 2.0.

الأداء العام: حقق Agentic-VLA متوسط معدل نجاح رائد بلغ 97.8% على LIBERO، متفوقاً على أفضل طريقة RL سابقة (EVOLVE-VLA) بنسبة +2.0% وعلى خط الأساس SFT بنسبة +8.6%.
المهام طويلة المدى: لوحظ أكبر تحسن في مهام LIBERO-Long، بزيادة قدرها +12.3% عن خط أساس SFT، ويعزى ذلك إلى تركيب المكافأة التكيفي والتعلم المنهجي.
التعلم من عرض واحد (One-Shot Learning): في نظام منخفض البيانات مع عرض واحد فقط لكل مهمة، حقق Agentic-VLA معدل نجاح بنسبة 70.5%، وهو تحسن بنسبة +28.5% عن خط أساس SFT و +9.2% عن EVOLVE-VLA.
التعميم عبر المهام: بدون أي عروض تقديمية خاصة بالمهمة، حسن Agentic-VLA معدلات نجاح النقل عبر المهام من 0% (النقل المباشر) إلى 31.2% في مجموعة LIBERO-Object بعد التدريب على LIBERO-Long.
كفاءة التدريب: أظهر الإطار تقارباً أسرع بمقدار 2.4 ضعف مقارنة بطرق التكيف عبر الإنترنت الحالية، حيث وصل إلى معدل نجاح 90% في 700 تكرار مقارنة بـ 1,680 لـ EVOLVE-VLA. كما تطلب 22.4 ألف عملية (rollout) مقابل 53.8 ألف للنموذج الأساسي.
RoboTwin 2.0: حافظ الإطار على مزاياه في معيار الذراع المزدوج RoboTwin 2.0، لا سيما في الإعداد "الصعب" (Hard) العشوائي، محققاً متوسط مجموعة فرعية قدره 34.7% مقارنة بـ 16.3% لـ $\pi_0$ و 13.7% لـ RDT.

أكدت دراسات الاستبعاد (Ablation Studies) أن كل مكون (ARS, LGE, EM) يساهم بشكل تآزري. أدى حذف أي مكون إلى انخفاض في الأداء وزيادة في تكرارات التدريب. كما أكدت المقارنات المنضبطة مع المناهج البديلة (الأوزان الموحدة، الجداول الزمنية الثابتة) ومكافآت الاستكشاف (RND, ICM) أن الخيارات التصميمية المحددة لـ Agentic-VLA هي المسؤولة عن هذه المكاسب.

5. الأهمية والادعاءات

يزعم المؤلفون أن Agentic-VLA يمثل خطوة هامة نحو أنظمة VLA تكيفية حقاً قادرة على التعلم المستمر أثناء النشر. ومن خلال التحول من التعلم بالتقليد الثابت إلى عملية تكيف وكيل عبر الإنترنت، يعالج الإطار الهش والافتقار إلى كفاءة البيانات في نماذج VLA الحالية.

تسلط الورقة الضوء على أن النظام يتيح قدرات ناشئة مثل التعافي من الخطأ (إعادة الضبط ذاتياً بعد الانزلاق)، والتعامل التكيفي مع الأشياء (تعديل المسارات للأجسام المزاحة)، واكتشاف استراتيجيات جديدة (إيجاد استراتيجيات مناولة غير موجودة في العروض التقديمية).

بينما تقر الورقة بوجود قيود مثل احتمال "اختطاف المكافأة" (reward hacking)، وقابلية توسع الذاكرة، وتحديات نشر الأنظمة الغنية بالمكونات على الروبوتات الفيزيائية، يضع المؤلفون Agentic-VLA كخطوة تأسيسية نحو تعلم روبوتي قوي وعام يمكنه العمل بفعالية في بيئات متنوعة ومتغيرة في العالم الحقيقي.