⚡ electrical engineering

Scaling Verification Can Be More Effective than Scaling Policy Learning for Vision-Language-Action Alignment

تقدم هذه الورقة CoVer-VLA، وهو إطار عمل هرمي للتحقق في وقت الاختبار يستفيد من التوسع المشترك لإعادة صياغة التعليمات ومرشحات الأفعال للتفوق بشكل كبير على التدريب المسبق للسياسة في مواءمة نماذج الرؤية واللغة والأفعال مع تعليمات اللغة الطبيعية، محققاً مكاسب جوهرية في كل من الاختبارات المعيارية المحاكية والواقعية.

المؤلفون الأصليون: Jacky Kwok, Xilun Zhang, Mengdi Xu, Yuejiang Liu, Azalia Mirhoseini, Chelsea Finn, Marco Pavone

نُشر 2026-02-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jacky Kwok, Xilun Zhang, Mengdi Xu, Yuejiang Liu, Azalia Mirhoseini, Chelsea Finn, Marco Pavone

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم خادم آلي (روبوت) ذكي جداً، ولكنه حرفي في فهم الأوامر، كيفية القيام بالأعمال المنزلية. أعطيته أمراً: "ضع علبة ريد بول (Red Bull) على الطبق".

ينظر الروبوت إلى الطاولة. يرى علبة "ريد بول" (لونها أزرق) وعلبة "كوكا كولا" (لونها أحمر). ولأنك قلت "ريد بول"، ارتبك الروبوت. فكر قائلاً: "ريد بول يحتوي على كلمة 'ريد' (أحمر) في اسمه، لذا يجب أن أمسك علبة الكوكا كولا الحمراء!". التقط العلبة الخاطئة ووضعها على الطبق. فشلت المهمة.

تقدم هذه الورقة البحثية طريقة جديدة لإصلاح هذه المشكلة. فبدلاً من محاولة جعل الروبوت "أذكى" عبر تغذيته بمزيد من البيانات (وهو أمر مكلف وبطيء)، يقترح المؤلفون إعطاء الروبوت "عينين ثانيتين" للتحقق من عمله قبل أن يتحرك.

إليك تفصيل حلهم، CoVer-VLA، باستخدام تشبيهات بسيطة:

1. المشكلة: "فجوة النية والعمل" (The Intention-Action Gap)

فكر في عقل الروبوت (نموذج الذكاء الاصطناعي) كممثل موهوب قد يخطئ أحياناً في سماع النص.

النص: "ضع علبة ريد بول على الطبق".
خطأ الممثل: الممثل سمع كلمة "ريد" (أحمر) فأمسك بعلبة الكوكا كولا الحمراء.
الفجوة: هناك فجوة بين ما كنت تقصده أنت (ريد بول) وما فعله الممثل (كوكا كولا).

عادةً، لإصلاح ذلك، يحاول المهندسون إعادة تدريب الممثل باستخدام آلاف النصوص الجديدة. هذا يشبه استئجار مدرب تمثيل جديد وإجراء شهور من التدريبات. إنه أمر بطيء، ومكلف، وأحياناً ينسى الممثل أشياء كان يعرفها بالفعل.

2. الحل: "المحرر" (المدقق - The Verifier)

بدلاً من إعادة تدريب الممثل، يعطي المؤلفون الروبوت محرراً ذكياً (يسمى المدقق - Verifier) يجلس بجانبه.

إليك كيف يعمل المحرر في ثلاث خطوات بسيطة:

الخطوة أ: لعبة "ماذا لو؟" (تحسين التعليمات - Instruction Optimization)

قبل أن يبدأ الروبوت في التحرك، يسأل المحرر: "مهلاً، هل قلنا 'ريد بول' بوضوح كافٍ؟ ماذا لو قلناها بطريقة مختلفة؟"
يستخدم المحرر مساعداً (نموذج لغة ورؤية - VLM) لإعادة كتابة التعليمات بـ 8 طرق مختلفة، بالنظر إلى صورة الطاولة:

"ضع العلبة الزرقاء على الطبق."
"ضع مشروب الطاقة على الطبق."
"حرك علبة الريد بول إلى الطبق."
... وهكذا.

يدرك المحرر أن قول "العلبة الزرقاء" أوضح بكثير من قول "ريد بول" لأن العلبة زرقاء في الواقع!

الخطوة ب: لعبة "التجربة والخطأ" (التحقق من العمل - Action Verification)

الآن، يحاول الروبوت اتباع كل واحدة من تلك التعليمات الثمانية المعاد صياغتها.

بالنسبة لـ "ضع العلبة الزرقاء..."، يمسك الروبوت بالعلبة الزرقاء.
بالنسبة لـ "ضع العلبة الحمراء..."، يمسك الروبوت بالعلبة الحمراء.

بعد ذلك، ينظر المحرر إلى كل هذه المحاولات المختلفة ويسأل: "أي منها يتوافق فعلياً مع ما أراده الإنسان؟"
يستخدم نظام تسجيل خاص (مثل الحكام في برامج المواهب) للتحقق من:

هل يتوافق الفعل مع الهدف الأصلي؟
هل ينظر الروبوت إلى الشيء الصحيح؟

الخطوة ج: الاختيار النهائي

يختار المحرر أفضل تعليمات ("ضع العلبة الزرقاء...") وأفضل فعل (الإمساك بالعلبة الزرقاء). ثم يخبر الروبوت: "تفضل، افعل هـذا!".

3. لماذا يعد هذا أمراً هاماً؟

تثبت الورقة أن نهج "المحرر" هذا أفضل من مجرد جعل الروبوت "أذكى" (عبر زيادة التدريب).

تشبيه "التوسع" (Scaling):
- الطريقة القديمة (توسيع السياسة - Scaling Policy): تخيل أنك تحاول جعل السيارة تقود بشكل أفضل عن طريق بناء محرك أكبر وأثقل. هذا يكلف ثروة، وقد يتعطل المحرك.
- الطريقة الجديدة (توسيع التحقق - Scaling Verification): تخيل الاحتفاظ بنفس المحرك ولكن بإضافة نظام GPS ومساعد طيار. يقوم المساعد بالتحقق من الخريطة، ويقترح أفضل مسار، ويصحح مسار السائق إذا انحرف عن الطريق. هذا أرخص، وأسرع، ويعمل فوراً.
النتائج:
- في عمليات المحاكاة الحاسوبية، حسن هذا الأسلوب معدلات النجاح بنسبة 22%.
- في العالم الحقيقي (مع روبوتات حقيقية)، حسن النجاح بنسبة 45%.
- يعمل النظام حتى عندما يرتبك الروبوت بسبب تعليمات محيرة أو أشياء غريبة.

4. خدعة "وقت التشغيل" (The Boot-Time Trick)

الجزء الذكي في هذا النظام هو أن "المحرر" يقوم بتفكيره العميق قبل أن يبدأ الروبوت في التحرك (مثل الطيار الذي يقوم بفحص ما قبل الطيران).

وقت التشغيل (Boot-Time): ينظر الروبوت إلى المشهد مرة واحدة، وينشئ الـ 8 طرق المختلفة لصياغة التعليمات، ويحفظها.
وقت التنفيذ (Run-Time): عندما يتحرك الروبوت فعلياً، فإنه يختار فقط من القائمة المحفوظة. لا يحتاج للتوقف والتفكير بعمق أثناء الحركة، لذا لا يصبح بطيئاً أو متذبذباً.

الملخص

تجادل الورقة بأن التحقق من العمل أكثر قوة من حفظ المزيد من الحقائق.

من خلال إضافة "مدقق" يعيد صياغة التعليمات ويتحقق من الأفعال، يمكننا جعل الروبوتات أكثر موثوقية دون الحاجة إلى إعادة بناء عقولها. الأمر يشبه إعطاء طالب دليل دراسي واختبار تجريبي قبيل الامتحان مباشرة، بدلاً من إجباره على إعادة قراءة الكتاب المدرسي للمرة المائة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "يمكن أن يكون توسيع التحقق أكثر فعالية من توسيع تعلم السياسة لمواءمة الرؤية واللغة والعمل (VLA)."

1. بيان المشكلة

حققت نماذج الرؤية واللغة والعمل (VLA) تقدماً كبيراً في تمكين الروبوتات من اتباع التعليمات اللغوية الطبيعية. ومع ذلك، لا تزال هناك عقبة حرجة تتمثل في "فجوة النية والعمل" (intention-action gap). فحتى نماذج VLA المتطورة غالباً ما تولد أفعالاً لا تتوافق مع تعليمات المستخدم، لا سيما عند إعادة صياغة التعليمات أو عندما تحتوي البيئة على مشتتات.

تركز الحلول الحالية بشكل أساسي على توسيع التدريب المسبق للسياسة (على سبيل المثال، تعزيز بيانات التدريب بإعادة صياغة التعليمات أو استخدام نماذج خلفية أكبر). ويرى المؤلفون أن هذا النهج يعطي عوائد متناقصة:

فهو يحقق مكاسب تدريجية فقط.
وهو حساس للاضطرابات البسيطة.
وغالباً ما يؤدي إلى النسيان الكارثي (catastrophic forgetting)، حيث يؤدي تعلم توليد الأفعال إلى تدهور الاستدلال متعدد الوسائط والفهم الدلالي للنموذج.

تفترض الورقة أنه بدلاً من توسيع تدريب السياسة، فإن توسيع وقت الاختبار (test-time scaling) (تخصيص المزيد من الحوسبة أثناء الاستدلال للتحقق والتحسين) هو مسار أكثر فعالية لسد فجوة النية والعمل.

2. المنهجية: CoVer-VLA

يقترح المؤلفون CoVer-VLA، وهو إطار عمل للتحقق الهرمي في وقت الاختبار يفصل بين تحسين التعليمات واختيار الفعل. يعمل النظام في مرحلتين رئيسيتين:

أ. تحليل توسيع وقت الاختبار

قبل تقديم البنية، يحدد المؤلفون قوان التوسع في وقت الاختبار (test-time scaling laws) لاتباع التعليمات المتجسدة. ويقارنون بين أربع استراتيجيات أخذ العينات:

أخذ العينات المتكرر: أخذ عينات من الأفعال بناءً من نفس التعليمات.
الاضطراب الغاوسي (Gaussian Perturbation): إضافة ضوضاء إلى الأفعال التي تم أخذ عينات منها.
إعادة صياغة التعليمات: أخذ عينات من الأفعال بناءً على إعادة صياغات التعليمات الأصلية التي تم إنشاؤها بواسطة نموذج VLM.
أخذ العينات الهجين (Hybrid Sampling): الجمع بين إعادة الصياغة وأخذ عينات الأفعال المتكررة.

النتيجة: تحقق إعادة صياغة التعليمات توزيعاً أوسع لمقترحات الأفعال مقارنة بأخذ العينات المتكرر أو الاضطراب. ويعد النهج الهجين (توسيع كل من عدد إعادة الصياغات وعدد الأفعال لكل إعادة صياغة) هو الأكثر فعالية، حيث يستعيد الأفعال الصحيحة بكفاءة أكبر من توسيع أي بُعد بشكل مستقل.

ب. CoVer: المُتحقق التبايني (The Contrastive Verifier)

للاستفيد من قوان التوسع هذه، يدرب المؤلفون CoVer، وهو مُتحقق تبايني مصمم لتسجيل درجة المواءمة بين الرؤية واللغة والعمل.

البنية:
- المُشفر البصري المدرك للنص: يستخدم خلفية SigLIP2 مجمدة لاستخراج الميزات البصرية ذات الصلة بالمهمة المشروطة بالنص.
- مُشفر الفعل: مُشفر محول (Transformer encoder) يعالج كتل الأفعال (مع دمج التاريخ الحديث) لالتقاط التبعيات الزمنية.
- المواءمة: يتعلم النموذج فضاء تضمين مشترك حيث تشير درجة التشابه بين تضمين (الرؤية + التعليمات) وتضمين الفعل إلى مدى المواءمة.
استراتيجية التدريب:
- البيانات: تم التدريب على 20 مليون عينة غير متصلة (offline) من مجموعة بيانات Bridge V2.
- تعزيز إعادة الصياغة: تم تعزيز بيانات التدريب عبر إقران الملاحظات/الأفعال الأصلية مع تعليمات متنوعة مُعاد صياغتها بواسطة نموذج VLM.
- خسارة التباين (Contrastive Loss): يستخدم خسارة InfoNCE ثنائية الاتجاه. يعامل النموذج الأفعال الأخرى في الدفعة (batch) كسلبيات ضمنية، مما يسمح له بالتمييز بين السلوكيات المتوافقة دلالياً وتلك غير المتوافقة دون الحاجة إلى تسميات فشل صريحة.

ج. خط أنابيب التحقق الهرمي في وقت الاختبار

عند النشر، ينفذ CoVer-VLA حلقة تحسين ثنائية المراحل:

الاستدلال عند بدء التشغيل (Boot-Time Reasoning - غير متصل): قبل التنفيذ، يقوم نموذج VLM بتحليل المشهد الأولي ويولد مجموعة متنوعة من $K$ من التعليمات المعاد صياغتها. يتم تخزين هذه التعليمات لتجنب زمن الانتقال أثناء التشغيل.
الاختيار الهرمي (متصل):
- مقترح الفعل (Action Proposal): لكل واحدة من تعليمات $K$ المعاد صياغتها، تولد سياسة VLA الأساسية $M$ من مرشحي الأفعال.
- تحسين التعليمات (مستوى عالٍ): يقوم المُتحقق بتسجيل درجات أزواج (التعليمات-الفعل). ويحسب متوسط الدرجة لكل إعادة صياغة لاختيار الطلب الأمثل عالي المستوى ( $l^*$ ) الذي يستحث توزيع الأفعال الأكثر موثوقية.
- اختيار الفعل (مستوى منخفض): ضمن الطلب الأمثل المختار، يختار المُتحقق كتلة الفعل الأفضل الوحيدة ( $a^*$ ) ذات أعلى درجة مواءمة.

3. المساهمات الرئيسية

قانون توسع وقت الاختبار: أثبت أن التوسع المشترك لإعادة صياغة التعليمات وأخذ عينات الأفعال يخلق توزيع مقترحات أفعال أكثر تنوعاً وفعالية من توسيع بارامترات السياسة وحدها.
مُتحقق CoVer: قدم مُتحققًا تباينيًا قابلاً للتوسع، يواءم بين الرؤية واللغة والعمل. وهو يتوسع بسلاسة مع حجم النموذج، وحجم مجموعة البيانات، وأساليب التجميع (ensemble methods).
خط الأنابيب الهرمي: اقترح خط أنابيب استدلال مبتكر يربط تحسين الطلبات عالية المستوى مع التحقق من الأفعال منخفضة المستوى، مستفيداً من حوسبة "وقت بدء التشغيل" لنقل الاستدلال إلى المرحلة غير المتصلة.
الكفاءة مقابل الأداء: أظهر أن التوسع القائم على التحقق يحقق نتائج متفوقة مع استخدام حوسبة أقل بكثير مقارنة بتوسيع التدريب المسبق للسياسة.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام SIMPLER (محاكاة)، و PolaRiS (من الواقع إلى المحاكاة)، ومهام في العالم الحقيقي باستخدام روبوت WidowX.

اختبار SIMPLER (داخل التوزيع وخارج التوزيع):
- مقارنة بتوسيع التدريب المسبق للسياسة (تعزيز بيانات التدريب)، حقق CoVer-VLA نسب نجاح أعلى بنسبة 22% في المهام داخل التوزيع و13% أعلى في مهام خارج التوزيع (OOD).
- تفوق بشكل كبير على RoboMonkey (طريقة سابقة لتوسيع وقت الاختبار)، والتي فشلت فشلاً ذريعًا في العديد من المهام بسبب انزياح التوزيع.
اختبار PolaRiS:
- باستخدام $\pi0.5$ كسياسة أساسية، حسن CoVer-VLA تقدم المهمة بنسبة 14% ونسبة النجاح بنسبة 9%.
تجارب العالم الحقيقي:
- حقق تحسناً مطلقاً بنسبة 45% في معدل النجاح مقارنة بالسياسة الأساسية في مهام مثل "وضع علبة Red Bull على طبق" و"وضع Pepto Bismol على طبق".
- كانت السياسة الأساسية تفشل غالباً في بدء الحركة أو تمسك الشيء الخاطئ؛ بينما نجح Coer-VLA في تصحيح هذه الأخطاء عبر اختيار التعليمات وإعادة الصياغة والفعل الصحيحين.
كفاءة الحوسبة:
- تطلب تدريب CoVer نحو 3.8 ضعف حوسبة السياسة الأساسية، بينما تطلب تدريب سياسة معززة بالتعليمات 16 ضعفاً.
- يضيف خط أنابيب التحقق تأخيراً طفيفاً (حوالي 8 مللي ثانية لترميز الفعل) لأن ترميز الصورة والنص الثقيل يعمل بالتوازي مع السياسة الأساسية.

5. الأهمية

تغير هذه الورقة بشكل جذري النموذج السائد لتحسين سياسات الروبوتات العامة. فهي تجادل بأن تخصيص الحوسبة للاستدلال والتحقق عند النشر هو مسار أكثر فعالية وكفاءة من مجرد زيادة حجم بيانات التدريب المسبق أو حجم النموذج.

المتانة: توفر آلية للتعامل مع الغموض اللغوي والمشتتات البيئية دون الحاجة لإعادة تدريب السياسة الجوهرية.
القابلية للتوسع: النهج معياري (modular)؛ حيث يمكن تطبيقه على أي سياسة VLA موجودة دون تعديل أوزانها.
الواقعية: من خلال نقل الاستدلال الثقيل إلى "وقت بدء التشغيل" واستخدام التحقق التبايني الفعال، يحافظ النظام على ترددات تحكم في الوقت الفعلي (~1.3 هرتز إلى 2.2 هرتز)، مما يجعله قابلاً للتطبيق في النشر الروبوتي في العالم الحقيقي.

باختصار، يثبت CoVer-VLA أن استراتيجية "التحقق ثم العمل"، المدعومة بالتعلم التبايني وتوسيع وقت الاختبار، هي مسار متفوق لبناء روبوتات قوية وعامة القدرات مقارنة بالنهج التقليدي القائم على "التدريب على نماذج أكبر".