🤖 AI

Understanding Asynchronous Inference Methods for Vision-Language-Action Models

تقدم هذه الورقة مقارنة منهجية لأربع طرق استدلال غير متزامنة لنماذج الرؤية واللغة والعمل (Vision-Language-Action) تحت ظروف خاضعة للتحكم، كاشفةً أن التصحيح المتبقي خفيف الوزن (A2C2) يتفوق على غيره في معايير Kinetix وLIBERO، بينما يوفر محاكاة تأخير وقت التدريب (TT-RTC) الحل الأكثر متانة وبدون عبء إضافي.

المؤلفون الأصليون: Ayoub Agouzoul

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Ayoub Agouzoul

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "الطاهي البطيء" و"الروبوت الجائع"

تخيل روبوتاً يعمل كطاهٍ يحاول طهي وجبة معقدة. للقيام بذلك، ينظر الطاهي (نموذج الذكاء الاصطناعي) إلى المطبخ، ويقرأ الوصفة، ثم يخطط للخطوات الـ 10 التالية من الطهي دفعة واحدة. هذا ما يسمى بـ "تجميع الأفعال" (Action Chunking). فبدلاً من اتخاذ قرار "قطع البصل" ثم الانتظار لاتخاذ قرار "قطع الجزر"، يخطط الطاهي للتسلسل بأكمله فوراً. هذا أمر فعال.

المشكلة: الطاهي دقيق جداً في تفكيره ولكنه بطيء جداً أيضاً. بحلول الوقت الذي ينتهي فيه الطاهي من كتابة خطة الخطوات العشر القادمة، يكون المطبخ قد تغير بالفعل. فقد تحرك الروبوت، أو انزاحت المكونات، أو اشتعلت النار. الخطة التي كتبها الطاهي للتو مبنية على صورة قديمة للمطبخ. إذا اتبع الروبوت هذه الخطة "المنتهية الصلاحية"، فقد يقطع الهواء بدلاً من البصل.

إذا انتظر الروبوت حتى ينتهي الطاهي من كل خطوة قبل التحرك، فسيكون بطيئاً جداً بحيث لا يمكن الاستفادة منه. وإذا اندفع للأمام فقط باستخدام الخطة القديمة، فسيقع في الأخطاء.

الحلول الأربعة

تختبر الورقة أربع طرق مختلفة لحل مشكلة "الطاهي الببطيء" هذه. قام الباحثون ببناء ساحة اختبار موحدة (مثل صالة ألعاب محاكاة عملاقة) لمعرفة أي طريقة تعمل بشكل أفضل عندما يزداد التأخير طولاً.

1. IT-RTC: "المحرر في الوقت الفعلي"

كيف يعمل: تخيل أن الطاهي يكتب خطة الخطوات العشر، لكنه يدرك أن 3 خطوات قد مرت بالفعل بحلول الوقت الذي انتهى فيه من الكتابة. بدلاً من رمي الورقة، يمسك الطاهي بقلم أحمر ويمسح أول 3 خطوات، ثم يعيد كتابة الخطوات الـ 7 المتبقية بسرعة لتناسب الوضع الحالي.
العقبة: عملية التحرير هذه ثقيلة. يتعين على الطاهي القيام بعمليات حسابية إضافية لـ "إلغاء" الأجزاء القديمة و"إعادة" كتابة الأجزاء الجديدة. هذا يعمل جيداً للتأخيرات الصغيرة، ولكنه يصبح بطيئاً وغير متناسق جداً إذا كان التأخير طويلاً.

2. TT-RTC: الطاهي الذي "الممارسة تجعل الأمر مثالياً"

كيف يعمل: بدلاً من إصلاح الخطة بعد كتابتها، تقوم هذه الطريقة بتدريب الطاهي على الممارسة مع وجود تأخيرات أثناء التعلم. خلال التدريب، يُقال للطاهي: "مهلاً، تظاهر بأنك متأخر بـ 3 خطوات. اكتب الخطة بافتراض أن الخطوات الثلاث الأولى قد تمت بالفعل، وأعطني الباقي فقط".
الفائدة: لأن الطاهي تعلم توقع التأخيرات، فهو لا يحتاج إلى أي تعديل إضافي عند الطهي فعلياً. هو فقط يسلم الخطة، وتكون صحيحة بالفعل. هذا لا يضيف أي وقت إضافي لعملية الطهي.

3. VLASH: "المسافر عبر الزمن"

كيف يعمل: تحاول هذه الطريقة خداع الزمن. عندما ينظر الطاهي إلى المطبخ، فإنه لا ينظر فقط إلى الحالة الحالية؛ بل يستخدم الحركات المعروفة لـ تسريع الزمن في ذهنه إلى النقطة التي سيكون عليها الروبوت عندما تصبح الخطة جاهزة. هو يكتب الخطة بناءً على تلك الحالة المستقبلية.
العقبة: في العالم الحقيقي، لا يمكنك التنبؤ بالمستقبل بدقة دون بلورة سحرية. في اختبارات الورقة، استخدموا "بلورة سحرية" (بيانات مثالية) لأحد الاختبارات، مما أعطى هذه الطريقة ميزة كبيرة قد لا توجد في الحياة الواقعية. أيضاً، إذا كان التأخير طويلاً جداً، فإن تخمين "السفر عبر الزمن" سيكون خاطئاً، وتفشل الخطة.

4. A2C2: "مساعد التدقيق السريع"

كيف يعمل: تحافظ هذه الطريقة على خطة الطاهي الأصلية كما هي تماماً، ولكنها تضيف مساعداً صغيراً وسريعاً للغاية. يكتب الطاهي الخطة، ولكن المساعد يقف بجانب الروبوت. في كل خطوة يتخذها الروبوت، ينظر المساعد إلى المطبخ الحالي، ويتحقق من خطة الطاهي القديمة، ويجري تصحيحاً طفيفاً إذا لزم الأمر.
الفائدة: هذا المساعد صغير وسريع جداً. حتى لو كانت خطة الطاهي قديمة، فإن المساعد يبقي الروبوت في الاتجاه الصحيح خطوة بخطوة. كانت هذه الطريقة هي الأكثر موثوقية عندما كانت التأخيرات طويلة.

ماذا وجدوا؟

اختبر الباحثون هذه الطرق في "مطبخين" مختلفين (محاكاة): لعبة فيزياء ثنائية الأبعاد (Kinetix) ومهمة ذراع روبوت ثلاثية الأبعاد معقدة (LIBERO).

الفائز في حالات التأخير الطويل (A2C2): عندما أصبح التأخير طويلاً جداً (مثل انتظار 20 خطوة للحصول على خطة)، كان مساعد التدقيق السريع (A2C2) هو الفائز الواضح. لقد حافظ على نجاح الروبوت حتى عندما كان الطاهي بطيئاً جداً. كان الطريقة الوحيدة التي لم تفشل عندما كان التأخير ضخماً.
الفائز في السرعة والبساطة (TT-RTC): إذا كان بإمكانك إعادة تدريب النموذج، فإن TT-RTC هو أفضل خيار مقابل الجهد المبذول. فهو لا يبطئ الروبوت على الإطلاق، وهو مستقر جداً. إنه يشبه تعليم الطاهي أن يكون مثالياً منذ البداية حتى لا تكون هناك حاجة لأي تصحيحات لاحقاً.
الطريقة "التقليدية" (IT-RTC): عملت بشكل جيد للتأخيرات القصيرة جداً، ولكن مع زيادة التأخير، أصبحت بطيئة وثقيلة جداً، وكادت تكون سيئة مثل عدم فعل أي شيء.
طريقة "البلورة السحرية" (VLASH): عملت بشكل مفاجئ جيد، لكن الورقة تحذر من أنها اعتمدت على امتلاك معرفة مثالية بالحالة المستقبلية (والتي لا يملكها الروبوتات في الواقع). بدون هذه المعرفة المثالية، قد لا تكون قوية بنفس القدر.

الخلاصة

إذا كنت تبني روبوتاً يحتاج إلى الاستجابة بسرعة:

إذا كان بإمكانك إعادة تدريب الذكاء الاصطناعي: استخدم TT-RTC. فهو مجاني في التشغيل ومستقر جداً.
إذا لم يكن بإمكانك إعادة التدريب أو كانت التأخيرات ضخمة: استخدم A2C2. فهو يضيف قدراً ضئيلاً من العمل الإضافي، ولكنه ينقذ الموقف عندما يكون الذكاء الاصطناعي الرئيسي بطيئاً جداً.
تجنب IT-RTC إذا كنت تتوقع تأخيرات طويلة؛ فهو ثقيل جداً.

تقول الورقة باختصار: "لا تنتظر فقط حتى يلحق الذكاء الاصطناعي البطيء بالركب. إما أن تعلمه توقع التأخيرات، أو أعطه مساعداً سريعاً ليصحح أخطاءه في الوقت الفعلي".

ملخص تقني: فهم أساليب الاستدلال غير المتزامن لنماذج الرؤية واللغة والعمل (VLA)

1. بيان المشكلة

برزت نماذج الرؤية واللغة والعمل (VLA) كنموذج للتحكم العام في الروبوتات، حيث تقوم برسم خرائط للملاحظات البصرية والتعليمات اللغوية إلى أفعال. غالبًا ما تستخدم سياسات VLA الحديثة تجزئة الأفعال (action chunking)، حيث تتنبأ بتسلسل من $H$ من الأفعال المستقبلية في تمريرة أمامية واحدة لتقليل تكاليف الاستدلال وتقليل الأخطاء التراكمية. ومع ذلك، تعاني نماذج VLA الكبيرة من زمن استجابة (latency) مرتفع (عشرات إلى مئات الميلي ثانية).

في التنفيذ المتزامن (synchronous execution)، يتوقف الروبوت أثناء الاستدلال، مما يضع سقفًا لتردد التحكم عند معدل الاستدلال، وهو أمر غير عملي للمهام التي تتطلب استجابة سريعة. أما التنفيذ غير المتزامن الساذج (naive asynchronous execution) فيقوم بفصل الاستدلال عن التنفيذ، مع الانتقال إلى أجزاء (chunks) جديدة فور وصولها. ومع ذلك، يؤدي هذا إلى ثلاثة أنماط من الفشل:

انقطاع حدود الجزء (Chunk-boundary discontinuity): الجزء الجديد غير متوافق مع الأفعال التي تم الالتزام بها بالفعل للروبوت.
تقادم الملاحظة (Observation staleness): الجزء الجديد مشروط بملاحظة عمرها $d$ من الخطوات (حيث $d$ هو تأخير الاستدلاف في خطوات التحكم).
تدهور الحلقة المفتوحة (Open-loop degradation): لا يمكن للأفعال الملتزم بها التكيف مع التغيرات البيئية خلال عمر الجزء.

وقد تم اقتراح أربع طرق للتخفيف من هذه المشكلات — وهي IT-RTC و TT-RTC و VLASH و A2C2 — إلا أنها طُورت في قواعد أكواد غير متوافقة مع سياسات أساسية وبروتوكولات تقييم مختلفة، مما يجعل المقارنة المباشرة مستحيلة.

2. المنهجية

قام المؤلفون بتطوير قاعدتي أكواد موحدتين (bt-kinetix بلغة JAX/Flax و bt-libero بلغة PyTorch/LeRobot) لدمج جميع الطرق الأربع تحت مكتبات وبيانات وسياسات أساسية متناغمة. وقد قاموا باختبار هذه الطرق على:

Kinetix: مجموعة تحكم مستمر ثنائي الأبعاد مع 10 بيئات ديناميكية، باستخدام سياسات MLP-Mixer (حيث $H \in \{16, 30\}$ ).
LIBERO: معيار معالجة بـ 7 درجات حرية (7-DoF) باستخدام نموذج SmolVLA (حيث $H=50$ ).

شمل التقييم مسح تأخيرات الاستدلال ( $d$ ) حتى 20 خطوة تحكم (لمحاكاة سيناريوهات النشر في العالم الحقيقي التي تتراوح من وحدات GPU المحلية إلى الاستدלא عبر السحاب عبر شبكات 4G).

الطرق الأربع التي تمت مقارنتها

IT-RTC (تصحيح المتبقي وقت الاستدلال عبر التوجيه الخالي من التدريب): نهج خالٍ من التدريب يستخدم توجيه مطابقة التدفق (flow-matching guidance). يعامل أول $d$ من الأفعال في الجزء الجديد كقيود معروفة ويقوم بـ "ترميم" (inpaints) الأفعال المتبقية $H-d$ أثناء عملية إزالة الضجيج باستخدام حد توجيه شبه عكسي. لا يتطلب إعادة تدريب ولكنه يتسبب في تمريرة خلفية (VJP) لكل خطوة إزالة ضجيج، مما يضاعف العمليات الحسابية (FLOPs) ثلاث مرات لكل خطوة.
TT-RTC (تصحيح المتبقي وقت التدريب عبر محاكاة التأخير وقت التدريب): يعدل عملية التدريب لتكون مشروطة ببادئات الأفعال (action prefixes). تتعلم السياسة التنبؤ فقط بلاحقات الأفعال غير القديمة بناءً على بادئة ملتزم بها. يستخدم خسارة مقنعة (masked loss) وبادئات حقيقية غير مشوبة بالضجيج أثناء التدريب. يوفر صفر من التكاليف الإضافية عند الاستدلال وهو بديل مباشر لـ IT-RTC.
VLASH (الاشتراط الواعي بحالة الرؤية واللغة والعمل): يعالج تقادم الملاحظة من خلال تقدير الحالة المستقبلية للروبوت عند وقت التنفيذ باستخدام الأفعال السابقة المعروفة. تكون السياسة مشروطة بهذه الحالة "المُدحرج للأمام" (rolled-forward) بدلاً من الملاحظة القديمة. يستخدم تعزيز التدريب بالإزاحة الزمنية.
A2C2 (تصحيح الفعل غير المتزامن عبر رأس التصحيح): يستهدف تدهور الحلقة المفتوحة. يقوم بتدريب رأس تصحيح خفيف الوزن يعمل عند كل خطوة تحكم، حيث يصدر تعديلًا متبقيًا ( $\Delta a$ ) للسياسة الأساسية للأفعال القديمة. يشترط الرأس على أحدث ملاحظة، وميزات السياسة الأساسية، وميزة الوقت داخل الجزء. وهو قابل للتركيب مع الطرق الأخرى.

3. المساهمات الرئيسية

قواعد أكواد موحدة: إنشاء bt-kinetix و bt-libero اللذين يدمجان جميع الطرق الأربع مع تبعات متناغمة، مما سمح بأول مقارنة منهجية.
اختبار شامل: تقييم شامل عبر معيارين متميزين (Kinetix و LIBERO) مع أحجام أجزاء ( $H$ ) متفاوتة وتأخيرات ( $d$ تصل إلى 20)، مما يغطي النطاقات ذات الصلة بالنشر في العالم الحقيقي (مثل الخوادم الطرفية أو الاستدلال السحابي).
رؤى عملية: تحليل المقايضات بين تكاليف التدريب، وتكاليف الاستدلال الإضافية، والتعميم خارج التوزيع (OOD) للتأخير.

4. النتائج

نتائج Kinetix (MLP-Mixer, $H=16, 30$ )

الأداء: حققت A2C2 أعلى معدل حل مطلق عبر معظم التأخيرات، حيث حافظت على معدل حل >90% حتى $d=8$ . كانت TT-RTC هي الطريقة الأكثر قوة القائمة على التدريب، حيث أظهرت استقرارًا عبر اختيارات $d_{max}$ المختلفة وتعممت جيدًا على التأخيرات خارج التوزيع (OOD).
IT-RTC: تنافسية عند التأخيرات المنخفضة ولكنها تدهورت بشكل حاد تحت الأجزاء الطويلة ( $H=30$ ) والتأخيرات العالية ( $d > 8$ )، مما يشير إلى أن تقريب VJP الخطي الخاص بها يفشل مع نمو نسبة البادئة إلى اللاحقة.
VLASH: أظهرت مقايضة محكومة بنطاق تأخير الضبط الدقيق $[0, d_{max}]$ . حسن نطاق $d_{max}$ الأوسع المتانة عند التأخير العالي ولكنه أثر على دقة التأخير المنخفض.
TT-RTC مقابل VLASH: كانت TT-RTC غير حساسة إلى حد كبير لاختيار $d_{max}$ ، بينما تطلبت VLASH ضبطًا دقيقًا لـ $d_{max}$ ليتناسب مع تأخير النشر المتوقع.

نتائج LIBERO (SmolVLA, $H=50$ )

انقلاب الترتيب: انقلب الترتيب مقارنة بـ Kinetix عند التأخيرات العالية. أصبحت A2C2 الطريقة الأقوى عند التأخيرات العالية ( $d \ge 4$ )، حيث حافظت على فارق يقارب 10 نقاط عن غيرها.
IT-RTC و TT-RTC: تدهور كلاهما بشكل كبير مع زيادة نسبة البادئة إلى اللاحقة (بسبب حجم الجزء الأطول $H=50$ ). تدهورت IT-RTC لتصل إلى أداء قريب من النموذج الأساسي (baseline) بعد $d=8$ . أما TT-RTC، ورغم استقرارها في Kinetix، فقد شهدت انخفاضات كبيرة في الدقة في LIBERO.
VLASH: ظلت المتغيرات ذات $d_{max}$ الأوسع ($8, 16$) مستقرة بشكل ملحوظ عبر التأخيرات. ملاحظة: يؤكد المؤلفون أن نتائج VLASH في LIBERO تعتمد على الحالات المستقبلية الحقيقية (معلومات مميزة/privileged information) بسبب عدم تطابق أبعاد الحالة/الفعل، مما يعمل كحد أعلى للنسخ القابلة للنشر.
زمن الاستجابة (Latency): طابقت TT-RTC زمن الاستجابة الزمني للنموذج الأساسي الساذج. تسببت IT-RTC في زيادة بنسبة 16% في زمن الاستجابة. أضاف رأس المتبقي الخاص بـ A2C2 حوالي 1.8% من زمن الاستجافة في التنفيذ التسلسلي.

تحليل التكلفة

تكلفة الاستدلال الإضافية: تضاعف IT-RTC حلقات إزالة الضجيج التسلسلية ثلاث مرات. تتراكم تكلفة A2C2 بالتناسب مع أفق التنفيذ $s$ (مثل 50 خطوة في LIBERO)، مما يجعلها أكثر تكلفة لكل جزء من IT-RTC في النماذج الكبيرة، رغم أن رأس المتبقي الخاص بها خفيف الوزن بمعزل عن غيره.
تكلفة التدريب: تتطلب TT-RTC ضبطًا دقيقًا متواضعًا (~25% من تكلفة النموذج الأساسي في Kinetix). تتطلب VLASH و A2C2 تدريبًا أو إعادة تدريب أكثر شمولاً.
نقطة التعادل: في LIBERO، تبلغ نقطة التعادل حيث تتجاوز تكلفة التدريب لمرة واحدة في TT-RTC تكلفة الاستدلال المتكررة في IT-RC حوالي 2.9 مليون حلقة (episodes).

5. الأهمية والادعاءات

يدعي البحث أنه لا توجد طريقة واحدة تهيمن على جميع الإعدادات، وأن الخيار الأمثل يعتمد على قيود النشر المحددة (حجم الجزء، التأخير المتوقع، إمكانية إعادة التدريب):

إذا كان إعادة التدريب غير ممكنة والتأخير منخفضًا: فإن IT-RTC تعد حلاً منطقيًا يمكن استخدامه مباشرة.
إذا كان الضبط الدقيق (fine-tuning) ممكنًا والأجزاء قصيرة: توفر TT-RTC إصلاحًا شبه مجاني مع صفر من التكاليف الإضافية عند الاستدلال وتعماً عامًا قويًا خارج التوزيع.
في إعدادات VLA ذات الأجزاء الطويلة (مثل SmolVLA): تعد A2C2 الخيار الأكثر موثوقية للتأخيرات العالية وهي قابلة للتركيب طبيعيًا مع الطرق الأخرى.
VLASH: تظل خيارًا قويًا بشرط توفر نموذج حالة أمامي دقيق ونطاق تأخير النشر معروف وقت الضبط الدقيق.

يخلص المؤلفون إلى أن مقارنتهم المنهجية توضح المقايضات بين هذه الطرق، مما يوجه استراتيجيات تصميم ونشر VLA في المستقبل. كما يشيرون صراحةً إلى القيود، بما في ذلك الاعتماد على الحالات المستقبلية "الأوراكل" (oracle) لـ VLASH في LIBERO، وافتراض تأخيرات عددية ثابتة، مما يوحي بأن ظروف زمن الاستجابة المتغير في العالم الحقيقي قد تفضل الطرق المدركة للتأخير مثل TT-RTC و A2C2.