💻 computer science

ElegantVLA: Learning When to Think for Efficient Vision-Language-Action Models

تُعد ElegantVLA إطار استدلال مدمج ومتكيف مع المراحل، يعمل على تسريع نماذج الرؤية واللغة والعمل (Vision-Language-Action) عبر الجدولة الديناميكية للموارد الحوسبية عبر وحدات الإدراك والعمل بناءً على الاستقرار الزمني وتقدم المهمة، مما يؤدي إلى زيادة تردد التحكم بشكل كبير دون الحاجة إلى إعادة تدريب النموذج الأساسي.

المؤلفون الأصليون: Ye Li, Huanan Liu, Kangye Ji, Yuan Meng, Jiajun Fan, Yuansong Wang, Shiyu Qin, Chenglei Wu, Shu-Tao Xia, Zhi Wang

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ye Li, Huanan Liu, Kangye Ji, Yuan Meng, Jiajun Fan, Yuansong Wang, Shiyu Qin, Chenglei Wu, Shu-Tao Xia, Zhi Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك روبوت يحاول التقاط كوب من القهوة. للقيام بذلك، يجب على دماغك (نموذج الذكاء الاصطناعي) أن يراقب الكوب باستمرار، ويفهم التعليمات "التقط الكوب"، ثم يحسب بدقة كيفية تحريك ذراعك.

في الوقت الحالي، تعمل معظم أدمغة الروبوتات مثل طالب يخوض اختبار رياضيات صعبًا: فهي تحل كل مسألة من الصفر، وبأقصى جهد، في كل خطوة من خطوات الحركة. حتى عندما يحرك الروبوت ذراعه في الهواء الفراغ حيث لم يتغير شيء، فإنه لا يزال يقوم بالحساب الكامل والثقيل. هذا يجعل الروبوت بطيئًا ومكلفًا.

ElegantVLA هي طريقة جديدة تعلم دماغ الروبوت متى يفكر بعمق ومتى يسترخي.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. تشبيه "السائق الذكي"

فكر في قيادة السيارة.

القيادة على الطريق السريع: عندما تكون على طريق سريع مستقيم وخالٍ، فأنت لا تحتاج إلى فحص مراياك والطريق في كل ميلي ثانية بتركيز شديد. يمكنك القيادة بنمط "الطيار الآلي"، والاعتماد على آخر فحص قمت به.
القيادة في المدينة: عندما تقترب من تقاطع مزدحم، أو مشاة، أو إشارة توقف، فإنك تنتقل فجأة إلى وضع "الاستنفار الكامل". تنظر في كل مكان، وتحسب المسافات، وتستجيب فورًا.

يقوم ElegantVLA بنفس الشيء بالنسبة للروبوتات. فهو يدرك أن ليس كل لحظة في المهمة تتطلب نفس القدر من القدرة الذهنية.

اللحظات المستقرة: إذا كان الروبوت يحرك ذراعه فقط عبر مساحة فارغة ولم يتغير المشهد، فإنه يقول: "أنا أعرف ما يحدث؛ سأعيد استخدام حسابي الأخير".
اللحظات الحرجة: إذا كان الروبوت على وشك الإمساك بقطعة خبز منزلقة أو فتح درج، فإنه يقول: "حسنًا، هذا أمر صعب. أحتاج إلى إجراء الحساب الكامل والثقيل الآن لأكون آمنًا".

2. الدماغ المكون من جزأين

يشرح البحث أن "دماغ" الروبوت يحتوي على جزأين رئيسيين، ويدير ElegantVLA كل منهما بشكل منفصل:

جزء "الإدراك" (العينان والفهم): هذا الجزء ينظر إلى الكاميرا ويقرأ التعليمات. يتحقق ElegantVLA مما يلي: "هل تغير المشهد؟" إذا كان الروبوت ينظر إلى نفس الطاولة، فإنه يتخطى إعادة قراءة المشهد بالكامل ويكتفي باستخدام "اللقطة الذهنية" الأخيرة.
جزء "الحركة" (العضلات): هذا الجزء يقرر كيفية تحريك المفاصل. يتحقق ElegantVLA مما يلي: "هل يتحرك الروبوت بسلاسة؟" إذا كانت الذراع تنزلق بثبات، فإنه يعيد استخدام خطة الحركة الأخيرة. وإذا كانت الذراع على وشك لمس شيء ما أو التوقف، فإنه يعيد حساب الحركة لضمان الدقة.

3. "المدرب" (المجدول)

كيف يعرف الروبوت متى ينتقل بين الأنماط؟ يستخدم "مدربًا" صغيرًا وخفيف الوزن (يسمى المجدول - Scheduler) يراقب الروبوت في الوقت الفعلي.

يراقب المدرب مدى تشابه المشهد الحالي مع المشهد الأخير (مثل التحقق مما إذا كان المنظر قد تغير).
يراقب المدرب سرعة حركة الروبوت (هل هو ينزلق بسلاسة أم يتحرك بحركات متقطعة؟).
يراقب المدب مدى التقدم في المهمة (هل نحن في البداية أم على وشك الانتهاء؟).

بناءً على هذه القرائن، يخبر المدرب دماغ الروبوت: "استرخِ للخطوات الثلاث القادمة"، أو "استيقظ واحسب كل شيء الآن!".

4. النتائج: أسرع وأذكى

اختبر البحث هذه الطريقة على روبوتات حقيقية وعمليات محاكاة (مثل روبوت يفتح الأدراج أو يلتقط الطعام من سير متحرك).

السرعة: لأن الروبوت يتخطى الحسابات غير الضرورية، يمكنه التفكير بشكل أسرع بكثير. في الاختبارات، جعل الروبوت أسرع بمقدار 2 إلى 3 مرات مما كان عليه من قبل.
الأمان: والأهم من ذلك، لم يجعل ElegantVLA الروبوت فوضويًا. فمن خلال توفير التفكير الثقيل للأجزاء الصعبة (مثل الإمساك بقطعة توست أو وضع قلم)، نجح الروبوت في المهام بشكل أكثر تكرارًا من نسخة الحساب الكامل البطيئة.
التأثير في العالم الحقيقي: على ذراع روبوت حقيقية، قفزت سرعة التحكم من حوالي 14 مرة في الثانية إلى أكثر من 26 مرة في الثانية. وهذا يعني أن الروبوت يمكنه الاستجابة للأجسام المتحركة (مثل الطعام على سير متحرك) بشكل أكثر فعالية.

ملخص

ElegantVLA يشبه تعليم الروبوت التوقف عن الإفراط في التفكير. فبدلاً من القيام بتمرين ذهني كامل وثقيل لكل خطوة من خطوات المهمة، يتعلم كيف "ينزلق" عندما تكون الأمور سهلة و"ينطلق بسرعة" عندما تصبح الأمثل صعبة. هذا يجعل الروبوتات أسرع، وأكثر كفاءة، وأفضل في التعامل مع مهام العالم الحقيقي دون الحاجة إلى سوبر كمبيوتر لكل حركة صغيرة.

ملخص تقني: ElegantVLA

بيان المشكلة

أثبتت نماذج الرؤية-اللغة-الفعل (VLA) مكانتها كنموذج قوي للتحكم الروبوتي العام من خلال توحيد الإدراك البصري، وفهم اللغة، وتوليد الأفعال. ومع ذلك، فإن نشر هذه النماذج في عمليات التحكم الروبوتي في الوقت الفعلي يعوقه التكاليف الحسابية العالية وترددات التحكم المحدودة. عادةً ما تقوم مسارات VLA الحديثة بتنفيذ مشفر رؤية، ونموذج لغوي كبير (LLM)، ووحدة توليد أفعال (مثل رؤوس الانتشار أو التدفق) عند كل خطوة تحكم.

تركز طرق التسريع الحالية غالبًا على تحسين المكونات الفردية (مثل تقليم الرموز أو التكميم) أو تعتمد على قواعد تسريع ثابتة. وتتجاهل هذه النهج خاصية بالغة الأهمية في التحكم الروبوتي: وهي أن المتطلبات الحسابية للإدراك، والاستنتاج، وتوليد الأفعال ليست موحدة عبر مراحل المهام المختلفة. واستلهاماً من التحكم الحركي البشري، حيث تتركز موارد الإدراك والتغذية الراجعة على المراحل الحساسة للأهداف (مثل التلامس، الإمساك، الإدخال) بينما تعتمد على التنبؤ والتغذية الراجعة منخفضة المستوى خلال مراحل النقل المستقرة، يرى المؤلفون أن نماذج VLA يجب أن تتعلم ديناميكياً متى تستثمر الحوسبة الكاملة ومتى تعيد استخدام الحوسبة السابقة.

المنهجية: ElegantVLA

يقترح المؤلفون ElegantVLA، وهو إطار عمل للتعرف (Inference) يتكيف مع المراحل ويعمل كإضافة (Plug-in)، مصمم لتسريع نماذج VLA من خلال جدولة الحوسبة داخل النموذج. والأهم من ذلك، يعمل ElegantVLA على سياسات VLA الأساسية المجمدة دون الحاجة إلى إعادة تدريب النماذج الخلفية.

1. إطار جدولة التكيف مع المرحلة

يقدم ElegantVLA مجدولاً خفيف الوزن، $\pi_\theta$ ، يراقب تشابه التمثيل الزمني، وإشارات حركة الروبوت، وتقدم الحلقة (Episode progress) لتخصيص الحوسبة بشكل مشترك عبر هيكل الرؤية-LLM ورأس الفعل. يتعامل النظام مع تسريع VLA كمسألة تخصيص حوسبة زمنية بدلاً من كونها ضغطاً ثابتاً.

2. جدولة الرؤية-LLM الموجهة بالاستقرار الدلالي

لمعالجة التكلفة العالية لهيكل الرؤية-LLM، يختار المجدول من سلم حوسبة مكون من خمس مستويات:

المستوى 0 (حوسبة كاملة): يعيد حساب مشفر الرؤية وجميع طبقات LLM.
المستوى 1 (حوسبة جزئية): يجدد مشفر الرؤية ولكن يعيد حساب الطبقات الأولى والأخيرة فقط من LLM، مع إعادة استخدام التمثيلات المتوسطة.
المستويات 2-4 (إعادة الاستخدام الزمني): يتخطى مشفر الرؤية وLLM لعدد $j-1$ من الخطوات المتتالية، ويعيد استخدام التمثيل البصري-اللغوي الأحدث مباشرة.

يتم التوجيه بواسطة محاذاة النواة المركزية (CKA) المحسوبة على الحالات المخفية للطبقة الأولى من LLM. يعمل هذا كمسبر خفيف الوزن للاستقرار الدلالي؛ حيث تشير التشابه العالي ( $\rho_t$ ) إلى أن السياق البصري-اللغوي لم يتغير بشكل كبير، مما يسمح بإعادة استخدام مكثفة.

3. جدولة رأس الفعل المعتمدة على الحركة

للتعامل مع التكرار في توليد الأفعال التكراري، يختار المجدول من سلم تنقية/تكرار مكون من ثلاثة مستويات:

المستوى 0: يعيد حساب جميع خطوات التنقية.
المستوى 1: يعيد حساب الخطوات الحدودية ولكن يعيد استخدام التحديثات المتوسطة.
المستوى 2: يعيد حساب الخطوة التنقية الأولى فقط ويعيد استخدام الباقي.

يتم دفع هذا القرار بواسطة إشارات حركة الروبوت (سرعة القابض، وسرعات ترجمة/دوران طرف النهاية). تسمح مراحل الحركة المستقرة بإعادة الاستخدام، بينما تحفز مراحل الدقة الحساسة (التلامس، المحاذاة) عملية التنقية الكاملة.

4. تدريب المجدول عبر التعلم التعزيزي على مرحلتين

يتم تدريب المجدول باستخدام نهج تعلم تعزيزي (RL) على مرحلتين لموازنة أداء المهمة، وتكلفة الحوسبة، واستقرار إعادة الاستخدام:

المرحلة 1 (الموجهة بالقواعد): تستخدم سياسة معلم لتوفير مكافآت تشكيل كثيفة بناءً على قواعد مصممة يدوياً (مثل عتبات التشابه) لمنع الاستكشاف المدمر وضمان الاستقرار الأولي.
المرحلة 2 (تحسين كفاءة المهمة): تزيل حدود التشكيل الخاصة بالمعلم وتحسن مباشرة من أجل المقايضة بين نجاح المهمة وعدد العمليات الحسابية (FLOPs)، مما يسمح للسياسة بتعلم قرارات الجدولة المثلى عالمياً بما يتجاوز القواعد الثابتة.

المساهمات الرئيسية

الصياغة: يصيغ العمل كفاءة استنتاج VLA كمسألة تخصيص حوسبة داخل النموذج تتكيف مع المراحل، بحجة أن الجهد الحسابي يجب أن يتفاوت مع تقدم المهمة، والتغير الدلالي، وحالة الروبوت.
إطار العمل: يُقترح ElegantVLA كإطار عمل زمني موحد لإعادة الاستخدام ينسق ديناميكياً بين الحوسبة عبر مشفر الرؤية، وLLM، ورأس الفعل عبر الحوسبة الكاملة، وإعادة الحساب الجزئي، وإعادة الاستخدام الزمني.
آلية التعلم: تم تطوير إطار تعلم للمجدول يوازن بين أداء المهمة، وكفاءة الحوسبة، واستقرار إعادة الاستخدام من خلال عملية تدريب RL على مرحلتين.

النتائج التجريبية

قيم المؤلفون ElegantVLA في اختبارات المحاكاة (CogACT، GR00T في SimplerEnv) وفي مهام واقعية باستخدام روبوت Franka Research 3.

CogACT (المحاكاة): حقق ElegantVLA تسريعاً بمقدار 3.72× في مطابقة المرئيات و 3.77× في تجميع المتغيرات، مع تحسين متوسط معدلات نجاح المهام مقارنة بالنماذج المرجعية مثل FastV و VLA-Cache.
GR00T (المحاكاة): في مجموعات Google Robot و WidowX، حسن ElegantVLA معدل النجاح الإجمالي من 64.00% إلى 65.88% مع تحقيق تسريع في متوسط العمليات الحسابية (FLOPs) يصل إلى 2.55×.
التجارب الواقعية: عبر ست مهام (بما في ذلك المناولة الثابتة والالتقاط من سير ناقل)، قلل ElegantVLA الحوسبة بمقدار 2.18× وزاد تردد التحكم من 13.8 هرتز إلى 26.3 هرتز. والجدير بالذكر أنه حسن معدلات النجاح في مهام الهدف المتحرك (مثل خبز البريوش والتوست) حيث يكون التصحيح السريع للحلقة المغلقة أمراً حاسماً، مع الحفاظ على النجاح في مهام الدقة الثابتة.
زمن الاستجابة (Latency): على بطاقة RTX 4090، قلل الأسلوب زمن الاستجابة لكل خطوة بأكثر من 50% (على سبيل المثال، من ~60 مللي ثانية إلى ~28 مللي ثانية في Google Robot).

الأهمية والادعاءات

يزعم البحث أن ElegantVLA يثبت أن سياسات VLA الفعالة لا ينبغي أن تكتفي فقط بتقليل التكاليف لكل خطوة، بل يجب أن تكيّف الحوسبة مع المتطلبات الزمنية للتفاعل. ومن خلال تعلم "متى تفكر"، يحافظ الإطار على نجاح المهمة أو يحسنه مع تسريع الاستنتاج بشكل كبير. ويؤكد المؤلفون أن نهجهم ينسق قرارات إعادة الاستخدام عبر مسار الإدراك-الاستنتاج-الفعل الكامل، مما يمنع تراكم الخطأ الزمني الذي يمكن أن يحدث مع تسريع الوحدات المنعزلة. وتشير النتائج إلى أن الجدولة المتكيفة مع المرحلة هي مسار قابل للتطبيق نحو نشر سياسات VLA عامة وعالية التردد في بيئات واقعية حساسة لزمن الاستجابة.