💻 computer science

InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation

يُعد InternVLA-A1 نموذجاً موحداً من نوع "خليط المحولات" (Mixture-of-Transformers) يدمج بين الفهم الدلالي، والاستشراف البصري، وتنفيذ الإجراءات من خلال آلية انتباه مشتركة، محققاً أداءً رائداً في مهام المناولة الروبوتية عبر الاستفادة من استراتيجية تدريب هجينة تشمل أكثر من 692 مليون إطار من بيانات الفيديو الواقعية والاصطناعية والبشرية.

المؤلفون الأصليون: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yan

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Junhao Cai, Zetao Cai, Jiafei Cao, Yilun Chen, Zeyu He, Lei Jiang, Hang Li, Hengjie Li, Yang Li, Yufei Liu, Yanan Lu, Qi Lv, Haoxiang Ma, Jiangmiao Pang, Yu Qiao, Zherui Qiu, Yanqing Shen, Xu Shi, Yang Tian, Bolun Wang, Hanqing Wang, Jiaheng Wang, Tai Wang, Xueyuan Wei, Chao Wu, Yiman Xie, Boyang Xing, Yuqiang Yang, Yuyin Yang, Qiaojun Yu, Feng Yuan, Jia Zeng, Jingjing Zhang, Shenghan Zhang, Shi Zhang, Zhuoma Zhaxi, Bowen Zhou, Yuanzhen Zhou, Yunsong Zhou, Hongrui Zhu, Yangkun Zhu, Yuchen Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية صنع شطيرة.

الطريقة القديمة (الروبوت "الذكي لكن الجاهل"):
معظم الروبوتات الحالية تشبه أمناء المكتبات العباقرة. يمكنها قراءة وصفة، وفهم كلمات مثل "التقط قطعة الخبز"، ومعرفة ماهية الشطيرة. لكن إذا طلبت منها التقاط قطعة خبز تتحرك على حزام ناقل، فإنها تتجمد. هي تعرف "الكلمات"، لكنها لا تفهم "الفيزياء". لا يمكنها التنبؤ بأن الخبز سيستمر في الحركة إذا لم تلتقطه بسرعة. إنها بارعة في المهام الثابتة (مثل طي قميص على طاولة) ولكنها سيئة جداً في المهام الديناميكية (مثل الإمساك بكرة أو العمل في خط تجميع متحرك).

طريقة "نموذج العالم" (الروبوت "الحالم"):
تحاول بعض الروبوتات الأحدث إصلاح ذلك من خلال تعلم "أحلام اليقظة". فهي تحاول التنبؤ بشكل الفيديو المستقبلي. "إذا حركت ذراعي الآن، سيكون الخبز هنا بعد ثانية واحدة". هذا مفيد، لكن هذه الروبوتات غالباً ما تكون سيئة في فهم اللغة. قد تتنبأ بالفيديو بشكل مثالي، لكن ليس لديها أدنى فكرة عن "لماذا" تفعل ذلك أو ما الذي طلبه الإنسان منها بالفعل. إنها تشبه مخرج الأفلام الذي يعرف تماماً كيف سيبدو المشهد، لكنه لا يعرف النص السينمائي.

إليك InternVLA-A1: "الشيف المتكامل"
يقدم البحث نموذج InternVLA-A1، وهو روبوت يجمع بين أفضل ما في العالمين في عقل واحد. تخيل أنه شيف روبوت لديه ثلاثة مساعدين متخصصين يعملون معاً في تناغم تام:

أمين المكتبة (خبير الفهم): هذا الجزء يقرأ التعليمات ("اصنع شطيرة") وينظر إلى المطبخ لفهم السياق. هو يعرف أين توجد الأشياء وماذا يريد الإنسان.
الحالم (خبير التوليد): هذا الجزء هو "خيال" الروبوت. قبل أن يحرك عضلة واحدة، يقوم بمحاكاة المستقبل. يتساءل: "إذا مددت يدي للخبز الآن، فأين سيكون بعد 0.5 ثانية؟ هل سيسقط؟ هل سأخطئ الهدف؟". إنه يتنبأ بإطارات الفيديو المستقبلية ليرى عواقب أفعاله.
الشيف (خبير التنفيذ): هذا هو الجزء العملي. يستمع إلى أمين المكتبة والحالم. يقول: "حسناً، أمين المكتبة يقول التقط الخبز، والحالم يقول إن الخبز سيتحرك جهة اليمين، لذا عليّ أن أصوّب للأمام قليلاً". ثم يقوم بتنفيذ الحركة.

كيف تعلم الطبخ (النظام الغذائي للتدريب)

لجعل هذا الروبوت بهذا المستوى من المهارة، لم يكتفِ الباحثون بتغذيته بنوع واحد من البيانات. بل قدموا له "نظاماً غذائياً هجيناً" من ثلاثة أشياء:

المحاكاة (لعبة الفيديو): تركوا الروبوت يتدرب ملايين المرات في عالم مثالي تم إنشاؤه بواسطة الكمبيوتر. هذا يشبه لعب لعبة فيديو حيث يمكنك المحاولة مليون مرة دون كسر أي شيء. هذا يعلمه قواعد الفيزياء وكيفية التعامل مع العديد من الأشياء المختلفة.
الروبوتات الحقيقية (فترة التدريب العملي): عرضوا عليه أيضاً فيديوهات لروبوتات حقيقية تقوم بمهام حقيقية. هذا يسد الفجوة بين لعبة الفيديو والواقع، ويعلمه عن الاحتكاك الحقيقي والإضاءة في العالم الواقعي.
فيديوهات البشر (المراقبة): أخيراً، غدّوه بساعات من فيديوهات البشر وهم يصنعون الشطائر ويقومون بالأعمال المنزلية. هذا يعلم الروبوت "روح" الحركة البشرية وكيف نتفاعل طبيعياً مع الأشياء، حتى لو لم تكن لدى الروبوت أيدٍ بشرية.

من خلال خلط هذه الثلاثة، يتعلم الروبوت القواعد من اللعبة، والواقع من الروبوتات الحقيقية، والأسلوب من البشر.

النتائج: لماذا هذا الأمر مهم؟

اختبر الباحثون هذا الروبوت في 12 مهمة مختلفة.

المهام الثابتة: كان رائعاً في المهام العادية مثل فرز النفايات أو مسح بقعة.
المهام الديناميكية (الاختبار الحقيقي): هنا برع الروبوت. عندما طُلب منه فرز الطرود على حزام ناقل متحرك أو التقاط المكونات بينما كانت تطير في الهواء، فقد سحق المنافسين.

بينما تعثرت الروبوتات الأخرى في الإمساك بالأشياء المتحركة (محققة نسبة نجاح حوالي 20-30%)، حقق InternVLA-A1 أكثر من 80-90%. هو لم يكتفِ برد الفعل تجاه ما يراه الآن؛ بل رد الفعل بناءً على ما عرف أنه سيحدث تالياً.

الخلاصة

إن InternVLA-A1 يمثل طفرة لأنه يتوقف عن معاملة "التفكير" (فهم اللغة) و"التنفيذ" (تحريك الأذرع) كخطوات منفصلة. بدلاً من ذلك، فإنه يجبر الروبوت على تخيل المستقبل أثناء التفكير، مما يسمح له بالعمل بسلاسة في عالم فوضوي ومتحرك. إنه الفرق بين روبوت يتعثر بصندوق متحرك، وروبوت يتخطى الصندوق قبل أن يصل إليه حتى.

إليك ملخص تقني مفصل لورقة البحث InternVLA-A1: توحيد الفهم والتوليد والعمل في التلاعب الروبوتي.

1. بيان المشكلة

تتفوق نماذج الرؤية واللغة والعمل (VLA) الحالية، والتي تُبنى عادةً على النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs)، في الفهم الدلالي، لكنها تعاني في التعامل مع ديناميكيات العالم الفيزيائي. فهي تفتقر إلى القدرة على التفكير في كيفية تطور الحالات تحت تأثير الحركة والاتصال، مما يؤدي إلى هشاشة في البيئات الديناميكية (مثل أحزمة النقل الصناعية).

وعلى العكس من ذلك، فإن نماذج العالم (World Models) القائمة على التنبؤ بالفيديو يمكنها توقع الحالات المستقبلية، ولكنها غالباً ما تعاني من:

نقص في التجذر الدلالي: تجد صعوبة في فهم التعليمات المعقدة.
الحساسية للخطأ: يمكن للأخطاء الصغيرة في التنبؤ بالفيديو أن تتراكم لتؤدي إلى فشل كارثي في تنفيذ العمليات.
القيود الزمنية الحقيقية: توليد الفيديو عالي الدقة غالباً ما يكون ثقيلاً جداً من الناحية الحسابية للتحكم الروبوتي عالي التردد.

كما تواجه النهج الحالية أيضاً اختناقات في البيانات، حيث تعتمد بشكل كبير على بيانات روبوتية حقيقية مكلفة أو تعاني من فجوة المحاكاة إلى الواقع (sim-to-real gap) عند استخدام البيانات الاصطناعية وحدها.

2. المنهجية: InternVLA-A1

يقترح المؤلفون InternVLA-A1، وهو إطار عمل موحد يدمج فهم المشهد، وتوليد الاستشراف البصري، وتنفيذ العمل في بنية واحدة.

أ. البنية: خليط من المحولات (Mixture-of-Transformers - MoT)

يستخدم النموذج بنية MoT موحدة مع ثلاثة "خبراء" متخصصين يتفاعلون عبر آلية انتباه ذاتي مقنعة موحدة:

خبير الفهم (Understanding Expert): يعتمد على نماذج MLLM (مثل InternVL3 أو Qwen3-VL). يقوم بترميز المدخلات متعددة الوسائط (الصور والتعليمات النصية) إلى تمثيلات سياقية ( $h_{und}$ )، مما يوفر التجذر الدلالي.
خبير التوليد (Generation Expert): وحدة خفيفة الوزن مصممة للاستدلال في الوقت الفعلي. بدلاً من التنبؤ بالرموز (tokens) عبر الترتيب الذاتي، يستخدم استراتيجية فك تشفير متوازية غير ترتيبية (non-autoregressive, parallel decoding).
- المدخلات: 6 صور (3 زوايا رؤية $\times$ زمنين: $t$ و $t-15$ ).
- الترميز (Tokenization): يستخدم مشفر COSMOS VAE لضغط الصور إلى شبكات كامنة.
- الضغط: يقلل طول التسلسل عبر خفض العينات بالتلافيف (من 1024 رمزاً لكل صورة إلى 16 رمزاً لكل صورة).
- المخرجات: يتنبأ بالحالات البصرية المستقبلية ( $t+15$ ) في تمريرة أمامية واحدة، مما يوفر "استشرافاً بصرياً" دون التأخير المرتبط بمولدات الفيديو القياسية.
خبير العمل (Action Expert): يأخذ السياق الدلالي ( $h_{und}$ )، والديناميكيات التنبؤية ( $h_{gen}$ )، والحالة الحسية الخاصة ( $q_t$ ) للتنبؤ بكتل العمل (action chunks). يستخدم مطابقة التدفق (Flow Matching) لتوليد أوامر تحكم مستمرة، مما يسمح بالتعامل مع توزيعات العمل متعددة الأنماط بشكل أفضل من الانحدار المباشر.

تدفق المعلومات: تفرض البنية تدفقاً سببياً صارماً: الفهم $\leftarrow$ التوليد $\leftarrow$ العمل. يمكن للكتل اللاحقة أن تنتبه للكتل السابقة، ولكن ليس العكس.

ب. استراتيجية التدريب ومجموعة البيانات

تم تدريب InternVLA-A1 على مجموعة بيانات ضخمة وغير متجانسة مكونة من 692 مليون إطار باستخدام عملية من مرحلتين (التدريب المسبق وما بعد التدريب):

البيانات الاصطناعية (InternData-A1 & RoboTwin): توفر القابلية للتوسع والتنوع (الأجسام الصلبة، اللينة، والسائلة).
بيانات الروبوت الحقيقية (AgiBot-World, RoboMind): تربط النموذج بالواقع الفيزيائي لتقليل فجوة المحاكاة إلى الواقع.
فيديوهات البشر من منظور الشخص الأول (EgoDex): تثري التمثيلات البصرية لمهارات التلاعب دون الحاجة إلى تشغيل روبوت عن بُعد.

أهداف التحسين:

خسارة الاستشراف البصري (Visual Foresight Loss): تقلل المسافة بين الإطارات المستقبلية المتوقدة والإطارات الحقيقية في الفضاء الكامن.
خسارة مطابقة التدفق (Flow Matching Loss): تتعلم مجال السرعة لتحويل الضوضاء إلى مسارات عمل خبيرة.
الخسارة المشتركة (Joint Loss): $L_{total} = \lambda L_{gen} + L_{act}$ ، لضمان الاتساق التمثيلي عبر الوسائط المختلفة.

3. المساهمات الرئيسية

بنية موحدة: أول نموذج VLA يربط بقوة بين الاستدلال الدلالي (MLLM) والتنبؤ الديناميكي (نموذج العالم) في إطار عمل MoT واحد، مما يسد الفجوة بين "ماذا" و "كيف يتحرك".
استشراف بصري فعال: يقدم خبير توليد بفك تشفير متوازٍ وغير ترتيبي يحقق استدلالاً في الوقت الفعلي (~13 هرتز) مع توفير توجيه ديناميكي كافٍ، متجاوزاً مشكلات التأخير في نماذج التنبؤ بالفيديو السابقة.
وصفة بيانات هجينة: يثبت أن التدريب المشترك على البيانات الاصطناعية، وبيانات الروبوت الحقيقية، وفيديوهات البشر يتفوق بشكل كبير على النماذج المدربة على مصدر واحد، مما يغلق فجوة المحاكلة إلى الواقع بفعالية.
تنفيذ قابل للتوسع: تم تطبيق النموذج بنجاح بمقاييس 2 مليار و3 مليارات معلمة، مما يثبت أن النماذج الأصغر والمتخصصة يمكن أن تتفوق على النماذج العامة الأكبر حجماً عندما يتم تحسين البنية والبيانات.

4. النتائج التجريبية

تم تقييم النموذج في 12 مهمة واقعية (ثابتة وديناميكية) وفي معيار محاكاة RoboTwin 2.0.

التلاعب الثابت: حقق InternVLA-A1 (بـ 3 مليارات معلمة) متوسط معدل نجاح قدره 75.1%، متفوقاً على النموذج المرجعي القوي $\pi0.5$ (70.7%) بنسبة +4.4%. وقد برز بشكل ملحوظ في المهام طويلة المدى مثل "صنع شطيرة" (93.3% مقابل 73.3%).
التلاعب الديناميكي: أظهر النموذج مكاسب هائلة في السيناريوهات الدينمايكية حيث تكون الأهداف متحركة.
- التقاط المكونات أثناء الحركة: حقق نسبة نجاح 93.3% مقابل 66.7% لنموذج $\pi0.5$ (تحسن بنسبة +26.7%).
- الفرز السريع: حقق نسبة نجاح 80.0% مقابل 53.3% لنموذج $\pi0.5$ .
- الأهمية: يثبت هذا قدرة النموذج على التفكير في الزخم والحالات المستقبلية، وهو ما فشلت فيه النماذج التفاعلية السابقة.
معيار المحاكاة (RoboTwin 2.0): تفوق على $\pi0.5$ بنسبة +2.6% في كل من إعدادات السهل (Easy) والصعب (Hard - مع عشوائية النطاق).
دراسات الاستئصال (Ablation Studies):
- إزالة التدريب المسبق أدت إلى انخفاض في الأداء بنسبة 51.6%.
- إزالة خبير التوليد أدت إلى انخفاض بنسبة 19.4% في متوسط معدل النجاح، مع التأثير الأكثر حدة على المهام الديناميكية، مما يؤكد ضرورة الاستشراف البصري.

5. الأهمية

يمثل InternVLA-A1 تحولاً جذرياً في تعلم الروبوتات من خلال الانتقال من مجرد رسم خرائط "الإدراك إلى العمل" التفاعلية إلى التلاعب المدرك للاستشراف. من خلال توحيد الفهم الدلالي مع التنبؤ الديناميكي، فإنه يمكّن الروبوتات من العمل بمتانة في البيئات المعقدة والمتغيرة (مثل أحزمة النقل أو الأجسام المتحركة) حيث تفشل نماذج VLA التقليدية. كما يقدم هذا العمل مخططاً للتدريب الفعال، موضحاً أن استراتيجية البيانات الهجينة (محاكاة + حقيقي + بشري) جنباً إلى جنب مع بنية متخصصة يمكن أن تحقق أداءً رائدًا بأحجام نماذج صغيرة نسبياً (2-3 مليار معلمة).