🤖 AI

LAP: Language-Action Pre-Training Enables Zero-shot Cross-Embodiment Transfer

تقدم الورقة البحثية التدريب المسبق للغة-الفعل (LAP)، وهي طريقة تمثل أفعال الروبوت في لغة طبيعية لتمكين أول نقل جوهري عبر التجسيد الصفري لنماذج الرؤية-اللغة-الفعل دون الحاجة إلى ضبط دقيق خاص بالتجسيد.

المؤلفون الأصليون: Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

نُشر 2026-02-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lihan Zha, Asher J. Hancock, Mingtong Zhang, Tenny Yin, Yixuan Huang, Dhruv Shah, Allen Z. Ren, Anirudha Majumdar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طباخاً بارعاً وعالمياً (الذكاء الاصطناعي)، تعلم الطبخ من خلال مشاهدة آلاف برامج الطبخ وقراءة ملايين الوصفات. هذا الطباخ مذهل في فهم ماذا يطبخ ولما يطبخ (الرؤية واللغة). ومع ذلك، إذا طلبت منه الطبخ في مطبخ جديد تماماً بمجموعة مختلفة من القدور، وموقد مختلف، وطريقة مختلفة في إمساك السكين، فقد يتجمد مكانه. قد يحاول استخدام ملعقة مسطحة (spatula) كأنها مطرقة لأنه لم يسبق له رؤية تصميم هذا المطبخ المحدد من قبل.

هذه هي المشكلة الحالية مع روبوتات الذكاء الاصطناعي (Robot AI). لدينا نماذج ذكية تفهم العالم، لكنها "مقترنة ارتباطاً وثيقاً" بالروبوت المحدد الذي تدربت عليه. إذا قمت بتغيير ذراع الروبوت أو الكاميرا، سيتعطل الذكاء الاصطناعي ويحتاج إلى إعادة تعليم من الصفر—وهي عملية بطيئة ومكلفة.

حل الورقة البحثية: "LAP" (التدريب المسبق للغة-الفعل)

استخدم المؤلفون في هذه الورقة، من جامعة برينستون وشركة Physical Intelligence، حيلة بسيطة ولكنها قوية تسمى LAP.

الفكرة الجوهرية: تحدث لغة الروبوت (حرفياً)

تحاول معظم روبوتات الذكاء الاصطناعي التعلم عن طريق إخراج أرقام خام (مثل "حرك المحرك 3 إلى الموضع 4.52"). هذا يشبه محاولة تعليم إنسان القيادة من خلال إعطائه قائمة من الجهود الكهربائية الخام لدواسة الوقود. إنه أمر دقيق، لكنه صعب التعميم.

تقوم تقنية LAP بتغيير قواعد اللعبة عبر تعليم الذكاء الاصطناعي وصف حركات الروبوت بلغة إنجليزية بسيطة.

بدلاً من إخراج أرقام خام، يتعلم الذكاء الاصطناعي قول أشياء مثل:

"تحرك للأمام 5 سنتيمترات."
"أمل الذراع 30 درجة إلى اليمين."
"أمسك الكوب."

التشبيه: "المترجم العالمي"

فكر في جسم الروبوت (الذراع، القابض، العجلات) كأنه بلد أجنبي.

الذكاء الاصطناعي القديم: يحاول الذكاء الاصطناعي تعلم اللهجة المحلية لكل بلد يزوره. إذا انتقل إلى بلد جديد (روبوت جديد)، فعليه البدء في تعلم اللهجة من الصفر.
ذكاء LAP: يتعلم ذكاء LAP مترجماً عالمياً. هو لا يهتم باللهجة المحددة لمحركات الروبوت الخاصة به. هو فقط يتحدث اللغة العالمية لـ "الفعل".

عندما يريد الذكاء الاصطناعي تحريك الروبوت، فإنه لا يقول: "أدر المحرك A بزاوية 45 درجة". بل يقول: "تحرك للأمام".

إذا كان الروبوت من نوع Franka arm، فإن "تحرك للأمام" تعني تحريك مفاصله المحددة للذهاب للأمام.
إذا كان الروبوت من نوع Kinova arm، فإن "تحرك للأمام" تعني تحريك مفاصله المختلفة للذهاب للأمام.

لأن الذكاء الاصطناعي تعلم مفهوم "التحرك للأمام" باللغة الإنجليزية (التي يعرفها بالفعل من تدريبه المسبق الضخم على الإنترنت)، فإنه يستطيع تطبيق هذا المفهوم فوراً على روبوت لم يره من قبل.

لماذا يعد هذا أمراً هاماً

النقل الصفري (لحظة "السحر"): تُظهر الورقة البحثية أن نموذجهم، LAP-3B، يمكن تسليمه روبوتاً جديداً تماماً لم يره في حياته، ويمكنه البدء فوراً في تنفيذ مهام مثل فرز الأشياء أو طي المناشف.
- النتيجة: حقق نسبة نجاح بلغت 52% على روبوتات جديدة تماماً دون أي إعادة تدريب.
- المقارنة: فشلت النماذج السابقة التي كانت تمثل أحدث ما توصل إليه العلم (State-of-the-art) تماماً (0% نجاح) في تجربة هذه الروبوتات الجديدة نفسها. إنه يشبه الفرق بين طباخ يمكنه الطبخ فوراً في مطبخ جديد وبين طباخ يرفض الدخول إليه.
لا حاجة إلى "مجزئ" (Tokenizer): عادةً، لجعل الذكاء الاصطناعي يفهم الأرقام، يبني المهندسون "مجتزئات" معقدة (قواميس خاصة) لترجمة الأرقام إلى كلمات يفهمها الذكاء الاصطناعي. يتخطى LAP هذا الأمر تماماً؛ فهو يستخدم اللغة الطبيعية التي يعرفها الذكاء الاصطناعي بالفعل. الأمر يشبه استخدام قاموس تمتلكه بالفعل بدلاً من شراء قاموس جديد لكل لغة تزورها.
الكفاءة: حتى عندما يحتاجون فعلياً إلى ضبط النموذج (fine-tuning) لمهمة أصعب، يتعلم LAP-3B بسرعة أكبر بـ 2.5 مرة ويحتاج إلى بيانات أقل بـ 2.5 مرة من الطرق السابقة. إنه يشبه تعلم الطباخ لوصفة جديدة في 10 دقائق بدلاً من 25 دقيقة.

كيف يعمل (الخلطة السرية)

النموذج هو هجين:

الدماغ (VLM): نموذج لغوي ضخم "يفكر" بالإنجليزية. ينظر إلى بث الكاميرا والتعليمات، ثم "يفكر" في الفعل بالإنجليزية: "حسناً، أحتاج إلى تحريك القابض 3 سم للأمام."
الأيدي (خبير الفعل): وحدة صغيرة وسريعة تأخذ هذه الجملة الإنجليزية وتحولها فوراً إلى أوامر المحرك المحددة المطلوبة لهذا الروبوت تحديداً لتنفيذ الحركة.

هذا الفصل يسم يسمح لـ "الدماغ" بأن يظل ذكياً وعاماً، بينما تتولى "الأيدي" التعامل مع الميكانيكا المحددة للروبوت.

الخلاصة

تحل هذه الورقة البحثية عقبة رئيسية في مجال الروبوتات. لسنوات طويلة، كنا نبني أدمغة روبوتات ذكية لكنها عالقة في جسد محدد. LAP يمنح الدماغ لغة عالمية، مما يسمح له بالخروج من جسد تدريبه والعمل مع أي جسم روبوت، فوراً.

إنه الفرق بين تعليم طيار الطيران فقط على طائرة بوينج 747، وبين تعليمه مبادئ الطيران بحيث يمكنه القفز إلى طائرة سيسنا، أو مروحية، أو طائرة بدون طيار والإقلاع فوراً.

إليك ملخص تقني مفصل لورقة البحث بعنوان "LAP: التدريب المسبق للغة والعمل يُمكّن النقل عبر الأجساد في وضع الصفر (Zero-shot Cross-Embodiment Transfer)."

1. بيان المشكلة

الهدف الأساسي لنماذج الروبوتات التأسيسية هو إنشاء سياسة "عامة" قادرة على التحكم في أجساد روبوتية متنوعة (أجهزة مختلفة، مقابض، أماكن كاميرات مختلفة) دون الحاجة إلى ضبط دقيق لكل روبوت على حدة. وبينما حققت نماذج الرؤية واللغة والعمل (VLA) تقدماً كبيراً من خلال الاستفادة من نماذج الرؤية واللغة (VLMs) المدربة مسبقاً، إلا أنها تعاني حالياً من قصور حرج: ضعف النقل عبر الأجساد في وضع الصفر (zero-shot cross-embodiment transfer).

العائق: ترتبط نماذج VLA الحالية ارتباطاً وثيقاً بالأجساد التي تدرّبت عليها. فحتى مع التدريب المسبق واسع النطاق على أجساد متعددة، فإنها تفشل عادةً في التعميم على روبوتات جديدة ذات اختلافات بسيطة في العتاد (مثل مقبض مختلف أو موقع كاميرا المعصم) دون عملية ضبط دقيق مكلفة خاصة بكل جسد.
السبب الجذري: غالباً ما تجبر تدريبات VLA القياسية نماذج VLM المدربة مسبقاً على التنبؤ بأوامر حركية مستمرة خام (زوايا المفاصل أو وضعيات نهاية المسار) ممثلة برموز عشوائية أو مجردة. هذا يخلق عدم تطابق في التوزيع (distributional mismatch) بين التدريب المسبق لنموذج VLM (اللغة الطبيعية) وهدف الضبط الدقيق (التحكم الحركي)، مما يتسبب في فقدان النموذج لتمثيلاته الدلالية القابلة للتعميم والإفراط في التكيف (overfitting) مع تكوينات العتاد المحددة.

2. المنهجية: التدريب المسبق للغة والعمل (LAP)

يقترح المؤلفون LAP، وهو وصفة للتدريب المسبق تسد الفجوة بين الفهم الدلالي عالي المستوى والتحكم الحركي منخفض المستوى عن طريق تمثيل الأفعال مباشرة باستخدام اللغة الطبيعية.

المفهوم الجوهري: الأفعال اللغوية (Language-Actions)

بدلاً من التنبؤ بقيم مستمرة خام أو رموز مجردة، يقوم LAP بتدريب نموذج VLM على التنبؤ بـ الأفعال اللغوية: وهي أوصاف باللغة الطبيعية مهيكلة للأثر الصافي لحركة الروبوت.

التنسيق: يتم تحليل الأفعال من مسارات نهاية المسار المستمرة إلى قوالب مثل: "تحرك للأمام 5 سم،" "مل بجانب اليمين 30 درجة،" أو "دُر باتجاه عقارب الساعة 45 درجة."
الاشتقاق: يتم توليد هذه الأفعال بشكل حتمي من بيانات الروبوت باستخدام اصطلاحات إحداثيات وقوالب ثابتة، مما لا يتطلب أي تسمية يدوية ولا يتطلب مُرمزاً (tokenizer) متعلمًا.
الفائدة: يحافظ هذا على إشارة الإشراف ضمن نطاق التوزيع الخاص بالتدريب المسبق لنموذج VLM (اللغة الطبيعية)، مما يحافظ على التجذر الدلالي ويسمح بالانتقال عبر الأجساد الفيزيائية المختلفة.

بنية النموذج: LAP-3B

لمعالجة عدم كفاءة توليد اللغة التتابعي (autoregressive) للتحكم في الوقت الفعلي، قام المؤلفون بتطبيق LAP كنموذج LAP-3B، وهي بنية هجينة مستوحاة من $\pi_{0.5}$ :

العمود الفقري لـ VLM: نموذج PaliGemma-3B مدرب عبر خسارة الإنتروبيا المتقاطعة (Cross-Entropy Loss) للتنبؤ برموز الأفعال اللغوية. يتعلم هذا المكون التمثيل القابل للتعميم.
خبير العمل (Action Expert): وحدة خفيفة الوزن تعتمد على الانتشار (diffusion-based/flow-matching)، تتنبأ بإشارات تحكم مستمرة وعالية التردد.
عزل المعرفة: يتم منع تدفق التدرجات (gradients) من خبير العمل للعودة إلى العمود الفقري لـ VLM. يضمن ذلك تدريب VLM حصرياً على الإشراف اللغوي، مما يمنع "النسيان الكارثي" للمعرفة البصرية-الدلالية المدربة مسبقاً.
الاستنتاج: عند التشغيل، يولد VLM خطة عمل لغوية منخفضة التردد، والتي ينفذها خبير العمل كمسار مستمر بتردد 25 هرتز.

بيانات التدريب والتدريب المشترك

مجموعات البيانات: تم التدريب على مجموعات بيانات Open X-Embodiment (OXE) و MolmoAct.
التدريب المشترك: يدعم الإطار بطبيعته التدريب المشترك مع مهام الإجابة على الأسئلة البصرية (VQA) (مثل "توقع الحركة")، حيث يتنبأ النموذج بالحركة اللغوية التي تصف الإزاحة بين إطارين صوريين. وهذا يوحد هدف التعلم بشكل أكبر.

3. المساهمات الرئيسية

إطار عمل LAP: وصفة تدريب مسبق مبتكرة تمثل أفعال الروبوت منخفضة المستوى كلغة طبيعية، مما يحل مشكلة عدم التطابق في التوزيع في تدريب VLA القياسي.
LAP-3B: أول VLA يحقق نقلاً جوهرياً في وضع الصفر (zero-shot transfer) إلى أجساد روبوتية لم يسبق رؤيتها دون أي ضبط دقيق خاص بكل جسد.
الكفاءة: يثبت أن تمثيلات الأفعال اللغوية تتيح استخدام عدد أقل بـ 2.5 مرة من العروض التوضيحية (demonstrations) وخطوات تدرج أقل للضبط الدقيق للروبوتات الجديدة مقارنة بالنماذج المرجعية المتطورة.
القابلية للتوسع: يظهر سلوك توسع إيجابي حيث يتحسن الأداء بشكل رتيب مع زيادة حجم النموذج (من 4B إلى 27B)، بينما تصل الطرق المرجعية إلى مرحلة التشبع أو التدهور.

4. النتائج التجريبية

قام المؤلفون بتقييم LAP-3B عبر أربعة أجساد روبوتية (واحد مرئي وثلاثة غير مرئية) وعشر مهام تلاعب في العالم الحقيقي.

أداء وضع الصفر (Zero-Shot Performance):
- في الأجساد غير المرئية (Custom Franka, YAM, Kinova)، حقق LAP-3B متوسط معدل نجاح أعلى من 50%.
- يمثل هذا تحسناً بمقدار ضعفين (زيادة مطلقة بنحو 30%) عن أقوى النماذج المرجعية السابقة (مثل $\pi_{0.5}$ و OpenVLA و X-VLA).
- والأهم من ذلك، أن جميع نماذج VLA المفتوحة المصدر المرجعية انهارت إلى نجاح يقارب 0% على الروبوتات غير المرئية، بينما حافظ LAP-3B على أداء قوي.
كفاءة الضبط الدقيق (Fine-Tuning Efficiency):
- في المحاكاة (اختبار LIBERO)، وصل LAP-3B إلى الأداء الأمثل في جزء بسيط من الخطوات التي تتطلبها النماذج المرجعية.
  | في الروبوتات الحقيقية، حقق LAP-3B أداءً في المهام يضاهي النماذج المرجعية باستخدام عروض توضيحية أقل بـ 2.5 مرة.
تحليل التمثيل:
- تصوير t-SNE: أظهرت التمثيلات المكتسبة لـ LAP-3B تداخلاً كبيراً بين الأجساد التدريبية وغير المرئية، مما يشير إلى تعلم مستقل عن الجسد. بينما شكلت النماذج المرجعية مجموعات (clusters) متميزة وغير متداخلة.
- خطأ التنبؤ: حافظ LAP-3B على خطأ تنبؤ أقل في الأفعال في مجموعات البيانات غير المرئية المحجوزة طوال فترة التدريب، مما يشيد بديناميكيات أكثر استقراراً وقابلية للتعميم.
التوسع (Scaling): مع زيادة حجم النموذج من 4B إلى 27B بارامتر، أظهر LAP-3B انخفاضاً مستمراً في الخسارة وزيادة في الأداء، بينما أظهر النموذج المرجعي (المكرر من $\pi_{0.5}$ ) تشبعاً مبكراً.

5. الأهمية والأثر

تحول في النموذج (Paradigm Shift): تتحدى الورقة النهج السائد باستخدام الرموز المجردة أو الإحداثيات الخام للتحكم في الروبوت. فهي تثبت أن اللغة الطبيعية هي واجهة متفوقة لمواءمة التحكم الحركي مع المعرفة الدلالية المدربة مسبقاً.
دمقرطة الروبوتات: من خلال تمكين النقل في وضع الصفر، يقلل LAP من حاجز نشر النماذج التأسيسية على أجهزة جديدة. فهو يلغي الحاجة إلى الضبط الدقيق المكلف والمستهلك للبيانات لكل نوع جديد من الروبوتات.
تمثيل موحد: يوحد LAP التنبؤ بالفعل وبين VQA، مما يشير إلى مسار نحو وكلاء عامين حقاً يمكنهم التفكير والتواصل والعمل ضمن مساحة تمثيل واحدة قائمة على اللغة ومتماسكة.
الاتجاهات المستقبلية: يشير المؤلفون إلى أنه بينما يعمل LAP بشكل جيد مع أذرع المناولة المفردة، فإنه قابل للتكيف بسهما مع الروبوتات ثنائية اليد، ويمكنه الاستفادة من مصادر بيانات أقل دقة (مثل تتبع وضعية الإنسان، وفيديوهات الإنترنت) نظراً لمرونة الأوصاف اللغوية تجاه الضجيج.

باختصار، يوفر LAP حلاً بسيطاً وقوياً لـ "فجوة الجسد" في الروبوتات، مثبتاً أن تمثيل الأفعال بلغة طبيعية يسمح للنماذج التأسيسية بالتعميم عبر العالم الفيزيائي دون الحاجة لإعادة التدريب.