Lost in Reconstruction: Aligning Action Representations with Language in Vision-Language-Action Models

تخيل أنك تعلم روبوتًا كيفية الطبخ. قد تعتقد أن أهم شيء يجب أن تخبره به هو شكل الطبق النهائي: "يجب أن يكون الحساء ساخنًا وفي الوعاء". ولكن ماذا لو كان الروبوت يهتم فقط بالصورة النهائية؟ قد يحاول إيصال الحساء إلى الوعاء عن طريق رميه في الهواء، مما يتسبب في تناثر الحساء في كل مكان، أو حتى إسقاط القدر. لكي يطبخ بشكل صحيح، يحتاج الروبوت إلى فهم ليس فقط الوجهة، بل رقصة الحركة نفسها—التحريك اللطيف، السكب الحذر، والطريقة المحددة لإمساك المقبض. هذا هو عالم نماذج الرؤية واللغة والفعل (VLA). هذه النماذج هي عقول ذكاء اصطناعي فائقة الذكاء تجمع بين ما يراه الروبوت (الرؤية)، وما يُقال له فعله (اللغة)، وكيف يحرك جسده (الفعل). لفترة طويلة، كان العلماء بارعين في تعليم الروبوتات فهم "الماهية" و"أين"، لكنهم واجهوا صعوبة في تعليم الروبوت "كيفية" القيام بالأمر. لقد حاولوا ترجمة حركات الروبوت المعقدة والمستمرة إلى قائمة بسيطة من التعليمات، ولكن في القيام بذلك، ربما حذفوا دون قصد الجزء الأكثر أهمية في الوصفة: أسلوب ونبرة الحركة.

هذه الورقة البحثية، التي تحمل عنوان "ضائع في إعادة البناء" (Lost in Reconstruction)، تتناول مشكلة محددة في كيفية تعليم أدمغة الروبوتات كيفية الحركة. وجد الباحثون أنه عندما نحول حركات الروبوت الانسيابية والمستمرة إلى قائمة من "الرموز" الرقمية (Tokens) (مثل تحويل أغنية إلى قائمة من النوتات الموسيقية)، فإن الطريقة القياسية تلقائياً تتخلص من القرائن التي تخبر الروبوت أي فعل يتم تنفيذه. اكتشفوا أن كلمات مثل "اقلب" أو "ادفع" أو "اطوِ" تحمل معلومات خفية في طريقة حركة الروبوت، وليس فقط في المكان الذي ينتهي إليه. ومن خلال إصلاح الطريقة التي تُترجم بها هذه الحركات إلى كود رقمي، ابتكروا نظامًا جديدًا يسمى SALT (المُرمز الفعلي المتوافق دلاليًا - Semantically ALigned action Tokenizer). في اختباراتهم، كانت الروبوتات التي تستخدم SALT أفضل بكثير في اتباع التعليمات، حيث نجحت في المهام بنسبة 72% تقريبًا مقارنة بأقل من 43% للطرق القديمة. تشير الورقة إلى أنه لكي تفهم الروبوتات اللغة البشرية حقًا، نحتاج إلى التأكد من أن "مفردات الحركة" الخاصة بها تحافظ على معنى الأفعال حية، بدلاً من التركيز فقط على مدى دقة إعادة رسم المسار.

المشكلة: عندما تضيع "الكيفية" في "الماهية"

فكر في حركة الروبوت كأنها نهر مستمر ومتدفق. لتعليم روبوت باستخدام نموذج الرؤية واللغة والفعل، يتعين على العلماء غالبًا تحويل هذا النهر المتدفق إلى سلسلة من أحجار الخطوات. إنهم يجزئون الحركة إلى قطع صغيرة ويخصصون لكل قطعة ملصقًا رقميًا، أو "رمزًا" (Token). الأمر يشبه تحويل مقطوعة جاز سلسة إلى قائمة من الأرقام لكي يتمكن الكمبيوتر من قراءتها.

المشكلة هي أن الطريقة القياسية في القيام بذلك مهووسة بـ إعادة البناء (Reconstruction). فهي تسأل: "هل يمكننا تحويل هذه الأرقام مرة أخرى إلى نفس النهر تمامًا؟". إذا كانت الأرقام قريبة بما يكفي من الحركة الأصلية، يقول النظام: "عمل جيد!". لكن الباحثين أدركوا أن كون الشيء "قريبًا بما يكفي" لا يعني بالضرورة أنه "ذو معنى".

تخيل أنك تصف رقصة. يمكنك القول: "تحرك الراقص من النقطة (أ) إلى النقطة (ب)". هذا هو الهدف. لكن الفعل—سواء كان "انزلق"، أو "ضرب بقدمه"، أو "دار"—مخفي في تفاصيل الحركة. تجادل الورقة بأن أنظمة الروبوت الحالية تشبه المترجم الذي يهتم فقط بالوجهة. قد يحولون حركة "القلب" و"الدفع" إلى نفس مجموعة أحجار الخطوات إذا انتهى كلاهما في نفس المكان، رغم أن الحركتين مختلفتان تمامًا. يفقد النظام معلومات "ربط الفعل" (verb-grounding)—وهي القرائن التي تخبر الروبوت كيف يقوم بالإجراء.

الاكتشاف: الأفعال تعيش في الحركة

لإثبات ذلك، فحص الباحثون مجموعة بيانات ضخمة لروبوتات حقيقية يتم التحكم فيها من قبل بشر، حيث تم اقتران كل حركة بتعليمات منطوقة مثل "ضع الملعقة على المنشفة" أو "اقلب الفطيرة". قاموا بتفكيك التعليمات إلى أفعال وحللوا حركات الروبوت.

وجدوا مصدرين متميزين للمعلومات:

1. الهدف: التغيير البصري بين البداية والنهاية (على سبيل المثال، الملعقة الآن على المنشفة).
2. ديناميكيات الحركة: المسار الفعلي الذي اتخذه الروبوت للوصول إلى هناك (على سبيل المثال، السرعة، المنحنى، توقيت القابض).

تظهر الورقة أن هذين المصدرين يكملان بعضهما البعض. بالنسبة لبعض الأفعال، مثل "اطوِ"، يكون الشكل النهائي هو القرينة الأكثر أهمية. ولكن بالنسبة لأفعال أخرى، مثل "اقلب" أو "در"، فإن الطريقة التي يتحرك بها الروبوت هي الشيء الوحيد الذي يخبرك ما هو الفعل. لا يمكنك التمييز بين "القلب" و"الدفع" بمجرد النظر إلى نقاط البداية والنهاية؛ يجب عليك مشاهدة الحركة. قاس الباحثون هذا ووجدوا أن ديناميكيات الحركة قدمت معلومات فريدة لا يمكن للهدف البصري وحده التقاطها. في الواقع، بالنسبة لبعض الأفعال، حملت الحركة حوالي 0.059 بت من المعلومات الفريدة—وهي كافية لإحداث فرق هائل في فهم التعليمات.

الخطأ: الضغط يمحو المعنى

اختبر الباحثون بعد ذلك مدى جودة الطرق المختلفة لتحويل الحركات إلى رموز رقمية في الحفاظ على معلومات "الفعل" هذه. لقد نظروا في ثلاث طرق شائعة للقيام بذلك:

• التقسيم إلى حاويات (Bin): ببساطة تقسيم الحركة إلى حاويات ذات حجم ثابت.
• FAST: ضغط الحركة إلى أنماط ترددية.
• VQ-VAE: تعلم مجموعة من "أحجار الخطوات" من خلال محاولة إعادة بناء الحركة بدقة قدر الإمكان.

وجدوا أنه مع ضغط هذه الأنظمة للبيانات لجعلها أصغر (رموز أقل)، فإنها تمحو معلومات الفعل بشكل منهجي. كان الأمر يشبه عصر الإسفنج: بينما تعصر الماء (البيانات)، فإنك تعصر أيضًا الشكل (المعنى). الطرق التي تهتم بـ "إعادة البناء فقط"، والتي تهتم فقط بإعادة بناء المسار بدقة، فشلت في الحفاظ على القرائن اللغوية. اتسعت الفجوة بين الحركة الأصلية والنسخة المرمزة كلما أصبح الضغط أقوى. تجادل الورقة بأن هذا يمثل عنق زجاجة: إذا لم تكن لغة الحركة الداخلية للروبوت متطابقة مع لغة الحركة البشرية، فسيواجه الروبوت صعوبة في اتباع التعليمات.

الحل: SALT

لإصلاح ذلك، قدم المؤلفون SALT (المُرمز الفعلي المتوافق دلاليًا). بدلاً من مجرد تعليم الروبوت كيفية إعادة بناء الحركة، أضافوا قاعدة جديدة: "يجب أن تكون قادرًا أيضًا على تخمين التعليمات من الحركة".

إليك كيف يعمل الأمر في تشبيه بسيط: تخيل أنك تعلم طالبًا كيفية رسم لوحة.

• الطريقة القديمة: تقول للطالب: "ارسم هذه اللوحة بحيث تبدو تمامًا مثل الأصل". سيركز الطالب على ضبط الخطوط.
• طريقة SALT: تقول للطالب: "ارسم هذه اللوحة بحيث تبدو مثل الأصل، وأيضًا إذا عرضت رسمك على صديق، يجب أن يكون قادرًا على تخمين ما الذي يفترض أن تكون عليه اللوحة".

من الناحية التقنية، يأخذ SALT "أحجار الخطوات" الرقمية للحركة ويغذيها في نموذج لغة مسبق التدريب وثابت. يجب على النموذج تخمين التعليمات الأصلية (مثل "اقلب الكوب") بناءً فقط على تلك الأحجار. إذا كانت أحجار الخطوات لا تحتوي على معلومات كافية لتخمين التعليمات، يتلقى النظام عقوبة. هذا يجبر الروبوت على تنظيم رموز الحركة الخاصة به بطريقة تحافظ على معلومات "الفعل" آمنة، حتى وهي تتعلم إعادة بناء الحركة بدقة.

النتائج: روبوتات أفضل، ومعانٍ أوضح

اختبر الباحثون هذا النظام الجديد في محاكاة تسمى SimplerEnv، حيث كان على الروبوت أداء أربعة مهام مختلفة، مثل وضع ملعقة على منشفة أو تكديم المكعبات. قارنوا بين ثلاث نسخ من الروبوت:

1. روبوت يستخدم مُرمز FAST القياسي.
2. روبوت يستخدم مُرمز VQ-VAE القياسي (إعادة بناء فقط).
3. روبوت يستخدم مُرمز SALT الجديد.

كانت النتائج واضحة. نجح الروبوت المزود بـ SALT في 71.9% من المحاولات. أما روبوت VQ-VAE القياسي فقد نجح في 42.7% فقط، بينما حقق روبوت FAST نسبة 31.2% فقط.

لكن الأمر لم يكن يتعلق فقط بالفوز في المزيد من الألعاب. نظر الباحثون داخل "دماغ" الروبوت ليروا كيف ينظم مفردات الحركة الخاصة به. وجدوا أن SALT طور أكوادًا متخصصة للأفعال. على سبيل المثال، أصبحت رموز رقمية محددة مخصصة للغاية لعملية "القلب" أو "الدوران". في المقابل، قامت الطرق القديمة بتوزيع هذه الحركات عبر رموز عامة ومختلطة. بل إن SALT تعلم تجميع طرق مختلفة لقول الشيء نفسه (مثل "أدر الرافعة" و"حرك الرافعة عموديًا نحو الأمام") تحت نفس كود الحركة، مما يظهر أنه فهم المعنى وليس فقط الكلمات السطحية.

ماذا يعني هذا؟

تشير الورقة إلى أنه لكي تفهم الروبوتات اللغة البشرية وتتبعها حقًا، لا يمكننا التركيز فقط على جعل حركاتها تبدو صحيحة. يجب أن نتأكد من أن تمثيلها الداخلي للحركة يحافظ على التمايزات اللغوية التي يصنعها البشر. من خلال مواءمة رموز فعل الروبوت مع اللغة التي تصفها، يمكننا بناء روبوتات ليست أكثر دقة فحسب، بل أكثر حدسية أيضًا. يشير المؤلفون إلى أنه على الرغم من أن هذه النتائج واعدة، إلا أنها اختُبرت في محاكاة باستخدام مجموعة بيانات محددة، وسيحتاج العمل المستقبلي إلى معرفة ما إذا كانت هذه المكاسب ستصمد في العالم الحقيقي الفوضوي وغير المتوقع. ومع ذلك، فإن الفكرة الجوهرية—وهي أن الحفاظ على "كيفية" الفعل لا يقل أهمية عن "ماهيته"—تقدم مسارًا جديدًا لجعل الروبوتات تفهمنا حقًا.