Action-aligned Representation Geometry in Vision–Language–Action Models

لم تعد الروبوتات التي يمكنها الرؤية، وفهم اللغة، وتحريك أجسادها بنفسها مجرد خيال علمي؛ بل هي محور مجال متنامٍ بسرعة يُعرف بالذكاء الاصطنا-ي المتجسد. لسنوات، كافح الباحثون لتعليم الآلات كيفية ترجمة جملة بسيطة مثل "التقط الكوب" إلى الحركات الدقيقة والمستمرة لذراع ميكانيكية. يعتمد النهج الحديث الأكثر نجاحاً على تدريب نماذج حاسوبية ضخمة على مكتبات هائلة من العروض التوضيحية بالفيديو، وهي عملية تسمى "نسخ السلوك". هذه النماذج، التي تُسمى غالباً أنظمة "الرؤية واللغة والفعل" (Vision-Language-Action)، تعمل بمثابة دماغ الروبوت، حيث تستقبل الصور والنصوص وتخرج تسلسلاً من الأوامر. ومع ذلك، فبينما أصبحت هذه الأنظمة قادرة بشكل متزايد، لا تزال آليات عملها الداخلية لغزاً. نحن نعلم أنها تعمل، لكننا لا نفهم حقاً كيف تنظم فيض المعلومات البصرية واللغوية التي تتلقاها لاتخاذ قرار بشأن حركة بدنية محددة. وبدون هذا الفهم، يصعب معرفة سبب فشل الروبوت، أو كيفية إصلاحه، أو كيفية جعله أكثر موثوقية.

لقد تمكن فريق من الباحثين في جامعة هارفارد الآن من كشف الستار عن هذا "الصندوق الأسود"، كاشفين عن بنية مفاجئة ومنظمة مختبئة داخل هذه النماذج المعقدة. ومن خلال دراسة كيفية معالجة هذه الأدمغة الاصطناعية للمعلومات، اكتشف العلماء أنه بينما تتعلم النماذج أداء المهام، فإن تمثيلاتها الداخلية للعالم لا تظل عبارة عن فوضى عارمة. بدلاً من ذلك، تترتب تلقائياً في نمط هندسي عالي التنظيم يتوافق تماماً مع الأفعال التي يحتاج الروبوت للقيام بها. يشير هذا الاكتشاف إلى أن سر نجاح الروبوت لا يكمن فقط في البيانات التي يراها، بل في كيفية تنظيمها داخلياً إلى خريطة واضحة ومتوقعة حيث تُجمع الأفعال المتشابهة معاً وتُفصل الأفعال المتميزة عن بعضها البعض.

استقصى الباحثون هذه الظاهرة باستخدام إطار عمل تم تطويره في الأصل لدراسة كيفية تعلم شبكات التعرف على الصور البسيطة، والمعروف باسم "الانهيار العصبي" (neural collapse). وفي سياق الروبوتات، يصف هذا المفهوم حالة تصبح فيها "أفكار" النموذج الداخلية المتعلقة بفعل معين مدمجة ومتسقة للغاية. تخيل غرفة مليئة بالناس يحاولون إيجاد طريقهم إلى مخارج مختلفة؛ في حالة غير منظمة، يتجول الناس عشوائياً. ولكن مع تعلمهم للمخطط، يتجمع كل من يتجه إلى نفس الباب معاً بشكل وثيق، بينما تبتعد المجموعات المتجهة إلى أبواب مختلفة، مما يشكل خريطة واضحة ومنظمة. وجد فريق هارفارد أن نماذج "الرؤية واللغة والفعل" تمر بتحول مماثل. فبينما يتم تدريبها على آلاف العروض التوضيحية الروبوتية، تبدأ الإشارات الداخلية التي تتوافق مع نفس الحركة البدنية — مثل "إمساك المقبض" — في الانهيار إلى مجموعات متراصة ومتجانسة. وفي الوقت نفسه، تنظم الإشارات الخاصة بالحركات المختلفة، مثل "ضغط الزر" مقابل "رفع الصندوق"، نفسها في ترتيب متوازن ومتماثل يجعل من السهل على النموذج اختيار المسار الصحيح.

لم يكن هذا النظام الهندسي وليد صدفة في تجربة واحدة. فقد اختبر الباحثون ذلك عبر مجموعة واسعة من النماذج الروبوتية، وطرق مختلفة لتحويل الحركات المستمرة إلى تعليمات رقمية، ومهام متنوعة تتراوح من تكديس الكتل إلى تنظيف الطاولة. ولاحظوا ظهور النمط نفسه باستمرار: فكلما تحسن أداء الروبوت، أصبحت الهندسة الداخلية أكثر تنظيماً. لم تكن النماذج تحفظ أمثلة محددة فحسب، بل كانت تتعلم قاعدة أساسية حول كيفية تجميع الأفعال. ظهر هذا الهيكل تدريجياً مع تدريب النماذج، بدءاً من الطبقات الأولى للشبكة وصولاً إلى كونه أكثر وضوحاً في الطبقات النهائية قبيل اتخاذ الروبوت لقرار الحركة. كما أكد الباحثون أن هذا النظام كان خاصاً بالمهمة المعنية؛ فعندما استبدلوا تسميات الأفعال الصحيحة بأخرى عشوائية، فشل الهيكل الهندسي في التشكل، مما أثبت أن هذا التنظيم كان مدفوعاً بالهدف الفعلي للتحكم في الروبوت، وليس بمجرد ميل عام للحاسوب لتجميع البيانات.

ولإثبات أن هذا الهيكل الهندسي لم يكن مجرد عرض جانبي لكيفية تفكير الروبوت، بل كان جزءاً جوهرياً منه، قام الفريق بسلسلة من التدخلات الدقيقة. لقد أخذوا نموذج روبوت مدرب، وأثناء تشغيله، قاموا بإزعاج إشاراته الداخلية بشكل طفيف. وعندما عطلوا التكتل الوثيق للأفعال المتشابهة أو بعثروا ترتيب مجموعات الأفعال المختلفة، تضرر أداء الروبوت فوراً وارتكب المزيد من الأخطاء. وعلى العكس من ذلك، عندما قاموا بتعديل الإشارات لتعزيز هذا النظام الهندسي الطبيعي، ظل سلوك الروبوت مستقراً ودقيقاً. وقد قدم هذا دليلاً قوياً على أن الهندسة المنظمة هي ضرورة وظيفية لكي يتخذ الروبوت قرارات جيدة. إنها ليست مجرد نتاج ثانوي للتعلم، بل هي الآلية التي يستخدمها النموذج للانتقال من مشهد بصري إلى فعل ناجح.

كما سلطت الدراسة الضوء على سبب جعل تغذية الروبوتات بمزيد من البيانات يجعلها أكثر ذكاءً. فقد درب الباحثون النماذج على كميات مختلفة من بيانات العروض التوضيحية ووجدوا رابطاً مباشراً بين كمية البيانات وجودة الهندسة الداخلية. طورت النماذج المدربة على مجموعات بيانات أكبر هياكل هندسية أكثر دقة وتنظيماً ومتانة. يشير هذا إلى أن فائدة البيانات الضخمة لا تقتصر فقط على رؤية المزيد من الأمثلة، بل في منح النموذج معلومات كافية لبناء خريطة داخلية أكثر وضوحاً وموثوقية للعالم. فكلما رأى النموذج المزيد من البيانات، زادت قدرته على تنظيم فهمه للأفعال، مما يؤدي إلى سلوك أكثر اتساقاً ونجاحاً.

تقدم هذه النتائج طريقة جديدة للنظر في ذكاء الآلات. فبدلاً من النظر إلى هذه النماذج كأنظمة غامضة تقوم ببساطة بربط المدخلات بالمخرجات، يمكننا الآن رؤيتها كأنظمة تبني مشهداً هيكلياً متوافقاً مع الأفعال. في هذا المشهد، يكون الطريق نحو حركة ناجحة ممهداً بهندسة تجمع طبيعياً السلوكيات المتشابهة وتفصل بين المختلفة. يوفر هذا الاكتشاف أداة قوية للباحثين لتشخيص سبب فشل الروبوت، ولمقارنة التصاميم المختلفة للنماذج، وفهم كيفية تعميم هذه الأنظمة في مواقف جديدة. ومن خلال الكشف عن النظام الخفي داخل فوضى التعلم الروبوتي، يقربنا هذا العمل خطوة أخرى نحو بناء آلات ليست قادرة فحسب، بل أيضاً مفهومة وموثوقة كشركاء في العالم المادي.