💻 computer science

VLAs are Confined yet Capable of Generalizing to Novel Instructions

تُثبت هذه الورقة أن نماذج الرؤية واللغة والعمل (VLAs) يمكنها التغلب على معاناتها مع استقراء المهام والإفراط في التخصيص المكاني من خلال التلاعب بالكمونات النصية الداخلية عبر الاستيفاء، وهي تقنية تحقق معدل نجاح بنسبة 83% في اختبارات التعليمات الجديدة وتكشف عن إمكانية حقن أوامر خفية غير قابلة للقراءة من قبل البشر.

المؤلفون الأصليون: Quanyi Li

نُشر 2026-05-04

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Quanyi Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً طباخاً كيف يطبخ. عرضت عليه وصفتين محددتين:

الوصفة أ: "ضع الجبن الكريمي في الوعاء."
الوصفة ب: "ضع الوعاء فوق الخزانة."

تعلم الروبوت هاتين الحركتين بإتقان. يمكنه تنفيذ الوصفة (أ)، ويمكنه تنفيذ الوصفة (ب). ولكن بعد ذلك، سألته سؤالاً جديداً: "ضع الجبن الكريمي فوق الخزانة."

منطقياً، يجب أن يكون الروبوت قادراً على فعل ذلك. فهو يعرف كيف يمسك الجبن، ويعرف كيف يصل إلى الخزانة. يحتاج فقط إلى دمج مهارتين يمتلكهما بالفعل. ومع ذلك، وفقاً لهذه الورقة البحثية، تفشل معظم عقول الروبوتات المتقدمة (التي تسمى نماذج الرؤية واللغة والعمل - VLAs) فشلاً ذريعاً في هذا الأمر. فهي تتعثر، وتتصرف وكأنها لم ترَ الخزانة أو الجبن من قبل، رغم أنها استخدمتهما في الخطوات السابقة مباشرة.

المشكلة: الروبوت هو "ببغاء"، وليس "طباخاً"

اكتشف المؤلفون أن هذه الروبوتات لا تفهم العالم حقاً. بدلاً من ذلك، هي تحفظ مشاهد محددة.

فكر في الأمر كطالب حفظ إجابات اختبار تجريبي لكنه لم يفهم الرياضيات. إذا سألته: "ما هو 2 + 2؟" سيقول "4". ولكن إذا سألته: "ما هو 2 + 2 إذا كانت الأرقام مكتوبة باللون الأحمر؟" فقد يصاب بالذعر.

في حالة الروبوت، تعلم أن "الجبن الكريمي" مرتبط دائماً بالمكان المحدد على الطاولة الذي رآه فيه أثناء التدريب. إنه لا يفهم أن "الجبن الكريمي" هو جسم يمكنه التحرك؛ بل يعتقد أن "الجبن الكريمي" هو ذلك الموقع المحدد. تطلق الورقة البحثية على هذا الأمر اسم "الإفراط في التخصيص المكاني" (Spatial Overfitting). الروبوت مركز جداً على أين كانت الأشياء في فيديوهات التدريب لدرجة أنه يتجاهل أين توجد الأشياء فعلياً في اللحظة الحالية.

الحل: "بطاقة الوصفة السحرية" (الكمون النصي - Text Latent)

أراد الباحثون معرفة: هل الروبوت ذكي حقاً في أعماقه، أم أنه معطل فحسب؟

وجدوا "مكوناً" مخفياً داخل عقل الروبوت يسمى الكمون النصي (Text Latent).

التشبيه: تخيل أن عقل الروبوت عبارة عن مكتبة ضخمة. عندما تعطيه أمراً مثل "ضع الجبن في الوعاء"، يسحب الروبوت "بطاقة وصفة" محددة وغير مرئية من ذاكرته الداخلية. هذه البطاقة ليست مكتوبة بكلمات يمكنك قراءتها؛ إنها نمط معقد من الإشارات الكهربائية (متجه/vector) يخبر الروبوت بكيفية التحرك بدقة.
الاكتشاف: وجد الباحثون أنهم إذا أخذوا هذه "بطاقة الوصفة" غير المرئية لـ "وضع الأشياء في وعاء" وحقنوها مرة أخرى في عقل الروبوت، فإن الروبوت سينفذ هذا الإجراء بشكل مثالي، حتى لو لم تعطِه أي كلمات. كانت البطاقة هي التعليمات.

الاختراق: خلط البطاقات (استكمال الكمون النصي - Text Latent Interpolation)

حدث السحر الحقيقي عندما حاولوا حل مشكلة "الجبن الكريمي فوق الخزانة".

أخذوا "بطاقة الوصفة" غير المرئية لـ المهمة أ (الجبن إلى الوعاء) وبطاقة المهمة ب (الوعاء إلى الخزانة). ثم قاموا بإنشاء مزيج سلس من البطاقتين.

التشبيه: تخيل أن لديك مسارين موسيقيين يعملان. أحدهما أغنية جاز، والآخر أغنية روك. بدلاً من الانتقال المفاجئ من واحد إلى الآخر، تستخدم جهاز مزج (Mixer) لخفض صوت الجاز ببطء بينما ترفع صوت الروك تدريجياً.
النتيجة: من خلال "خلط" هاتين البطاقتين غير المرئيتين داخل عقل الروبوت، نجح الروبوت في دمج المهارتين. أمسك بالجبن، ونقله إلى الخزانة، ثم وضعه.

الإحصائيات:

بدون هذه الحيلة، نجح الروبوت (الذي يسمى π0) بنسبة 9% فقط في هذه المهام الجديدة والمدمجة.
مع حيلة "الخلط"، قفز النجاح إلى 83%.

أثبت هذا أن الروبوت كان يمتلك المهارات بداخله طوال الوقت؛ لكنه فقط لم يستطع معرفة كيفية دمجها بمفرده. كانت "بطاقات الوصفة" موجودة، لكن الروبوت احتاج إلى إنسان ليساعده على مزجها.

الاختبار الكبير: معيار "Libero-OOD"

لإثبات أن هذا لم يكن مجرد ضربة حظ، أنشأ المؤلفون اختباراً جديداً يسمى Libero-OOD. يحتوي هذا الاختبار على 20 مهمة صعبة حيث يتعين على الروبوت دمج مهارات يعرفها بالفعل بطرق جديدة.

النتيجة: اختبروا أفضل عقول الروبوتات في العالم (مثل UniVLA و OpenVLA و π0-fast). لم يستطع أي منها القيام بذلك بمفرده. جميعها سجلت أقل من 21%.
الاستنتاج: حتى أذكى الروبوتات "عالقة" حالياً في بيانات تدريبها. لا يمكنها التعميم أو "التفكير خارج الصندوق" دون مساعدة.

التحذير: "التعليمات الخاصة"

وجد الباحثون أيضاً شيئاً مخيفاً بعض الشيء. نظرًا لأن "بطاقات الوصفة" هذه هي مجرد أنماط من الأرقام، يمكنك تحويلها مرة أخرى إلى نص.

عندما حاولوا قراءة "بطاقة الوصفة" لمهمة ما، كان النص الناتج عبارة عن كلمات غير مفهومة (مثل QSize, black, plate).
ومع ذلك، إذا قمت بتغذية هذا الهراء مرة أخرى في الروبوت، فسيظل يعمل!
الاستعارة: الأمر يشبه امتلاك شفرة سرية لا يفهمها إلا الروبوت. يمكنك إخفاء تعليمات سرية داخل جملة تبدو طبيعية، وسوف يتبعها الروبوت دون أن يعرف أحد آخر بذلك. يُسمى هذا "الباب الخلفي" (Backdoor)، وهو يوضح أن هذه النماذج أكثر غموضاً مما كنا نعتقد.

الملخص

تخبرنا الورقة البحثية أن أذكى روبوتات اليوم تشبه الموسيقيين الذين يمكنهم عزف أغنيتين ببراعة لكنهم لا يستطيعون ارتجال لحن جديد. إنهم يحفظون النوتات والمواقع الدقيقة من جلسات التدريب الخاصة بهم، لكنهم يفشلون عندما يتغير اللحن قليلاً.

أظهر المؤلفون أنه إذا قمنا بخلط "النوتات الموسيقية" (الكمونات النصية) من أغنيتين مختلفتين يدوياً، فيمكن للروبوت عزف اللحن الجديد. وهذا يثبت أن الروبوت يمتلك الموهبة، لكنه يفتقر إلى القدرة على دمج مهاراته بنفسه. تقدم الورقة البحثية اختباراً جديداً (Libero-OOD) لمساعدة الباحثين على بناء روبوتات يمكنها حقاً تعلم كيفية دمج مهاراتها الخاصة، بدلاً من مجرد حفظ المشاهد.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "نماذج VLA مقيدة ومع ذلك قادرة على التعميم إلى تعليمات جديدة" للباحث كواني لي.

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLAs) أداءً قويًا في المهام الموزعة داخل النطاق (in-distribution) عند ضبطها بدقة باستخدام عروض توضيحية محددة. ومع ذلك، فإنها تعاني بشكل كبير مع المهام خارج النطاق (OOD)، وخاصة تلك التي تتطلب الاستقراء (إعادة دمج المهارات المتعلمة بطرق جديدة).

المشكلة الجوهرية: قد ينجح نموذج VLA في تعلم "وضع الجبن الكريمي في وعاء" و"وضع وعاء على خزانة" بشكل فردي، ولكنه يفشل في تنفيذ المهمة المستقرأة "وضع الجبن الكريمي على الخزانة"، رغم أن العناصر الحركية المكونة (الإمساك، الوصول) قد تم تعلمها بالفعل.
السؤال: هل تكتفي نماذج VLA بالإفراط في ملاءمة مسارات العروض التوضيحية، أم أنها تتعلم تمثيلات داخلية قابلة للتركيب تدعم تعميماً أوسع؟
الفجوة: هناك نقص في المعايير المناسبة لاختبار هذا الأمر، حيث أن مهام OOD الحالية إما صعبة للغاية (مثل تلك التي تتطلب فيزياء جديدة تماماً) أو سهلة للغاية. يقترح المؤلفون أن المعيار الصالح يجب أن يتكون من مهام يُفترض أن يكون النموذج قادراً على حلها عبر دمج المهارات الموجودة، ولكنه يفشل في القيام بذلك ذاتياً.

2. المنهجية

تقدم الورقة إطار عمل يعتمد على التفسير الآلي (Mechanistic Interpretability) لاستقصاء والتلاعب بالحالات الداخلية لنماذج VLA، وتحديداً التركيز على النموذج $\pi_0$ .

أ. استخراج الكامن النصي (Text Latent Extraction)

يفترض المؤلفون أن تمثيلات المهارات الخاصة بالمهمة مشفرة في الحالات الخفية لرموز النص (وصف المهمة).

التعريف: الكامن النصي ( $T$ ) هو متجه خاص بالمهمة يتم اشتقاقه عن طريق متوسط الحالات الخفية لرموز النص عبر جميع طبقات المحول (Transformer) ومن خلال عروض توضيحية متعددة لمهمة معينة.
الاستخراج: $T = \frac{1}{K} \sum_{k=1}^{K} \sum_{i \in B_k} h_T(i)$ ، حيث تمثل $h_T(i)$ الحالات الخفية لرموز النص عند الخطوة الزمنية $i$ .
الوظيفة: حقن $T$ مرة أخرى في التدفق المتبقي (residual stream) للنموذج (تحديداً الحالات الخفية لرموز النص) يمكنه إعادة بناء سلوك المهمة المرتبط بها حتى بدون النص الأصلي.

ب. استكمال الكامن النصي (Text Latent Interpolation - TLI)

لتحقيق الاستقراء، يقترح المؤلفون مزج الكوامن النصية لمهمتين أساسيتين لإنشاء سلوك مركب جديد.

الآلية: بدلاً من استكمال رموز نصية منفصلة (وهو أمر مستحيل)، يقومون باستكمال الكوامن النصية ( $T_1$ و $T_2$ ) داخل التدفق المتبقي.
الصيغة: عند الخطوة الزمنية $i$ ، يتم تعديل الحالة الخفية كالتالي:
$h_T(i) = h_T(i) + [(1-\alpha)T_1 + \alpha T_2] - [(1-\alpha)T_2 + \alpha T_1]$
حيث يتحكم $\alpha = i/\lambda$ في سرعة الانتقال من المهمة 1 إلى المهمة 2.
الأثر: هذا يوجه النموذج للبدء بسلوك المهمة 1 والانتقال بسلاسة إلى المهمة 2، مما يؤدي فعلياً إلى "خياطة" المسارات الفرعية معاً لحل مهمة مستقرأة جديدة.

ج. معيار Libero-OOD

يقدم المؤلفون مجموعة معاييد libero-ood، وهي مجموعة معايير جديدة تحتوي على 20 مهمة مستقرأة مشتقة من مجموعات LIBERO القياسية (libero-goal, libero-spatial, libero-object).

التصميم: تتطلب كل مهمة دمج موقع إمساك تم تعلمه من مهمة ما، مع موقع وضع تم تعلمه من مهمة أخرى. المسار المحدد الذي يربط بين هاتين النقطتين لا يظهر أبداً أثناء التدريب.
الهدف: اختبار ما إذا كانت نماذج VLA يمكنها إعادة دمج تمثيلات المهارات ذاتياً.

3. المساهمات الرئيسية

اكتشاف تمثيلات المهارات القابلة للتركيب: تثبت الورقة أن نماذج VLA (وتحديداً $\pi_0$ ) تمتلك تمثيلات داخلية للمهارات هي فردية ولكنها قابلة للتركيب. وبينما لا يستطيع النموذج دمجها ذاتياً، يمكن إجباره على ذلك عبر التلاعب بالكامن النصي.
استكمال الكامن النصي (TLI): تقنية تدخل وقت الاستدلال تدمج تمثيلات المهام لتمكين الاستقراء، مما يعزز معدلات النجاح في المهام الجديدة دون الحاجة لإعادة التدريب.
معيار Libero-OOD: معيار صارم مصمم لعزل القدرة على إعادة دمج المهارات. يقوم بتصفية المهام التي تكون مستحيلة على الروبوت، مركزاً بدلاً من ذلك على المهام التي يمكن حلها نظرياً باستخدام قاعدة المعرفة الحالية للنموذج.
تحديد الإفراط في الملاءمة المكانية (Spatial Overfitting): تكشف الورقة عن نمط فشل حرج حيث تربط نماذج VLA أسماء الأشياء بمواقع مكانية ثابتة من بيانات التدريب بدلاً من فهم هوية الشيء أو حالته الحالية.

4. النتائج التجريبية

الأداء على Libero-OOD

فشل خط الأساس: حققت نماذج VLA المتطورة ( $\pi_0$ , $\pi_0$ -fast, UniVLA, openvla-oft) معدل نجاح أقل من 21% في المهام الـ 20 المستقرأة لـ libero-ood، رغم تحقيقها حوالي 95% في مهام LIBERO القياسية.
نجاح TLI: تطبيق TLI على $\pi_0$ رفع معدل نجاحه من 9% إلى 83% في libero-ood.
المقارنة: لم يحقق أي نموذج VLA آخر معدل نجاح أعلى من 21% في هذا المعيار، مما يسلط الض الضوء على قصور منهجي في البنى الحالية فيما يتعلق بالاستقراء.

إعادة بناء المهمة والآثار الأمنية

إعادة البناء: حقن الكوامن النصية في نص فارغ سمح لـ $\pi_0$ بإكمال المهام بنجاح تجاوز 80%، مما يثبت أن الكامن يلتقط المعرفة الجوهرية للمهمة.
فك التشفيد (Unembedding): إن فك تشفير الكوامن النصية إلى معرفات الرموز (token IDs) أنتج "مطالبات غامضة" (غالباً غير مقروءة) ولكنها لا تزال قادرة على توجيه النموذج. يشير هذا إلى ثغرات محتملة لـ التعليمات الخاصة أو هجمات الباب الخلفي (backdoor attacks).

تحليل أنماط الفشل: الإفراط في الملاءمة المكانية

الملاحظة: عندما يُطلب من النموذج التقاط شيء ما (مثل "الجبن الكريمي") والذي تم نقله إلى موقع جديد، غالباً ما يتجاهل النموذج الموقع الحالي للشيء ويتحرك إلى الموقع الذي ظهر فيه هذا الشيء في عروض التدريب التوضيحية.
الدليل: في تجارب تم فيها تبديل مواقع الأشياء، تحرك $\pi_0$ (ونماذج VLA الأخرى) باستمرار نحو "موقع التدريب" لاسم الشيء بدلاً من الشيء الفعلي.
الاستنتاج: تعاني نماذج VLA من الإفراط في الملاءمة المكانية، حيث تربط أسماء الأشياء بإحداثيات ثابتة بدلاً من تعلم فهم حقيقي لهدف الشيء.

5. الأهمية

إعادة تعريف التعميم خارج النطاق (OOD): تجادل الورقة بأن نماذج VLA الحالية ليست "معطلة" بل هي "مقيدة". فهي تمتلك المهارات اللازمة ولكنها تفتقر إلى آلية دمجها ذاتياً. يوفر المعيار المقترح (libero-ood) مقياساً لقياس هذه القدرة الكامنة.
التفسير كأداة: باستخدام التفسير الآلي (الكوامن النصية)، يثبت المؤلفون أن الفشل ليس نقصاً في المعرفة بل هو فشل في التركيب. وهذا ينقل تركيز البحث من جمع المزيد من البيانات إلى تحسين آليات التركيب الداخلية للنماذج.
السلامة والأمن: يبرز اكتشاف أن الكوامن النصية يمكن فك تشفيرها إلى مطالبات غامضة وجود مسارات جديدة للهجمات العدائية والأبواب الخلفية في الأنظمة الروبوتية.
الاتجاه المستقبلي: تشير النتائج إلى أن بنيات VLA المستقبلية تحتاج إلى أن تُصمم لدعم إعادة دمج التمثيلات المتعلمة بشكل صريح، بدلاً من الاعتماد على حيل ما بعد التدريب مثل TLI لإطلاق قدراتها الكامنة.

باختصار، تقدم هذه الورقة دليلاً قوياً على أن نماذج VLA لديها القدرة على التعميم، لكنها تعاني حالياً من الإفراط في الملاءمة المكانية وعدم القدرة على دمج المهارات المتعلمة ذاتياً. إن تقديم libero-ood و TLI يوفر للمجتمع العلمي معياراً جديداً وطريقة لسبر أغوار "الصندوق الأسود" للسياسات الروبوتية.