💻 computer science

2D or 3D: Who Governs Salience in VLA Models? -- Tri-Stage Token Pruning Framework with Modality Salience Awareness

تقترح هذه الورقة إطار عمل لتقليم الرموز ثلاثي المراحل لنماذج الرؤية واللغة والعمل (VLA) متعددة الوسائط البصرية، والتي تلتقط ديناميكيًا فروق بروز الوسائط ثنائية وثلاثية الأبعاد لتحقيق تسريع في الاستدلال يصل إلى 2.55 ضعفًا مع حد أدنى من فقدان الدقة.

المؤلفون الأصليون: Zihao Zheng, Sicheng Tian, Zhihao Mao, Lingyue Zhang, Chenyue Li, Ziyun Zhang, Hong Gao, Yuchen Huang, Yutong Xu, Guojie Luo, Xiang Chen

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zihao Zheng, Sicheng Tian, Zhihao Mao, Lingyue Zhang, Chenyue Li, Ziyun Zhang, Hong Gao, Yuchen Huang, Yutong Xu, Guojie Luo, Xiang Chen

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: عقل الروبوت المثقل بالمعلومات

تخيل روبوتاً يحتاج إلى تعلم كيفية القيام بالأعمال المنزلية، مثل إغلاق الثلاجة أو التقاط موزة. للقيام بذلك، يستخدم "عقلاً" يسمى نموذج VLA (الرؤية-اللغة-الفعل).

الطريقة القديمة (2D فقط): كان الروبوت ينظر إلى العالم مثل شخص ينظر إلى صورة فوتوغرافية. كان يرى صوراً مسطحة. كان هذا جيداً، لكنه جعل من الصعب على الروبوت تقدير العمق (مدى بعد مقبض الثلاجة).
الطريقة الجديدة (2D + 3D): لكي يصبح أفضل، منح العلماء الروبوت زوجاً ثانياً من العيون التي ترى بتقنية 3D (مثل خريطة العمق أو السحابة النقطية). الآن، يمكن للروبوت أن يرى بالضبط أين توجد الأشياء في الفضاء.

المشكلة: منح الروبوت رؤية ثلاثية الأبعاد هو بمثابة منحه قوة خارقة، لكنه يأتي بثمن باهظ. أصبح على الروبوت الآن معالجة ضعف كمية المعلومات (صور مسطحة + بيانات ثلاثية الأبعاد). الأمر يشبه محاولة قراءة كتاب بينما يصرخ شخص ما بقصة ثانية في أذنك. يصبح الروبوت مثقلاً بالمعلومات، ويفكر ببطء، ولا يستطيع التحرك بسرعة كافية ليكون مفيداً في العالم الحقيقي.

الحل: "المُرشح الذكي ثلاثي المراحل"

أدرك مؤلفو هذه الورقة أن الأساليب الموجودة لتسريع الروبوتات كانت تشبه استخدام سكين ثلمة: فهي تقوم ببساطة بقطع أجزاء عشوائية من المعلومات لتوفير الوقت. لكن هذا كان خطيراً لأن الروبوت قد يقطع البيانات الثلاثية الأبعاد المهمة التي يحتاجها للإمساك بكوب، أو البيانات ثنائية الأبعاد المهمة التي يحتاجها لقراءة ملصق.

لقد طرحوا سؤالاً بسيطاً: "من هو المدير الآن؟ هل الصورة ثنائية الأبعاد أكثر أهمية، أم خريطة العمق ثلاثية الأبعاد أكثر أهمية؟"

وجدوا أن الإجابة تتغير بناءً على ما يفعله الروبوت وأين هو في الزمن. لذا، قاموا ببناء إطار عمل لتقليم الرموز (Tokens) مكون من ثلاث مراحل. فكر في هذا كحارس ذكي جداً عند مدخل ملهى ليلي، يقرر من يُسمح له بالبقاء في غرفة الـ VIP (عقل الروبوت) ومن يتم طرده، بناءً على ثلاث قواعد مختلفة.

المراحل الثلاث لـ "الحارس"

المرحلة 1: المعالجة المسبقة للبيانات (فحص "المواد الخام")

التشبيه: تخيل أنك طاهٍ يجهز وجبة. لديك كومة من الخضروات (صور 2D) وكومة من التوابل (بيانات 3D).
الرؤية: وجد الباحثون أنه بالنسبة لبعض المهام، تكون الخضروات هي الطبق الرئيسي، والتوابل مجرد زينة. وفي مهام أخرى، تكون التوابل هي النكهة الأساسية.
الإجراء: ينظر الحارس إلى المكونات الخام. إذا كانت البيانات ثلاثية الأبعاد مجرد "ضجيج" (مثل الفوضى الإضافية في الخلفية)، فإن الحارس يتخلص منها فوراً. إذا كانت الصورة ثنائية الأبعاد ضبابية ولكن الشكل ثلاثي الأبعاد واضح، يحتفظ الحارس بالثلاثي الأبعاد ويرمي الثنائي.
النتيجة: وضعوا قاعدتين (عتبتين) للقرار: "احتفظ بالثنائي فقط"، "احتفظ بالثلاثي فقط"، أو "احتفظ بكليهما".

المرحلة 2: التركيب الدلالي (فحص "السياق")

التشبيه: الآن ينظر الروبوت إلى مشهد محدد، مثل سطح المطبخ. المشهد يتكون من ثلاثة أجزاء: الخلفية (الجدار)، ذراع الروبوت (الأداة)، والهدف (الموزة).
الرؤية:
- الخلفية: الجدار لا يحتاج إلى عمق ثلاثي الأبعاد. إنه مجرد جدار مسطح. تخلص من البيانات ثلاثية الأبعاد هنا!
- ذراع الروبوت: يحتاج الذراع إلى معرفة شكله الخاص في الفضاء ثلاثي الأبعاد لتجنب الاصطدام. احتفظ بالثلاثي الأبعاد!
- الهدف (الموزة): لالتقاط الموزة، تحتاج لرؤية لونها (2D) و شكلها (3D). احتفظ بكليهما!
الإجراء: يقسم الحارس المشهد إلى هذه المناطق الثلاث. في منطقة "الخلفية"، يقوم بقص 90% من البيانات بقوة. وفي منطقة "الهدف"، يحمي كل شيء.

المرحلة 3: تكرار الفعل (فحص "الزمن")

التشبيه: تخيل أن الروبوت يمد يده نحو الموزة.
- الخطوة 1: الذراع بعيدة. تحتاج في الغالب لرؤية الشكل العام (3D).
- الخطوة 2: الذراع تقترب. تحتاج لرؤية ملمس قشرة الموزة لمعرفة ما إذا كانت ناضجة (2D).
- الخطوة 3: الذراع تمسك. تحتاج لعمق دقيق مرة أخرى.
الرؤية: أهمية الـ 2D مقابل الـ 3D تتغير لحظة بلحظة. إذا قرر الروبوت ما يحتفظ به بناءً على الثانية الحالية فقط، فقد يصبح "مهتزاً" (ينتقل ذهاباً وإياباً بسرعة كبيرة).
الإجراء: يستخدم الحارس "نافذة منزلقة" (مثل النظر عبر كتاب تاريخ). إنه يتذكر ما حدث في الثواني القليلة الماضية. إذا كان الروبوت يعتمد على الـ 3D قبل لحظة، فإنه يفترض أنه لا يزال يحتاجه، مما يجعل القرار سلساً حتى لا يصاب الروبوت بالذعر أو يغير أوضاعه بسرعة كبيرة.

النتيجة السحرية

باستخدام هذا المرشح الذكي ثلاثي المراحل، يستطيع الروبوت:

التخلص من النفايات: يزيل ما يصل إلى 70-80% من البيانات غير الضرورية.
الاحتفاظ بالذهب: يحتفظ بالبيانات الثنائية أو الثلاثية الأبعاد المطلوبة بدقة للحظة محددة ولجسم معين.
العمل بشكل أسرع: يصبح الروبوت أسرع بمقدار 2.55 مرة.

الخلاصة:
قبل هذه الورقة، كانت الروبوتات ذات الرؤية ثلاثية الأبعاد بطيئة جداً بحيث لا يمكن استخدامها عملياً. هذه الطريقة الجديدة تشبه إعطاء الروبوت نظارات شمسية تلون العدسة الصحيحة تلقائياً (2D أو 3D) اعتماداً على ما ينظر إليه. أصبح الروبوت الآن سريعاً بما يكفي للقيام بمهام في الوقت الفعلي دون أن يفقد قدرته على رؤية العالم بوضوح.

باختصار: لقد علموا الروبوت متى ينظر بعينيه الثنائيتين، ومتى ينظر بعينيه الثلاثيتين، ومتى يغلق إحدى عينيه لتوفير الطاقة، كل ذلك دون أن يسقط الموزة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "2D or 3D: Who Governs Salience in VLA Models? — Tri-Stage Token Pruning Framework with Modality Salience Awareness."

1. بيان المشكلة (Problem Statement)

تُعد نماذج الرؤية واللغة والعمل (VLA) هي التوجه السائد في مجال الذكاء المتجسد (Embodied Intelligence). وبينما اعتمدت النماذج المبكرة حصرياً على الصور ثنائية الأبعاد (2D)، تدمج النماذج الحديثة الآن الأنماط ثلاثية الأبعاد (3D) (مثل السحب النقطية - Point Clouds) لتعزيز الإدراك المكاني، مما يشكل ما يُعرف بـ نماذج VLA متعددة الوسائط البصرية (MVLA).

ومع ذلك، يخلق هذا التوسع عقبة حرجة:

العبء الحسابي: يؤدي دمج البيانات ثلاثية الأبعاد إلى زيادة كبيرة في عدد الرموز (Tokens) المدخلة (على سبيل المثال، الضعف من 256 إلى 512)، مما يؤدي إلى زمن استجابة (Latency) مرتفع (3-5 هرتز)، وهو ما لا يلبي متطلبات الروبوتات في الوقت الفعلي (20-30 هرتز).
عدم فعالية التقليم الحالي: صُممت طرق تقليم الرموز الحالية لنماذج تعتمد على البعد الثنائي فقط. وهي تفشل في مراعاة اختلافات البروز (Salience Discrepancies) بين الأنماط ثنائية وثلاثية الأبعاد. إن التقليم الأعمى للرموز بناءً على منطق ثنائي الأبعاد يؤدي إلى تدهور حاد في أداء نماذج MVLA، لأن الرموز ثنائية وثلاثية الأبعاد تساهم بشكل مختلف اعتماداً على مرحلة المهمة والسياق الدلالي.

2. المنهجية: إطار عمل تقليم الرموز ثلاثي المراحل (Tri-Stage Token Pruning Framework)

يقترح المؤلفون إطار عمل مبتكر يحلل ويقلص الرموز عبر ثلاث مراحل متميزة من مسار استنتاج MVLA: المعالجة المسبقة للبيانات، التخليق الدلالي، وتكرار العمل.

أ. تحليل البروز ثلاثي المراحل (Tri-Stage Salience Analysis)

يحدد إطار العمل أولاً متى وأي نمط يحكم البروز:

مرحلة المعالجة المسبقة للبيانات (Data Preprocessing Stage):
- النتيجة: يظهر النمط ثنائي الأبعاد بروزاً أعلى عموماً من النمط ثلاثي الأبعاد في تمثيل الميزات الخام.
- المقياس: اقترح مقياساً كمياً ( $MS^1$ ) يعتمد على معيار $L_1$ لميزات الطبقة النهائية لقياس مساهمة النمط.
مرحلة التخليق الدلالي (Semantic Synthesis Stage):
- النتيجة: يختلف البروز حسب المنطقة الدلالية. يصبح النمط ثلاثي الأبعاد أكثر بروزاً بشكل ملحوظ في مناطق الهدف (Target Object) وجسم الروبوت (Robot Body) (وهي مناطق حاسمة للهندسة وتجنب الاصطدام)، بينما يهيمن النمط ثنائي الأبعاد في مناطق الخلفية (Background).
- المقياس: اقترح آلية تفكيك ( $MS^2$ ) باستخدام درجات الانتباه لفصل الميزات ثلاثية الأبعاد إلى مكونات "متوازية" (فائضة مع ثنائية الأبعاد) ومكونات "متعامدة" (معلومات فريدة ثلاثية الأبعاد).
مرحلة تكرار العمل (Action Iteration Stage):
- النتيجة: البروز للأنماط هو ديناميكي زمنياً. يتغير الاعتماد على ثنائي الأبعاد مقابل ثلاثي الأبعاد أثناء تنفيذ الروبوت للمهمة (على سبيل المثال، الحاجة إلى ثلاثي الأبعاد للإمساك بالجسم، وثنائي الأبعاد للملاحة).
- الآلية: تتطلب آلية تنبؤ لتكييف ميزانيات التقليم بمرور الوقت.

ب. إطار عمل التقليم (الخوارزمية)

بناءً على التحليل، ينفذ إطار العمل استراتيجية تقليم متسلسلة:

المرحلة الأولى: المعالجة المسبقة للبيانات (تحديد المرشح بالحد المزدوج)
- يستخدم نسبة معيار الميزات ( $MS^1$ ) لتصنيف الرقع (Patches).
- يطبق عتبات مزدوجة ( $\tau_{2D}, \tau_{3D}$ $τ_{2 D}, τ_{3 D}$ ) لتقرير الاحتفاظ:
  - نسبة ثلاثية الأبعاد منخفضة $\leftarrow$ الاحتفاظ بالثنائي فقط.
  - نسبة ثلاثية الأبعاد عالية $\leftarrow$ الاحتفاظ بالثلاثي فقط.
  - نسبة متوسطة $\leftarrow$ الاحتفاظ بكليهما.
المرحلة الثانية: التخليق الدلالي (تحديد المرشح بناءً على المرجع الدلالي)
- يجمع درجات الانتباه في ثلاث مجموعات دلالية: الخلفية ( $S_{bg}$ )، الروبوت ( $S_{rob}$ )، والهدف ( $S_{obj}$ ).
- الخلفية: يتم تقليصها بقوة (حذف عشوائي بنسبة 90%) لأنها منخفضة البروز.
- الروبوت/الهدف: الاحتفاظ بها يكون تكيفياً. إذا تجاوزت الميزات المتعامدة ثلاثية الأبعاد حداً مرجعياً، يتم الاحتفاظ بكلا النمطين؛ وإلا، تُعطى الأولوية للنمط ثنائي الأبعاد.
المرحلة الثالثة: تكرار العمل (الديناميكيات الزمنية والدمج)
- تنعيم EMA: يستخدم المتوسط المتحرك الأسي (EMA) مع نافذة منزلقة لتنعيم قرارات التقليم عبر الإطارات، مما يمنع الوميض (Flickering) ويستفيد من الاستمرارية الزمنية.
- الدمج: يتقاطع المرشحون من المرحلة الأولى (النمط) والمرحلة الثانية (الدلالة).
- حل النزاع: إذا كان التقاطع فارغاً (على سبيل المثال، منطقة دلالية حرجة تم تحديدها للتقليم بواسطة مقاييس النمط)، فإن النظام يعود افتراضياً إلى المتطلبات الدلالية لمنع فقدان الميزات.
- البداية الباردة (Cold Start): يتعامل مع الإطارات القليلة الأولى بدون بيانات تاريخية باستخدام الملاحظات الخام قبل الانتقال إلى EMA.

3. المساهمات الرئيسية (Key Contributions)

التحليل ثلاثي المراحل: أول تحليل شامل يكشف أن بروز الأنماط ثنائية وثلاثية الأبعاد ليس ثابتاً بل يتغير حسب مرحلة البيانات، المنطقة الدلالية، والتكرار الزمني.
إطار عمل تقليم مدرك للأنماط: إطار عمل مبتكر يختار تلقائياً تكوينات التقليم المثلى (ثنائي الأبعاد فقط، ثلاثي الأبعاد فقط، أو كلاهما) بناءً على السياق المحدد لاستنتاج MVLA.
الكفاءة مقابل الدقة: يحقق تسريعاً هائلاً مع الحد الأدنى من فقدان الدقة عن طريق إزالة الرموز الزائدة بذكاء بدلاً من تطبيق تقليم موحد.

4. النتائج التجريبية (Experimental Results)

تم تقييم إطار العمل على معيار المحاكاة RLBench ومهام روبوتية في العالم الحقيقي باستخدام نموذج MLA.

التسريع: حقق تسريعاً في الاستنتاج يصل إلى 2.55 ضعف مقارنة بالنموذج الأساسي غير المقلم.
الدقة: حافظ على معدلات نجاح مهام (SR) عالية. عند معدل تقليم 70%، انخفضت نسبة نجاح المهام (SR) بمقدار 2.5% فقط (من 48.8% إلى 46.3%)، بينما تسبب التقليم العادي في فشل كارثي (مثل الهبوط إلى 6.7% SR).
المقارنة: تفوق بشكل كبير على النماذج المرجعية المتطورة (SP-VLA, VLA-Pruner) التي تم تكييفها من نماذج ثنائية الأبعاد فقط. على سبيل المثال، في مهمة "إغلاق الصندوق" (Close Box) عند تقليم بنسبة 60%، حققت الطريقة المقترحة 60.0% SR مقابل 16.7% لنموذج SP-VLA.
العبء الإضافي: تضيف آلية التقلم نفسها حوالي 5.8% فقط من العبء (61 مللي ثانية لكل خطوة)، وهو أمر ضئيل مقار Skew بإنقاص زمن الاستجابة.
التحقق في العالم الحقيقي: تم الاختبار على ذراع روبوتية (Songling Piper)، مما أكد أن معدلات التقليم ثلاثية الأبعاد تنخفض خلال مراحل التفاعل الرئيسية (الإمساك)، وهو ما يتوافق مع التحليل النظري.

5. الأهمية (Significance)

تعالج هذه الورقة فجوة حرجة في نشر الذكاء الاصثي المتجسد المتقدم. من خلال إدراك أن الأنماط ثنائية وثلاثية الأبعاد ليست قابلة للتبادل وأن أهميتها تتغير ديناميكياً، يقدم المؤلفون حلاً قابلاً للتوسع لمشكلة "انفجار الرموز" في نماذج MVLA. يوفر إطار العمل تحكماً روبوتياً في الوقت الفعلي (20-30 هرتز) دون التضحية بالفهم المكاني الذي توفره البيانات ثلاثية الأبعاد، مما يمهد الطريق لأنظمة ذكاء متجسد أكثر كفاءة وقدرة.