ملخص تقني: LiteVLA-H

1. بيان المشكلة

أظهرت نماذج الرؤية واللغة والعمل (VLA) قدرة قوية على الربط الدلالي والتعميم المهامي في التلاعب الروبوتي. ومع ذلك، لا يزال نشر هذه النماذج على الروبوتات الجوية (الدرونز) يمثل تحديًا بسبب قيود الحوسبة والاتصال الصارمة على متن الطائرة. تتطلب الروبوتات الجوية توجيهًا مغلق الحلقة منخفض التأخير للاستجابة للتغيرات البصرية، ومع ذلك فهي تستفيد أيضًا من الفهم الدلالي عالي المستوى لوصف العوائق، والوعي بمدارج الهبوط، والإشراف من قبل المشغل.

غالبًا ما تركز الأدبيات الحالية على نجاح الملاحة، أو إنشاء المعايير المرجعية، أو الاستنتاج على مستوى الخادم. وتظل هناك فجوة حرجة في معالجة مشكلة الجدولة العملية للنماذج المدمجة على متن الأجهزة: كيف يمكن لنموذج VLA واحد مدمج أن يدعم كلاً من التوجيه التفاعلي عالي التردد والاستدلال الدلالي البطيء على مستوى الجمل دون المساس بأي منهما؟ غالبًا ما تتعامل النهج الحالية مع الاستنتاج كمقياس واحد من البداية إلى النهاية، مما يؤدي إلى عدم مراعاة اختناقات التأخير المحددة للنشر على الحافة (edge deployment).

2. المنهجية: LiteVLA-H

يقترح المؤلفون LiteVLA-H، وهو نظام VLA مدمج بـ 256 مليون معلمة مصمم للتشغيل ثنائي المعدل على منصة NVIDIA Jetson AGX Orin. يعتمد النظام على ثلاث ركائز تقنية أساسية:

أ. بنية الجدولة ثنائية المعدل

يفصل النظام مخرجات VLA صراحةً إلى نمطين متميزين يديرهما المجدول:

1. التوجيه السريع للحلقة الخارجية: ينتج رموز عمل قصيرة الأفق (1-2 رمز) بتردد تقريبي يبلغ 19.74 هرتز (تأخير 50.65 مللي ثانية). تعمل هذه الرموز كأوامر عالية المستوى (مثل السرعة، الاتجاه، نقاط المسار) للحلقة الخارجية، بينما يتولى متحكم طيران تقليدي مهمة استقرار الحلقة الداخلية.
2. الوضع الدلالي البطيء: ينتج أوصافًا على مستوى الجمل لفهم المشهد، ووصف المخاطر، وسرد المشغل بتردد يترا-وح 6.08–6.67 هرتز (تأخير 149.90–164.57 مللي ثانية).

يحافظ المجدول على علاقة حيث يكون دورة الاستعلام الدلالي ($\Delta_s$) مضاعفًا صحيحًا ($K > 1$) لدورة الاستعلام عن العمل ($\Delta_a$)، مما يسمح بالتحديثات الدلالية بالحدوث بشكل انتهازي دون حظر مواعيد العمل الحرجة.

ب. تفكيك التأخير وهيمنة مرحلة الملء المسبق (Pre-fill)

الملاحظة التجريبية المركزية لهذا العمل هي أنه في نظام الحافة المدمج، يهيمن زمن الملء المسبق متعدد الوسائط على التأخير من البداية إلى النهاية بدلاً من فك تشفير الرموز (token decoding).

• تكلفة الملء المسبق ($P$): حوالي 47.8 مللي ثانية (تمرير مشترك للرؤية واللغة والمطالبة).
• تكلفة فك التشفير الهامشية ($D_i$): حوالي 1.4 مللي ثانية لكل رمز.
• الاستنتاج: بالنسبة للمخرجات القصيرة (مثل رمز عمل واحد)، فإن نسبة الملء المسبق ($\rho$) تبلغ ~94.4%. وهذا يعني أن تحسين عدد الرموز التي يتم فك تشفيرها يعطي عوائد متناقصة؛ فالاختناق في النظام هو عملية دمج الصورة واللغة الأولية. وبناءً على ذلك، يمكن للنظام تحمل تشغيل فك التشفير الدلالي (الذي يتطلب المزيد من الرموز) بمعدل أقل دون التأثير بشكل كبير على حلقة العمل، بشرما لم يتم إعادة حساب مسار الملء المسبق دون داعٍ.

ج. الضبط الدقيق المحافظ على المعرفة

لتخصص النموذج لمهام جوية دون "النسيان الكارثي" للقدرات اللغوية البصرية العامة، يستخدم المؤلفون هدف تدريب مختلط الخسارة:
$$\mathcal{L} = \lambda_a\mathcal{L}_{act} + \lambda_s\mathcal{L}_{sem} + \lambda_g\mathcal{L}_{gen} + \lambda_{kp}\mathcal{L}_{kp}$$

• $\mathcal{L}_{act}$: بيانات الطيران التفاعلية (رموز العمل).
• $\mathcal{L}_{sem}$: البيانات الدلالية الجوية (أوصاف المشهد).
• $\mathcal{L}_{gen}$: الإشراف العام على التعليق الوصفي/الأسئلة والأجوبة للحفاظ على الكفاءة الواسعة.
• $\mathcal{L}_{kp}$: منظم اختياري للحفاظ على المعرفة (التقطير مقابل نموذج خلفي متخصص مسبقًا) لمنع النموذج من الانهيار إلى مصنف عمل ضيق.

3. المساهمات الرئيسية

1. تحديد هيمنة الملء المسبق: يثبت البحث أن "الوقت حتى أول إجراء" هو الاختناق الرئيسي للأنظمة في نماذج VLA المدمجة المنشورة على الحافة، مدفوعًا بالملء المسبق متعدد الوسائط وليس بطول فك التشفير.
2. المجدول ثنائي المعدل: تقديم استراتيجية جدولة تحقق معدل انبعاث عمل للحلقة الخارجية يبلغ 19.74 هرتز مع الحفاظ على إدراك دلالي على مستوى الجمل بتردد 6.08–6.67 هرتز على جهاز Jetson AGX Orin واحد.
3. التدريب المحافظ على المعرفة: وصفة ضبط دقيق توازن بنجاح بين أداء الطيران التفاعلي والقدرة اللغوية البصرية العامة المستبقاة (مقاييس CIDEr و F1).
4. التموضع على مستوى الأنظمة: تحليل مقارن مقابل أطر العمل الحديثة (AnywhereVLA، FutureVLA، ReMem-VLA)، يوضح أن LiteVLA-H يحقق معدلات استنتاج أعلى على الحافة للعمل مع الاحتفاظ بالوعي الدلالي الدوري، دون عقوبات التأخير المرتبطة بوحدات الذاكرة أو التنبؤ الثقيلة في هذا السياق المدمج المحدد.

4. النتائج

أُجريت التجارب على جهاز NVIDIA Jetson AGX Orin بدقة FP16 ونافذة سياق تبلغ 2048.

• أداء التأخير:

  • التوجيه التفاعلي: 50.65 مللي ثانية (19.74 هرتز).
  • التعليق الوصفي للمشهد: 149.90 مللي ثانية (6.67 هرتز).
  • الوعي السياقي (3 جمل): 164.57 مللي ثانية (6.08 هرتز).
  • فرع الجانب الدلالي أبطأ بحوالي 3 أضعاف من فرع العمل، مما يؤكد جدوى النهج ثنائي المعدل.

• الدراسات الاستقصائية (Ablation Studies):

  • خليط البيانات: أدى الضبط الدقيق للعمل فقط إلى نسيان كارثي شديد (انخفض CIDEr إلى 0.31). أدى إضافة مراجعة التعليق الوصفي/الأسئلة والأجوبة العامة إلى استعادة القدرة العامة (CIDEr 0.82) مع الحفاظ على نجاح العمل ضمن نطاق 1.1% من متغير العمل فقط.
  • كفاءة وقت التشغيل: مقارنة بالتنفيذ أحادي المعدل الدلالي (6.67 هرتز) أو المتغيرات الثقيلة في الذاكرة (ReMem-VLA، FutureVLA)، حافظ LiteVLA-H على معدل العمل العالي (19.74 هرتز) مع زيادة 0.1 جيجابايت فقط في الذاكرة وزيادة 3.6 واط في الطاقة عن خط الأساس الخاص بالعمل فقط.
  • أداء الحلقة المغلقة: في محاكاة ملاحة المدرج ومسارات العقبات للأجهزة، حقق LiteVLA-H معدل نجاح في المهمة بنسبة 84.1% و 81.3% على التوالي، متفوقًا على النماذج المرجعية مثل ReMem-VLA (78.2%) و FutureVLA (70.0%) في بيئة الأجهزة، مع تأخير أقل بكثير (50.65 مللي ثانية مقابل 205–250 مللي ثانية).

5. الأهمية والادعاءات

يضع البحث LiteVLA-H ليس كحل مهيمن عالميًا على جميع إعدادات الروبوتات، بل كحل متخصص للنطاق الجوي المدمج على متن الطائرة.

• فلسفة التصميم: يجادل المؤلفون بأن تصميم VLA على متن الطائرة يجب أن يحسن الوقت حتى أول إجراء بشكل منفصل عن زمن استجابة الجملة. من خلال إدراك هيمنة الملء المسبق، يثبتون أنه يمكن لنموذج واحد خدمة مقاييس زمنية مختلفة بفعالية.
• السلامة والتحكم: تم تصميم النظام ليعمل على مستوى الحلقة الخارجية، مما يوفر أوامر توجيه بدلاً من التحكم المباشر في المحركات. يسمح هذا الفصل بتصفية VLA بواسطة منطق سلامة لاحق (مثل تحديد الأوامر، أو التوقف الطارئ)، مما يقلل من عبء السلامة على النموذج نفسه.
• التواضع: يقر المؤلفون بالقيود، مشيرين إلى أن أقوى دليل هو توقيت الاستنتاج على متن الجهاز. لا تزال هناك حاجة إلى تقييم طيران أكثر شمولاً عبر ظروف الرياح، والإضاءة، والحمولات المتغيرة. المقارنات مع الأعمال السابقة ليست خاضعة للتحكم الكامل بسبب الاختلافات في الأجهزة والتجسيد، لكن الورقة تدعي أنه تحت نشر Jetson AGX Orin المذكور، يقدم نهجهم ثنائي المعدل مقايضة متفوقة بين التفاعلية والوعي الدلالي.

باختصار، يثبت LiteVLA-H أنه من خلال استغلال طبيعة الملء المسبق المهيمنة في الاستنتاج على الحافة واستخدام مجدول ثنائي المعدل، من الممكن نشر VLA مدمج يستجيب بسرعات تقارب الزمن الحقيقي (20 هرتز) مع توفير سياق دلالي ذي معنى (6 هرتز) للاستقلالية الجوية.