ملخص تقني: Ω-QVLA

بيان المشكلة

تدمج نماذج الرؤية واللغة والعمل (VLA) الإدراك والاستدلال والتحكم في سياسة واحدة، وعادة ما تستخدم نموذج لغة كبير (LLM) كعمود فقري ورأس عمل يعتمد على الانتشار (DiT). وبينما تعد هذه النماذج واعدة للتحكم العام في الروبوتات، إلا أن نشرها على الأجهزة أمر مكلف للغاية بسبب عدد المعلمات المليارية ومتطلبات الذاكرة.

لق بنت جهود التكميم ما بعد التدريب (PTQ) الحالية الفشل في تقديم حل كامل لنماذج VLA. حيث تعمل الأعمال السابقة عادةً على ضغط العمود الفقري لنموذج LLM مع ترك رأس عمل DiT بدقة كاملة (FP16) أو استخدام مخططات دقة مختلطة. وينبع هذا التردد من الاعتقيد بأن رأس عمل DiT حساس للغاية تجاه التكميم الموحد منخفض البت. فخلافاً لتوليد اللغة، حيث قد تكون أخطاء التكميم غير محسوسة، فإن الأخطاء في رأس العمل تنتج إشارات تحكم مستمرة تتصل مباشرة بالمشغلات الفيزيائية. وفي بيئة الحلقة المغلقة، يتم تضخيم الاضطرابات الناجمة عن التكميم بواسطة قوى التلامس والديناميكيات الفيزيائية، مما يؤدي إلى انتشار الخطأ التراكمي وفشل المهمة. وبناءً على ذلك، لم ينجح أي منهج سابق في تكميم رأس عمل DiT بالكامل لنموذج VLA بدقة موحدة منخفضة البت.

المنهجية: Ω-QVLA

يقترح المؤلفون Ω-QVLA، وهو أول إطار عمل للكم من نوع (PTQ) لا يتطلب تدريباً، قادر على ضغط كل من العمود الفقري اللغوي ورأس عمل DiT بالكامل لنموذج VLA إلى دقة موحدة W4A4 (أوزان 4-بت، وتنشيطات 4-بت). يلغي الإطار الحاجة إلى تخصيص الدقة المختلطة من خلال ابتكارين جوهريين:

1. دوران SVD·Hadamard المركب

لمعالجة عدم توازن الطاقة على مستوى القنوات والقمم الشاذة في التنشيط، قدم المؤلفون استراتيجية دوران ثنائية المستوى تُطبق قبل التكميم:

• دوران SVD: يتم حساب تحليل القيمة المفردة (SVD) لمصفوفة الأوزان $W = U\Sigma V^\top$. تُطبق مصفوفة الدوران $R_{SVD} = U$ لمساواة طاقة الصفوف في الأوزان. يقوم هذا بتحويل مساحة الأوزان بحيث يتم التحكم في طاقة كل صف مباشرة بواسطة الطيف المفرد، مما يزيل تركيز الطاقة الناتج عن الإحداثيات.
• دوران Hadamard: بما أن دوران SVD مشتق فقط من الأوزان، فإنه لا يضمن التوحيد في مساحة التنشيط. ولمعالجة ذلك، قام المؤلفون بتركيب دوران SVD مع مصفوفة هادامار (Hadamard) موحدة $H$. يعمل الدوران المركب $R = R_{SVD} \cdot H$ كمصفوفة خلط موحدة تعيد توزيع طاقة أي قناة مهيمنة بشكل موحد عبر جميع القنوات المخرجة.
• التنفيذ على مستوى الكتل (Block-wise): لتجنب العبء الحسابي وعبء الذاكرة لمصفوفة دوران كثيفة بحجم $C_{in} \times C_{in}$، تقرب الطريقة الدوران في كتل. يتم إعادة ترتيب القنوات عبر تبديل "زيجزاج" (zigzag permutation) بناءً على معايير أعمدة الأوزان لضمان توزيع القنوات ذات المعايير العالية والمنخفضة بالتساوي عبر الكتل، مما يمنع تركيز القيم الشاذة داخل قسم واحد.

2. قياس التنشيط لكل خطوة (Per-step DiT Activation Scaling)

يعتبر القياس الاستاتيكي (الثابت) غير مثالي لنماذج DiT لأن أحجام التنشيط تتقلب بشكل كبير عبر عملية إزالة الضجيج متعددة الخطوات.

• انحراف النطاق الديناميكي: لاحظ المؤلفون أن إحصائيات التنشيط تنحرف عبر خطوات إزالة الضجيج، خاصة في الطبقات التي تستقبل مدخلات مشروطة بالزمن (مثل إسقاطات QKV التي تتبع AdaLayerNorm).
• المعايرة لكل خطوة: بدلاً من مقياس ثابت واحد، يستخدم Ω-QVLA جدول مقياس مُحسب مسبقاً لكل خطوة، ولكل طبقة، ولكل قناة. يتم اشتقاق هذا الجدول من مسارات المعايرة واسترجاعه أثناء الاستدلال لاستيعاب انحراف النطاق الديناميكي. وهذا يسم يسمح للمكمم بالتكيف مع نطاقات التنشيط المتغيرة عند كل خطوة زمنية محددة.

المساهمات الرئيسية

1. تكميم W4A4 الموحد: يعد Ω-QVLA أول إطار عمل لا يتطلب تدريباً لتكميم كامل مكدس VLA (العمود الفقري LLM ورأس عمل DiT) بشكل موحد إلى W4A4، متحدياً الافتراض بأن رأس العمل لا يمكنه الصمود أمام التكميم الموحد منخفض البت.
2. آلية الدوران المركب: تقديم دوران SVD·Hadamard المركب الذي يعمل في آن واحد على مساواة طاقة وزن كل قناة وتشتيت بقايا القيم الشاذة في التنشيط، مما يعالج قيود استخدام تحويلات SVD أو Hadamard بشكل منفرد.
3. المعايرة لكل خطوة: تطوير آلية قياس التنشيط لكل خطوة خصيصاً لنماذج DiT للتعامل مع انحراف النطاق الديناميكي المعتمد على الخطوة الزمنية، وهو أمر بالغ الأهمية للحفاظ على الاستقرار في عمليات إزالة الضجيج التكرارية.

النتائج التجريبية

تم تقييم الإطار على معيار LIBIO باستخدام اثنين من سياسات VLA الأكثر تطوراً: Pi 0.5 و GR00T N1.5.

• أداء المحاكاة:

  • Pi 0.5: حقق معدل نجاح متوسط للمهام بنسبة 98.0% تحت تكميم W4A4، متجاوزاً قليلاً مرجع FP16 البالغ 97.1%.
  • GR00T N1.5: حقق معدل نجاح متوسط بنسبة 87.8%، مطابِقاً لمرجع FP16 البالغ 87.0%.
  • المقارنة: تفوقت هذه النتائج بشكل كبير على نماذج التكميم الكامل W4A4 السابقة (مثل SmoothQuant و DuQuant و QuantVLA)، والتي غالباً ما فشلت في الحفاظ على الأداء عند تكميم طبقات انتباه DiT. فعلى سبيل المثال، حقق QuantVLA نسبة 82.0% فقط على Pi 0.5، بينما وصل Ω-QVLA إلى 98.0%.
  • كفاءة الذاكرة: قلل الإطار البصمة الذاكرية الثابتة بنسبة 71.3% مقارنة بـ FP16، مع عبء بيانات وصفية ضئيل (~90 ميجابايت لـ Pi 0.5).

• التحكم في المناولة في العالم الحقيقي:

  • أُجريت التجارب على منصة ARX R5 ثنائية الأذرع لخمس مهام مناولة ثنائية اليدين (مثل التقاط الكوب، طي المنشفة).
  • الأداء: حقق Ω-QVLA متوسط درجة تقدم قدرها 51.0، متفوقاً على مرجع FP16 البالغ 49.6. وفي المقمقابل، انهار نموذج QuantVLA الأساسي إلى 25.0.
  • التحليل النوعي: أكدت الاختبارات الواقعية أن Ω-QVLA ينتج مسارات مناولة سلسة ودقيقة. بينما أظهرت الطرق الأساسية حركات متقطعة للنهاية الطرفية (end-effector) وارتفاعات متكررة في أبعاد الحركة، مما أدى إلى فشل المهام.

الأهمية والادعاءات

يدعي البحث أن Ω-QVLA يقلب الاعتقاد السائد بأن رأس عمل DiT حساس للغاية لدرجة تمنع تكميمه بشكل موحد. ومن خلال معالجة مصادر عدم الاستقرار بشكل مباشر — وهي عدم توازن الطاقة على مستوى القناة وانحراف النطاق الديناميكي لخطوة إزالة الضجيج — يثبت المؤلفون أن دقة W4A4 الموحدة كافية لنشر VLA عالي الأداء.

يؤكد المؤلفون أن نهجهم لا يتطلب إعادة تدريب ويلغي تعقيد تخصيص الدقة المختلطة. وتشير النتائج إلى أن الضغط الفعال لـ VLA يتطلب تحسيناً شاملاً واعياً بالعمل (action-aware) بدلاً من النقل المباشر لتقنيات التكميم المتمحورة حول اللغة. وبينما يقتصر التقييم الحالي على النماذج ذات الخلفيات المعتمدة على DiT ومعايير محددة، فإن هذا العمل يضع معياراً جديداً للتحكم في الروبوتات على الأجهزة، مما يتيح نشر سياسات VLA واسعة النطاق على أجهزة ذات قيود صارمة في الذاكرة وزمن الاستجابة.