Adaptive Capacity Allocation for Vision Language Action Fine-tuning

إليك ملخص تقني مفصل لورقة البحث "Adaptive Capacity Allocation for Vision Language Action Fine-tuning" من قبل كيم وآخرون.

1. بيان المشكلة

تُعد نماذج الرؤية واللغة والعمل (Vision-Language-Action - VLA) ركيزة أساسية في الذكاء الاصطادي الفيزيائي (Physical AI)، حيث تمكن الروبوتات من تعلم خرائط تعميمية من الإدراك البصري واللغوي إلى الأفعال. ومع ذلك، فإن نشر نماذج VLA سابقة التدريب على بيئات، أو هياكل (أجهزة روبوتية)، أو مهام غير مرئية يتطلب عملية تكييف (Adaptation).

تتمثل المشكلة الجوهرية المحددة في عدم التطابق في متطلبات الرتبة الجوهرية (Intrinsic Rank Requirements) بين النماذج اللغوية الكبيرة (LLMs) ونماذج VLA أثناء الضبط الدقيق الفعال للمعلمات (PEFT)، وتحديداً باستخدام تقنية LoRA (التكيف منخفض الرتبة):

• النماذج اللغوية الكبيرة (LLMs): تحقق أداءً يقارب الضبط الدقيق الكامل باستخدام رتب صغيرة جداً (مثل $r \in \{4, 8\}$).
• نماذج VLA: تتطلب رتباً أكبر بكثير (مثل $r \approx 128$) لاستيعاب التحديثات المعقدة وعالية الأبعاد اللازمة للتفاعل الفيزيائي ونقل الهيكل (Embodiment Transfer).
• قصور الرتبة الثابتة (Fixed Rank):
  • المهمة الواحدة: تختلف الرتبة المثلى باختلاف صعوبة المهمة.
  • المهام المتعددة: تفرض رتبة عالمية واحدة ثابتة على المهام غير المتجانسة مشاركة فضاء فرعي (Subspace) ثابت، مما يؤدي إلى تداخل بين المهام (Cross-task interference) وتقليل الانتقال الإيجابي للمهارات.
  • نقل الهيكل (Embodiment Transfer): يتطلب النقل إلى روبوت بخصائص حركية مختلفة (درجات حرية، أطوال وصلات) أو هندسة إدراكية مختلفة (ثوابت الكاميرا الداخلية) رتباً جوهرية أعلى بكثير من ضبط اللغة القياسي.

تفشل الطرق الحالية مثل LoRA القياسي، أو AdaLoRA، أو LoRA-MoE في تخصيص السعة ديناميكياً، مما يؤدي إما إلى نقص في الملاءمة (رتبة منخفضة جداً) أو عدم كفاءة بسبب الإفراط في المعلمات (رتبة عالية ثابتة).

2. المنهجية: LoRA-SP (الاختيار والتقليم - Select–Prune)

يقترح المؤلفون LoRA-SP، وهي طريقة ضبط دقيق تكيفية للرتبة تستبدل التحديثات ذات الرتبة الثابتة بـ تخصيص سعة يعتمد على المدخلات وعلى مستوى الطبقة.

البنية الأساسية

بدلاً من تحديث LoRA القياسي $\Delta W = BA$ (حيث $B$ و $A$ مصفوفتان ثابتتان)، يستخدم LoRA-SP توصيفاً بأسلوب SVD:
$$\Delta W(x) = U \cdot \text{diag}(s(x)) \cdot V$$

• بنك المتجهات ($U, V$): مجموعة مشتركة من متجهات الأساس (يتم تهيئتها برتبة كبيرة كافية، مثلاً $r=128$) تغطي اتجاهات التحديث المحتملة.
• الموجه (Router): شبكة MLP خفيفة الوزن تأخذ المدخل $x$ وتخرج متجهاً من القيم غير السالبة $s(x) \in \mathbb{R}^r_{\ge 0}$. تعمل هذه القيم كـ قيم مفردة مشروطة بالبيانات (Data-conditioned singular values).

آلية الاختيار والتقليم (Select–Prune)

1. الاختيار (Gating): لكل مدخل وطبقة، يقوم الموجه بتوليد درجات. يحسب النظام الطاقة التراكمية لمربعات الدرجات:
   $$E(k) = \frac{\sum_{i=1}^k s_i(x)^2}{\sum_{j=1}^r s_j(x)^2}$$
   يتم تحديد الرتبة الفعلية $k$ كأصغر مؤشر حيث $E(k) \ge \eta$ (عتبة طاقة محددة مسبقاً، مثلاً 0.9). يتم الاحتفاظ بأعلى $k$ من المتجهات فقط؛ ويتم تصفير البقية. هذا يربط الرتبة النشطة مباشرة بـ خطأ التقريب ($\sqrt{1-E(k)}$).

2. التقليم (Spectral Loss): لتشجيع الموجه على تركيز الطاقة على مجموعة دنيا من المتجهات، يتم إضافة خسارة طيفية (Spectral Loss):
   $$\mathcal{L}_{spec} = 1 - E_k(x)$$
   هذا يخلق حلقة تغذية راجعة إيجابية: المتجهات المختارة بواسطة العتبة يتم تعزيزها، بينما يتم كبح المتجهات غير المستخدمة. يسمح هذا للنموذج بتعلم محول (Adapter) مدمج يحافظ على الدقة مع تقليل الرتبة النشطة أثناء الاستدلال.

3. هدف التدريب: يجمع إجمالي الخسارة بين خسارة المهمة (مثل flow matching)، والخسارة الطيفية، وتنظيم الموجه (التوازن و z-loss).

3. المساهمات الرئيسية

1. تكميم احتياجات الرتبة: توضح الورقة عبر التحليل الطيفي ومنحنيات أداء الرتبة أن نقل الهيكل خارج التوزيع (OOD embodiment transfer) يتطلب رتباً أكبر بكثير من ضبط اللغة ويظهر حساسية عالية لاختيار الرتبة.
2. إطار عمل LoRA-SP: تقديم طريقة جديدة للضبط الدقيق تضبط السعة القابلة للتدريب ديناميكياً لكل مدخل وطبقة باستخدام موجه وتقليم قائم على الطاقة، مما يتجنب الحاجة إلى الضبط اليدوي للمعلمات الفائقة للرتبة.
3. أداء قوي متعدد المهام: التحقق من النت كلها في مهام روبوتية حقيقية يظهر أن LoRA-SP يتفوق بشكل كبير على LoRA القياسي، وLoRA-MoE، وAdaLoRA في سيناريوهات المهام المتعددة من خلال الحد من التداخل بين المهام عبر السعة التكيفية.

4. النتائج التجريبية

الإعداد:

• المهام: 4 مهام تلاعب في العالم الحقيقي (فتح وعاء، صب مكعب، ضغط زر، التقاط ووضع عنب).
• الروبوت: AgileX PiPER (بـ 7 درجات حرية)، وهو هيكل غير مرئي (Unseen embodiment) لم يكن موجوداً في بيانات ما قبل التدريب.
• النماذج الأساسية: $\pi_0$ (سعة عالية) وSmolVLA (خفيف الوزن).
• النماذج المرجعية (Baselines): الضبط الدقيق الكامل، LoRA القياسي ($r \in \{16, 32, 64, 128\}$)، AdaLoRA، وLoRA-MoE.

النتائج الرئيسية:

• الأداء: يضاهي LoRA-SP أداء الضبط الدقيق الكامل أو يتجاوزه مع تحديث عدد أقل بكثير من المعلمات.
• مكاسب المهام المتعددة: يحسن LoRA-SP معدلات النجاح في المهام المتعددة بنسبة تصل إلى 31.6% مقارنة بـ LoRA القياسي (على سبيل المثال، في SmolVLA). ينهار LoRA القياسي في إعدادات المهام المتعددة بسبب التداخل، بينما يكيف LoRA-SP السعة لكل مهمة.
• كفاءة المعلمات: يحقق LoRA-SP هذه النتائج بمتوسط رتبة نشطة يتراوح بين 60-76 (مقابل 128 لـ LoRA الكامل) ومع حوالي 9-17% فقط من إجمالي المعلمات القابلة للتدريب.
• دراسات الاستئصال (Ablation Studies):
  • الخسارة الطيفية (Spectral Loss): إزالتها تؤدي إلى ارتفاع حاد في الرتب النشطة (مثلاً قفزت رتبة وحدة اللغة من 35 إلى 107) وانخفاض الأداء، مما يثبت أن الخسارة ضرورية للتقليم.
  • هدف الطاقة ($\eta$): ضبط $\eta=0.9$ يوفر أفضل مقايضة. القيم الأقل ($\eta=0.5$) تؤدي إلى نقص في الملاءمة، بينما القيم الأعلى ($\eta=0.99$) تضاعف الرتبة مع مكاسب هامشية.
• التحليل على مستوى الطبقة: يحدد الأسلوب بشكل صحيح أن برج الرؤية (Vision Tower) يتطلب رتباً عالية (تكييف بصري معقد)، بينما يمكن لـ النموذج اللغوي (Language Model) و خبير العمل (Action Expert) العمل برتب أقل ومقلمة.

5. الأهمية

تعالج هذه الدراسة عقبة حرجة في نشر الذكاء الاصطادي الفيزيائي: عدم قدرة طرق PEFT الحالية على التعامل مع الأبعاد العالية والتعقيد المتغير لتكيف الروبوتات.

• الرؤية النظرية: تثبت أن تكييف VLA يمتلك بعداً جوهرياً أعلى من تكييف اللغة، مما يستلزم سعة مرنة بدلاً من قيود الرتب المنخفضة الثابتة.
• الأثر العملي: يتيح LoRA-SP نشر نماذج VLA بكفاءة ومتانة على روبوتات متنوعة وغير مرئية دون التكلفة الحسابية للضبط الدقيق الكامل أو عبء ضبط الرتب المثلى. وهذا يمهد الطريق لوكلاء مجسدين أكثر تنوعاً وقابلية للتعميم.