AEGIS: Anchor-Enforced Gradient Isolation for Knowledge-Preserving Vision-Language-Action Fine-Tuning

1. بيان المشكلة: عدم التماثل في تدرجات الوسائط المتعددة (Cross-Modal Gradient Asymmetry)

تتناول الورقة البحثية نمط فشل حرج عند تكييف نماذج الرؤية واللغة (VLMs) سابقة التدريب للتحكم الروبوتي (نماذج الرؤية-اللغة-الأكشن أو VLA).

• الصراع الجوهري: يتم تدريب نماذج (VLMs) مسبقاً باستخدام فقدان الإنتروبيا المتقاطعة (Cross-Entropy loss) على مجموعات بيانات ضخمة من الصور والنصوص، مما يخ creates (يخلق) فضاءً دلالياً (semantic manifold) عالي الأبعاد وحساساً للغاية. ومع ذلك، فإن الضبط الدقيق للروبوتات يستخدم خبراء مطابقة التدفق (Flow-Matching) المدربين باستخدام فقدان متوسط مربع الخطأ (MSE) للتنبؤ بالأفعال الحركية المستمرة.
• عدم تطابق الأبعاد الطيفية:
  • تدرجات الـ CE: عالية الرتبة (High-rank)، وموزعة عبر مئات الأبعاد المفردة لترميز العلاقات الدلالية المعقدة.
  • تدرجات الـ MSE: منخفضة الرتبة (Low-rank)، وذات قدر عالٍ، ومركزة في فضاء فرعي فيزيائي ضيق (مثل أوامر المحركات بـ 7 درجات حرية).
• النتيجة: عندما تقوم المحسنات القياسية بنشر تدرجات الـ MSE المركزة وعالية القدرة إلى الخلف (backpropagate) داخل العمود الفقري لنموذج الـ VLM، فإنها تقوم بالكتابة فوق الأوزان الدلالية الدقيقة بشكل عشوائي. يتسبب هذا في النسيان الكارثي (catastrophic forgetting)، حيث تتدهور قدرة النموذج على الإجابة على الأسئلة البصرية (VQA) بسرعة، حتى لو تعلم المهمة الروبوتية.
• محدودية الحلول الحالية:
  • إيقاف التدرج (Stop-Gradient): قطع مسار التدرج يحافظ على الـ VQA ولكنه يتخلص من الإشراف المستمر الغني، مما يجبر النموذج على الاعتماد على رموز وسيطة منفصلة (وهو ما يضغط الأفعال المستمرة في فضاء ترميز غريب).
  • LoRA (التكيف منخفض الرتبة): يقيد السعة (capacity) للتحديثات ولكن ليس اتجاهها. إذا تم إسقاط تدرج الـ MSE المدمر في الفضاء الفرعي منخفض الرتبة، فإن LoRA سينفذ عملية الكتابة فوق الأوزان بأمانة، مما يفشل في منع تآكل الـ VQA.
  • التدريب المشترك (Co-training): خلط بيانات VQA في دفعات التدريب يضاعف تكاليف الحوسبة ويتطلب الوصول إلى مجموعات البيانات الأصلية.

2. المنهجية: AEGIS (نظام عزل التدرج المرتكز على المرساة)

إن AEGIS هو إطار عمل لإسقاط التدرج المتعامد على مستوى الطبقات وبدون استخدام مخزن مؤقت (buffer-free)، يعمل حصرياً أثناء عملية الانتشار العكسي (backward pass)، دون تغيير عملية الانتشار الأمامي (forward pass) أو بنية النموذج. إنه يحل عدم التماثل في التدرجات عن طريق عزل مكونات التدرج المدمرة دون التخلص من الإشراف المستمر.

المكونات الرئيسية:

1. مرساة Wasserstein-2 الثابتة:

   • قبل الضبط الدقيق، يقوم AEGIS بحساب الإحصائيات الغاوسية (المتوسط $\mu_0$ والتباين $\sigma_0^2$) للحالات الخفية (hidden states) لنموذج VLM عبر جميع طبقات الـ 26 لـ Transformer باستخدام عمليات تمرير أمامي لـ VQA مقنعة (masked).
   • هذا ينشئ نقطة مرجعية ثابتة على فضاء Wasserstein-2 تمثل التوزيع الدلالي السابق للتدريب.
   • ملاحظة: يستخدم أقنعة انتباه كاملة (الصور + النصوص) لالتقاط الفضاء الدلالي الكامل، مستبعداً رموز الحشو (padding tokens).

2. عقوبة نقل Wasserstein-2 ($L_{OT}$):

   • أثناء التدريب، يحسب AEGIS مسافة $W_2$ المربعة بين إحصائيات التنشيط الحالية والمرساة الثابتة.
   • باستخدام مقياس Bures، يتم تفكيك هذه المسافة إلى حد إزاحة المتوسط (mean-shift) وحد عدم تطابق الانحراف المعياري.
   • من المهم ملاحظة أن $L_{OT}$ ليس مضافاً إلى دالة الفقد (loss function). بدلاً من ذلك، يُستخدم لتوليد تدرج مرجعي ($g_{ot}$) عبر تمرير خلفي ثانٍ. هذا التدرج يشير إلى الاتجاه الذي من شأنه استعادة التنشيطات إلى المرساة السابقة للتدريب.

3. إسقاط التدرج المتعامد على مستوى الطبقات:

   • يقوم AEGIS بعملية انتشار عكسي مزدوج متسلسل:
     1. استخراج تدرج المهمة ($g_{task}$) من فقدان مطابقة التدفق (Flow-Matching).
     2. استخراج تدرج المرساة ($g_{ot}$) من عقوبة $W_2$.
   • إسقاط Gram-Schmidt: لكل طبقة Transformer، يتم إسقاط تدرج المهمة على المتمم المتعامد لتدرج المرساة.
     • إذا كان حاصل الضرب النقطي $\langle g_{task}, g_{ot} \rangle < 0$ (تداخل مدمر)، يتم طرح المكون المتداخل:
       $$g_{final} = g_{task} - \alpha g_{ot}$$
     • إذا كان حاصل الضرب النقطي موجباً (تداخل بناء)، يمر التدرج دون تغيير.
   • الدقة (Granularity): يتم تطبيق الإسقاط على مستوى الطبقة (تجميع جميع الأوزان في طبقة Transformer واحدة)، وليس عالمياً أو لكل تنسور على حدة. هذا يحافظ على الاقتران الهندسي الداخلي لرؤوس الانتباه (projections q, k, v, o) مع حل التداخل عند كل عمق.

3. المساهمات الرئيسية

1. تحديد السبب الجذري: تحدد الورقة رسمياً عدم التماثل في تدرجات الوسائط المتعددة (Cross-Modal Gradient Asymmetry) كاختلاف هندسي بين تدرجات MSE منخفضة الرتبة وفضاءات CE عالية الرتبة، وتثبت أن هذا هو المحرك الرئيسي للنسيان الكارثي في نماذج VLA.
2. إطار عمل AEGIS: يقدم طريقة مبتكرة بدون مخزن مؤقت تستخدم مرساة إحصائية سابقة الحساب وهندسة Wasserstein لإجراء إسقاط تدرج متعامد على مستوى الطبقات.
3. التفوق على LoRA: يثبت أن LoRA يفشل لأنه يقيد السعة وليس الاتجاه، بينما يقيد AEGIS الاتجاه مع السماح بتحديثات كاملة الرتبة (full-rank).
4. لا يتطلب تدريباً مشتركاً: يحقق AEGIS حفظ المعرفة دون الحاجة لخلط بيانات VQA في دفعات التدريب، ودون الحاجة لمخازن إعادة التشغيل (replay buffers)، ودون الحاجة لترميز منفصل (discrete tokenization).

4. النتائج التجريبية

قيم المؤلفون AEGIS على نموذج PaliGemma2-3B الذي تم ضبطه بدقة على معيار التحكم الروبوتي LIBERO، مقارنة بالضبط الدقيق الساذج (Naive Fine-Tuning)، وطريقة Stop-Gradient + FAST، وLoRA.

• الحفاظ على VQA (الاحتفاظ بالمعرفة):

  • الضبط الدقيق الساذج (Naive FT): ارتفع فقدان VQA بشكل حاد (من ~0.39 إلى ~0.78)، مما يشير إلى نسيان شديد.
  • LoRA: أظهر تدهوراً متأخراً ولكن مستمراً.
  • AEGIS: حافظ على فقدان VQA قريباً من خط الأساس السابق للتدريب طوال 1,500 خطوة.
  • Stop-Gradient: حافظ على VQA بشكل مثالي ولكنه فشل في تعلم الأفعال المستمرة بفعالية.
  • تقييم OOD (خارج التوزيع): في اختبار OK-VQA، حقق AEGIS دقة 60.23% (مطابقة للأساس السابق للتدريب البالغ 60.15%)، بينما انخفض Naive FT إلى 57.36% وLoRA إلى 59.32%.

• تعلم الأفعال (أداء المهمة):

  • حقق AEGIS تقارباً في هدف مطابقة التدفق المستمر بشكل يضاهي الضبط الدقيق الساذج، مما يثبت أن الإسقاط المتعامد لا يعيق تعلم المهمة الروبوتية.
  • أظهرت طرق Stop-Gradient أعلى فقدان MSE، مما يؤكد ضرورة التدرجات المستمرة للتعلم الأمثل للأفعال.

• ديناميكيات التدرج:

  • الطاقة المفقودة: أزال AEGIS فقط ~0.62% من طاقة التدرج في المتوسط، مما يثبت أن المكون المدمر ضئيل هندسياً ولكنه كارثي تراكمياً.
  • معدل الاختناق (Throttle Rate): حدث التداخل المدمر في حوالي 51% من الطبقات لكل خطوة، مما يسلط الضوء على الطبيعة المنتشرة لهذا الصراع.
  • الهندسة: وُجد أن تدرجات المهمة والمرساة متعامدان تقريباً في المتوسط ($\cos \theta \approx 0.008$)، حيث ينشأ التداخل المدمر من تقلبات سالبة عابرة.

5. الأهمية والأثر

• تحول في النموذج الفكري: ينتقل AEGIS من مجرد "قيود السعة" (LoRA) أو "قطع التدرج" (Stop-Gradient) إلى معالجة الاتجاه الهندسي للتحديثات. وهو يثبت أنه يمكن تعلم سياسات التحكم المستمر مباشرة من التدرجات الخام دون تدمير المعرفة الدلالية السابقة للتدريب.
• الكفاءة: من خلال إلغاء الحاجة إلى بيانات التدريب المشترك أو مخازن إعادة التشغيل، يقلل AEGIS من الأعباء الحسابية والبيانات المرتبطة بمسارات تدريب نماذج VLA الصناعية الحالية.
• القابلية للتوسع: طريقة AEGIS متوافقة مع البنى التحتية الحالية ويمكن دمجها نظرياً مع LoRA (لتقييد السعة) وAEGIS (لتقييد الاتجاه) لتحقيق حفظ أقوى.
• رؤية نظرية: تسلط هذه الدراسة الضوء على أن النسيان الكارثي في الضبط الدقيق لـ VLA ليس مشكلة نقص بيانات، بل هو مشكلة عدم توافق هندسي، يمكن حلها عبر الإسقاط المتعامد على فضاء Wasserstein.

باخت-صار، يوفر AEGIS حلاً رياضياً فعالاً من حيث الحوسبة لمشكلة "النسيان" في النماذج الروبوتية التأسيسية، مما يسمح بتدريب وكلاء قادرين للغاية على المهام الفيزيائية مع الاحتفاظ بمعارفهم العالمية الأصلية.