ملخص تقني: ما قبل "بارك فيرميه" (BPF) لنماذج اللغات الكبيرة المتجسدة ذات الكفاءة العالية

بيان المشكلة

تُستخدم نماذج اللغات الكبيرة (LLMs) المتجسدة بشكل متزايد في خطوط التحكم الروبوتية، مثل القيادة الذاتية، لتفسير الأوامر اللغوية الطبيعية وتكييف معاملات التحكم. ومع ذلك، تواجه هذه النماذج تحديات كبيرة في النشر بسبب الأعباء الإضافية على الذاكرة وزمن توليد الاستجابة (latency)، مما يعيق التنفيذ في الوقت الفعلي على الأجهزة ذات الموارد المحدودة (مثل Jetson AGX Orin).

بينما يوفر "التقليم" (pruning) حلاً لتقليل حجم النموذج والتكلفة الحسابية، فإن التوقيت الأمثل للتقليم ضمن مسار التدريب الخاص بالنماذج اللغوية الكبيرة المتجسدة لا يزال غير واضح. تخضع هذه الأنظمة عادةً لضبط دقيق تحت الإشراف (SFT) يليه تعلم تعزيزي (RL) مع تغذية راجعة مغلقة الحلقة.

• التقليم ما بعد التدريب (Post-training pruning): (بعد SFT و RL) يضغط النموذج النهائي، لكنه لا يمنح الأوزان المتبقية أي فرصة للتكيف مع الهياكل التي تمت إزالتها.
• التقليم ما قبل التعلم التعزيزي (Pre-RL pruning): (بعد SFT وقبل RL) يزيل الهياكل قبل أن يتعلم النموذج السلوكيات المحددة ذات الحلقة المغلقة المطلوبة للمهمة، مما قد يؤدي إلى التخلص من مكونات حيوية.
• الاختيار المباشر للنماذج الكثيفة الأصغر (Direct selection of smaller dense models): (مثل 1.5B مقابل 3B بارامتر) غالباً ما يؤدي إلى مقايضة دون المستوى الأمثل بين حجم النموذج والقدرة على التكيف في التحكم، حيث توفر النماذج الأكبر قدرات استدلال أفضل بكثير مما تستطيع النماذج الأصغر مضاهاة.

التحدي الجوهري هو تحديد متى يتم التقليم لتعظيم الاحتفاظ بقدرات الاستدلال والتحكم مع تقليل استخدام الموارد.

المنهجية: ما قبل "بارك فيرميه" (BPF)

يقترح المؤلفون ما قبل بارك فيرميه (BPF)، وهي عائلة من استراتيجيات التقليم التي تدمج الضغط مباشرة في عملية التدريب، وتحديداً عبر ربط التقليم بمرحلة التعلم التعزيزي (RL). يشير اسم "بارك فيرميه" (Parc Fermé) إلى فترة سباقات الفورمولا 1 حيث تُقفل السيارات لمنع التعديل؛ وهنا، يُستخدم مجازياً للإشارة إلى مرحلة ما بعد التدريب حيث تصبح البنية ثابتة. تقوم BPF بضغط النموذج قبل هذا الإغلاق، بينما لا يزال يتم تحسينه للسلوك ذي الحلقة المغلقة.

تستخدم الإطار العملي تقنية LLM-Pruner مع درجة أهمية قائمة على "تايلور" (Taylor-based) لإجراء تقليم هيكلي. يقيم البحث متغيرين أساسيين لـ BPF مقابل عدة نماذج مرجعية:

1. BPF-RL (التقليم التكراري أثناء RL):

   • يخضع النموذج لعملية SFT كاملة دون تقليم.
   • خلال مرحلة RL، يتم إجراء التقليم بشكل تكراري في فترات زمنية محددة مسبقاً ($\Delta t_{RL}$).
   • عند كل فترة، يتم إزالة مجموعات المعلمات ذات الدرجات الأدنى للوصول تدريجياً إلى نسبة التقليم المستهدفة.
   • يسمح هذا للأوزان المتبقية بالتكيف مع الهياكل المزالة بينما لا تزال تتلقى تغذية راجعة للمهمة ذات الحلقة المغلقة.

2. BPF-SFT/RL (التقليم المنقسم):

   • مرحلة SFT: يتم تطبيق ضغط جزئي بعد مرحلة إحماء أولية، حيث يتم إزالة جزء من النموذج ($\rho_{SFT}$).
   • مرحلة RL: يتم تحقيق بقية الضغط ($\rho - \rho_{SFT}$) بشكل تكراري أثناء RL، على غرار BPF-RL.
   • يستفيد هذا النهج من SFT لإزالة الهياكل الزائدة بوضوح بناءً على مطالبات المهمة، بينما يعتمد على تغذية RL الراجعة لتحسين الضغط بناءً على أداء الحلقة المغلقة.

النماذج المرجعية للمقارنة:

• التقليم ما بعد التدريب (PTP): التقليم المطبق بعد SFT و RL كاملين.
• PTP + Recovery: تقليم PTP متبوعاً بخطوات RL إضافية لاستعادة الأداء.
• التقليم في مرحلة SFT: خطوة ضغط واحدة أثناء SFT قبل RL.
• النماذج الكثيفة الأصغر: استخدام بنيات أصغر مباشرة (مثل Qwen2.5-1.5B) من نفس عائلة النماذج.

المساهمات الرئيسية

1. تقديم BPF: وصفة تقليم مبتكرة تربط RL بالتقليم الهيكلي لمتحكمات النماذج اللغوية الكبيرة المتجسدة، مما يثبت أن توقيت الضغط هو خيار تصميمي حاسم.
2. المقايضة بين الأداء والكفاءة: يظهر المؤلفون أن استراتيجيات BPF، وخاصة BPF-SFT/RL، تحقق مقايضات متفوقة بين حجم النموذج وأداء المهمة مقارنة بالتقليم ما بعد التدريب أو مجرد اختيار نماذج كثيفة أصغر.
3. التقييم الشامل (End-to-End): يؤكد العمل على ضرية وجوب تقييم النماذج اللغوية الكبيرة المتجسدة بشكل شمولي. فالتغييرات في عدد الرموز (tokens) المولدة بسبب التقليم يمكن أن تغير زمن الاستجابة والسلوك اللاحق، مما يستلزم تقييماً كاملاً للمسار بدلاً من تحليل المقاييس المنفصلة.

النتائج التجريبية

تم تقييم الطرق على RobotxR1، وهو مسار قيادة ذاتية يتكون من وحدتين:

• DecisionxR1: يقيم ما إذا كان السلوك الحالي يتوافق مع تعليمات المستخدم.
• MPCxR1: يكيف معاملات التحكم التنبؤي بالنماذج (MPC).

1. أداء المهمة والقدرة على التكيف

• تفوق BPF-SFT/RL: في وحدة DecisionxR1 (بـ 3 مليار بارامتر)، حققت BPF-SFT/RL أفضل مقايضة. عند نسبة تقليم 45%، حسنت القدرة على التكيف في التحكم بنسبة 11.4% مقارنة بـ PTP+R وبنسبة 17% مقارنة بـ PTP.
• المقارنة مع النماذج الأصغر: عند ضغط نموذج 3B، حققت BPF-SFT/RL مقايضة أفضل بمقدار 1.69 ضعفاً في (الحجم–الأداء النهائي) مقارنة باختيار النموذج الكثيف 1.5B مباشرة. تحديداً، قللت BPF-SFT/RL عدد البارامترات بمقدار 0.91B مع فقدان 7.61% في القدرة على التكيف، بينما أدى الانتقال إلى نموذج 1.5B إلى تقليل البارامترات بمقدار 1.55B ولكن مع خسارة 21.7% في الأداء.
• التقليم المشترك: كشف التقليم المشترك لكلا الوحدتين أن MPCxR1 أكثر حساسية للتقليم من DecisionxR1. حقق التقليل المتوسط لـ MPCxR1 (مثلاً 10%) مع تقليل أعلى لـ DecisionxR1 (مثلاً 30-45%) أفضل النتائج المثالية (Pareto-optimal).

2. النشر المدمج (Jetson AGX Orin)

• الإنتاجية والذاكرة: أظهرت النماذج المقلمة تحسينات كبيرة في إنتاجية فك التشفيد (decode throughput) وبصمة الذاكرة. على سبيل المثال، تقليل DecisionxR1 بنسبة 45% قلل الذاكرة من 2.07GB إلى 1.51GB وزاد الإنتاجية من 45 إلى 58 رمزاً/ثانية.
• دقة زمن الاستجابة (Latency Nuance): يشير البحث إلى أن تقليل البارامترات لا يؤدي تلقائياً إلى تقليل زمن الاستجابة النهائي. فالتقليم قد يزيد من إسهاب الرموز المولدة (على سبيل المثال، توليد MPCxR1 لنصوص أكثر)، مما قد يلغي المكاسب الحسابية. التكوين الأمثل لزمن الاستجابة (تقليم 20% في DecisionxR1، و0% في MPCxR1) قلل زمن الاستجابة بنسبة 19.5% مع انخفاض 0.8% فقط في أداء المهمة.

الأهمية والادعاءات

يزعم البحث أن BPF-SFT/RL تمثل الاستراتيجية الأكثر فعالية لنشر النماذج اللغوية الكبيرة المتجسدة في القيادة الذاتية. تكمن أهميتها الأساسية في إثبات أن:

1. التوقيت مهم: التقليم أثناء مرحلة RL، بينما لا يزال النموذج يتكيف مع التغذية الراجعة ذات الحلقة المغلقة، يحافظ على المزيد من قدرات الاستدلال والتحكم مقارنة بالتقليم بعد اكتمال التدريب.
2. الكفاءة مقابل القدرة: من الممكن ضغط النماذج الأكبر والأكثر قدرة بشكل كبير (مثلاً 45%) مع الاحتفاظ بمستويات أداء قريبة من النموذج الكبير الأصلي، وهو ما لا يمكن تحقيقه بمجرد الانتقال إلى نموذج كثيف أصغر.
3. التقييم الشامل: يتطلب الضغط الفعال للأنظمة الروبوتية تقييم مسار التحكم بأكمله، حيث إن التغييرات الناجمة عن التقليم في طول توليد الرموز يمكن أن تؤثر بشكل حاسم على زمن الاستجابة وسلوك النظام.

يقر المؤلفون بوجود قيود، بما في ذلك عدم وجود تدريب مشترك للوحدات المقلمة (تم تدريب MPCxR1 على مخرجات DecisionxR1 غير المقلم)، واستخدام فترات تقليم ثابتة، وغياب التقليم الواعي بالكمية (quantization-aware pruning)، والذي يتطلب حالياً إضافة حشو (padding) لمحاذاة الأبعاد مع أوقات تشغيل الاستدلال.