TAPIOCA: Why Task- Aware Pruning Improves OOD model Capability

ملخص تقني: TAPIOCA – لماذا يحسن التقليم الواعي بالمهمة قدرة النماذج على التعامل مع البيانات خارج التوزيع (OOD)

بيان المشكلة
أظهرت الأبحاث الحديثة أن إزالة الطبقات من النماذج اللغوية الكبيرة (LLMs) أثناء الاستنتاج — وتحديداً من خلال طرق التقليم الواعية بالمهمة مثل TALE (إزالة الطبقات الواعية بالمهمة) — يمكن أن يحسن الأداء في مهام محددة دون الحاجة لإعادة التدريب. ومع ذلك، لا تزال الآليات التي تقف وراء هذه المكاسب غير واضحة. ويتمثل السؤال المركزي فيما إذا كانت هذه التحسينات ناتجة عن فوائد الضغط العام، أو تأثيرات التنظيم (regularization)، أو تفاعلات محددة بين التمثيلات الداخلية للنموذج وتوزيع المدخلات. علاوة على ذلك، فمن غير المعروف ما إذا كانت هذه المكاسب عالمية أم أنها مقتصرة على أنواع معينة من التحولات في البيانات.

المنهجية
يتقصى المؤلفون هذه الظاهرة باستخدام مزيج من التجارب الاصطناعية المنضبطة والتقييمات واسعة النطاق على النماذج اللغوية الكبيرة التي خضعت لضبط دقيق (fine-tuned).

1. إعداد الانحدار المنضبط: تبدأ الدراسة بنموذج ترانسفورمر مكون من 12 طبقة تم تدريبه من الصفر على الانحدار الخطي داخل السياق (in-context linear regression). تم تحديد توزيع التدريب بشكل صريح (المعاملات يتم أخذ عينات منها من التوزيع الموحد $U(-1, 1)$). يقيم المؤلفون النموذج على كل من البيانات داخل التوزيع (ID) (نفس التوزيع) والبيانات خارج التوزيع (OOD) (المعاملات يتم أخذ عينات منها من فترات أوسع $U(-\sigma, \sigma)$ حيث $\sigma > 1$). يطبق الباحثون TALE، وهو خوارزمية تقليم جشعة تقوم بإزالة الطبقات لتعظيم دقة التحقق على توزيع معين.
2. تقييم النماذج اللغوية الكبيرة واسع النطاق: تم توسيع النتائج لتشمل نماذج لغوية كبيرة خضعت لضبط دقيق (Llama 3.1 8B و GPT-OSS 120B) متخصصة في الاستدلال الرياضي وتوليد الكود البرمجي. هنا، يكون التوزيع "المتكيف" هو مهمة الضبط الدقيق (مثل MATH500)، وتشمل مهام خارج التوزيع (OOD) معايير عامة مثل MMLU و BoolQ.
3. التحليل الهندسي والسببي: لتفسير لماذا يعمل التقليم، يحلل المؤلفون هندسة الحالات المخفية. يقيسون معايير التمثيل عبر الطبقات والمسافات الزوجية بين الرموز (tokens). كما يستخدمون بدائل خطية محلية لتقريب تحويلات الطبقات ويجرون تدخلات سببية، مثل إدخال خرائط بديلة عكسية وإعادة تحجيم تحديثات المتبقي (residual updates)، لعزل تأثير التشوه الهندسي.

النتائج الرئيسية

• مكاسب خاصة بـ OOD: النتيجة التجريبية الأساسية هي أن التقليم الواعي بالمهمة يحقق مكاسب في الأداء فقط تحت ظروف تحول التوزيع. عند التقييم على التوزيع الذي تكيف معه النموذج (ID)، فإن TALE إما يفشل في تحسين الأداء أو يؤدي فعلياً إلى تدهوره عبر إزالة طبقات ضرورية للدقة المثلى. وعلى العكس من ذلك، في بيانات OOD، ينجح TALE باستمرار في تحديد وإزالة الطبقات التي تحسن الدقة.
• عدم تطابق هندسة التمثيل: يوضح المؤلفون أن مدخلات OOD تسبب هندسة تمثيل مشوهة مقارنة بمدخلات ID. وتحديداً، تسبب مدخلات OOD انحرافاً منهجياً في معايير الحالات المخفية والمسافات الزوجية عبر الطبقات مقارنة بمدخلات ID. في حالة الانحدار، تسبب مدخلات OOD تضخماً في المسافات عبر الطبقات؛ وفي النماذج اللغوية الكبيرة، تبتعد مسارات OOD عن مسارات ID في الطبقات المتوسطة والمتأخرة.
• آلية التضخيم: تحدد الدراسة أن بعض الطبقات تعمل كـ "مضخمات تعتمد على التوزيع". في مدخلات ID، تؤدي هذه الطبقات وظائف تحسين مفيدة. ومع ذلك، في مدخلات OOD، تظهر نفس هذه الطبقات تضخيماً عالي الكسب ومنخفض الرتبة (high-gain, low-rank amplification)، مما يدفع التمثيلات بعيداً عن الهندسة المتكيفة مع المهمة. يحسن TALE الأداء عن طريق إزالة هذه الطبقات المحددة، مما يمنع تضخيم التشوه الهندسي.
• المحاذاة، وليس مجرد الانكماش: لا يكتفي التقليم بقمع معايير التنشيط فحسب. في التجارب التي يتم فيها عكس اتجاه تحول التوزيع (التدريب على توزيعات واسعة، والاختبار على توزيعات ضيقة)، يقوم التقليم بـ توسيع مسافات التمثيل لتتماشى مع ملف تعريف ID. الآلية الجوهرية هي إعادة محاذاة تمثيلات OOD نحو الهندسة التي تم تعلمها أثناء التكيف، بغض النظر عما إذا كان ذلك يتطلب انكماشاً أو توسيعاً.
• الأدلة السببية: تؤكد التدخلات السببية أن التشوه الهندسي هو المحرك لخسارة الأداء. إن إدخال خريطة بديلة عكسية بعد طبقة مقلصة (لإلغاء التأثير الهندسي للطبقة) يستعيد أداء OOD إلى مستوى قريب جداً من النموذج المقلص. وبالمثل، فإن إعادة تحجيم تحديث المتبقي لطبقة مختارة يحسن الدقة بشكل مستمر مع تخفيف مساهمة الطبقة، مما ينفي كون العيوب الطوبولوجية أو مجرد التكرار هي السبب الوحيد.

الأهمية والادعاءات
يزعم البحث تقديم تفسير هندسي جديد لنجاح التقليم أثناء الاستنتاج. ويجادل بأن أهمية الطبقة ليست ثابتة بل هي مشروطة بكل من المهمة وتوزيع المدخلات. ويفترض المؤلفون أن النماذج المدربة مسبقاً تشفر وظائف متعددة متخصصة في المهام، كل منها مرتبط بهندسة تمثيل محلية. تتوافق مدخلات ID مع هذه الهندسة، بينما تنتهك مدخلات OOD ذلك.

تكمن أهمية هذا العمل في:

1. توضيح حدود التقليم: يثبت أن التقليم الواعي بالمهمة ليس معززاً عالمياً للأداء، بل هو آلية تصحيحية لتحول التوزيع.
2. التفسير الهندسي: ينقل فهم تكرار الطبقات من مجرد أعداد بارامترات ثابتة إلى تشوهات هندسية ديناميكية تعتمد على التوزيع.
3. الرؤية الميكانيكية: يوفر أدلة سببية على أن مكاسب الأداء تنبع من تصحيح مسار التمثيلات الداخلية لتتطابق مع هندسة التمثيل التي تم التكيف معها، بدلاً من زيادة سعة النموذج أو تقليل الضجيج.

يخلص المؤلفون إلى أن التقريم يحسن أداء OOD عن طريق إضعاف الطبقات التي تضخم عدم التطابق بين توزيع المدخلات وهندسة المهمة المتعلمة، مما يعيد محاذاة الحالة الداخلية للنموذج فعلياً مع الظروف التي تم تحسينه وفقاً لها.