Efficient Estimation of Kernel Surrogate Models for Task Attribution

ملخص تقني: التقدير الفعال لنماذج البديل الكيرنل (Kernel Surrogate Models) لنسب المهام

بيان المشكلة
تواجه أنظمة الذكاء الاصطناعي الحديثة، ولا سيما النماذج اللغوية الكبيرة (LLMs) والمتعلمين متعددي المهام، تحديًا جوهريًا في مسألة "نسب المهام" (Task Attribution): وهي تحديد مدى تأثير كل مهمة تدريبية فردية على أداء النموذج في مهمة مستهدفة معينة (مثل الترجمة، أو توليد الكود، أو الاستدلال). المقياس الحقيقي لهذه العملية هو "إعادة التدريب مع استبعاد عنصر واحد" (Leave-One-Out - LOO)، والذي يقيس التغير في الأداء عند استبعاد مهمة محددة من عملية التدريب. ومع ذلك، فإن عملية LOO مكلفة حوسبيًا بشكل لا يُطاق عند التوسع، حيث تتطلب $K+1$ من عمليات التدريب الكاملة لـ $K$ من المهام.

تشمل البدائل الفعالة الموجودة حاليًا دوال التأثير (Influence Functions) (التي تقدر تأثير الاضطرابات المتناهية الصغر للبيانات عبر حاصل ضرب هسيان-متجه) والنماذج البديلة الخطية (Linear Surrogate Models) (التي تتعلم خريطة خطية من مؤشرات تضمين المهام إلى الأداء). وبينما تتميز النماذج البديلة الخطية بالقدرة على التوسع، إلا أنها تقتصر على التقاط العلاقات الإضافية من الدرجة الأولى فقط؛ فهي تفشل في نمذجة التفاعلات غير الخطية بين المهام، مثل التآزر (Synergy)، أو التضاد (Antagonism)، أو تأثيرات نوع (XOR)، وهي أمور شائعة في مشاعد التعلم المعقدة.

المنهجية
تقترح الورقة البحثية إطار عمل KERNELSM (نماذج البديل الكيرنل)، وهو إطار يوسع نطاق نسبة المهام لالتقاط التفاعلات غير الخطية من الدرجة الثانية وما فوق بين مهام التدريب.

1. التحليل النظري للبدائل الخطية:
قام المؤلفون أولاً بوضع إطار عمل موحد لترجيح المهام. ومن خلال تحليل تايلور من الدرجة الثانية لدالة الأداء $F(s)$ حول متجه الوزن الموحد $s^* = [1]^K$، قاموا بتحليل النماذج البديلة الخطية:

• أثبتوا أن معاملات البديل الخطي ($\hat{\beta}$) تقرب تدرج مشهد الأداء ($\nabla_s F(s^*)$) وصولاً إلى الحدود الناجمة عن توزيع العينات وتأثيرات التفاعل من الدرجة الثانية.
• والأهم من ذلك، أظهروا أنه تحت فرضية صغر التفاعلات من الدرجة الثانية (أي مشهد شبه خطي)، فإن النماذج البديلة الخطية تكافئ تقريبًا دوال التأثير (Influence Functions). وهذا يفسر سبب عمل الطرق الخطية جيدًا في بعض الإعدادات وفشلها عندما تكون تفاعلات المهام غير إضافية.

2. نمذجة البديل الكيرنل (Kernel Surrogate Modeling):
لمعالجة عدم الإضافية، استبدل المؤلفون الخريطة الخطية بدالة غير خطية يتم تعلمها عبر انحدار كيرنل ريدج (Kernel Ridge Regression - KRR) في فضاء هيلبرت التجديدي (RKHS).

• اختيار الكيرنل: استخدموا كيرنل الدالة الشعاعية الأساسية (RBF kernel) حيث $k(s^{(a)}, s^{(b)}) = \exp(-\gamma \|s^{(a)} - s^{(b)}\|^2)$. ويعود الدافع وراء هذا الاختيار إلى هندسة فضاء المجموعات الفرعية الثنائية $\{0, 1\}^K$، حيث يقوم كيرنل RBF بتشفير المحلية بشكل طبيعي بناءً على مسافة هامينج (Hamming distance)، مما يسمح للنموذج بالتقاط التبعيات المعقدة بين مجموعات المهام.
• الهدف: تعمل دالة البديل $g_\theta$ على تقليل الخسارة التجريبية بين الأداء الملحوظ $F(s^{(i)})$ والتنبؤات، مع تنظيم عبر معيار RKHS.

3. التقدير الفعال القائم على التدرج:
بما أن العائق الرئيسي في نمذجة البديل هو الحاجة إلى تدريب $m$ من النماذج المنفصلة للحصول على قيم الأداء $F(s^{(i)})$ لـ $m$ من المجموعات الفرعية المختارة، فقد قدم المؤلفون إجراءً فعالًا للتقدير لتجنب إعادة التدريب المتكرر:

• التقريب من الدرجة الأولى: استفادوا من توسيع تايلور من الدرجة الأولى لمخرجات النموذج $f_W(x)$ حول تهيئة سابقة التدريب $W_0$: $f_W(x) \approx f_{W_0}(x) + \langle \nabla f_{W_0}(x), W - W_0 \rangle$.
• ميزات التدرج: بدلاً من إعادة التدريب، يقومون بتقدير اضطراب المعلمات الأمثل $Z^*_s$ لمجموعة فرعية $s$ عبر حل مشكلة انحدار منتظمة حيث تكون الميزات هي تدرجات النموذج المدرب مسبقًا ($\nabla f_{W_0}$).
• تقليل الأبعاد: للتعامل مع التدرجات عالية الأبعاد، طبقوا إسقاطات عشوائية غاوسية (مبرهنة جونسون-ليندستروس) لضغط مساحة الميزات، مما يتيح حسابات سريعة على وحدات المعالجة المركزية (CPUs).
• الدقة: تُظهر النتائج التجريبية أن هذا التقريب من الدرجة الأولى يتسبب في خطأ نسبي يقل عن 2% عبر مجموعات بيانات وأحجام نماذج متنوعة (تصل إلى 34 مليار معلمة).

المساهمات الرئيسية

• التوحيد النظري: أرست الورقة علاقة رسمية بين النماذج البديلة الخطية ودوال التأثير، موضحة أنها متكافئة في ظل ظروف التفاعلات غير الإضافية من الدرجة الثانية.
• نماذج البديل الكيرنل (KERNELSM): تقديم نهج قائم على الكيرنل (تحديدًا RBF) الذي يلتقط بفعالية التفاعلات غير الخطية بين المهام (التآزر/التضاد) التي تغفل عنها النماذج الخطية.
• خوارزمية تقدير قابلة للتوسع: إجراء تقدير قائم على التدرج يقرب أداء أي مجموعة فرعية من المهام باستخدام التدرجات من نموذج واحد مدرب مسبقًا، مما يلغي الحاجة إلى إعادة التدريب المتكرر مع الحفاظ على دقة عالية.
• التحقق التجريبي: تقييم شامل عبر الحسابات الحسابية النمطية (modular arithmetic)، والتعلم داخل السياق (ICL)، والتعلم المعزز متعدد الأهداف (Multi-objective RL).

النتائج التجريبية
قيم المؤلفون KERNELSM مقابل النماذج المرجعية بما في ذلك دوال التأثير، وTracIn، وTRAK، وSOURCE، والنماذج البديلة الخطية.

• دقة النسب: يتفوق KERNELSM باستمرار على النماذج المرجعية. ففي مهام الحساب النمطي (التي تتضمن هياكل XOR وتربيعية)، يحسن دقة النسب بنسبة تصل إلى 42% مقارنة بالطرق الحالية. وعبر جميع المجالات، يحقق ارتباطًا أعلى بنسبة 25% مع الحقيقة الأرضية لـ LOO مقارنة بالبدائل الخطية ودوال التأثير.
• اختيار المهام اللاحقة: عند استخدامه لاختيار المجموعات الفرعية المثلى للمهام اللاحقة:
  • التعلم داخل السياق (ICL): يحقق KERNelSM خسارة أقل بنسبة 40% في اختيار الأمثلة مقارنة بالبدائل الخطية.
  • التعلم المعزز متعدد الأهداف: يحسن المكافآت المستهدفة بنسبة 15% في اختبار Meta-World MT10.
• القابلية للتوسع: يتوسع المنهج ليشمل أعدادًا كبيرة من المهام (مثل 500 مطالبة) دون تدهور في الأداء، ويعمل بكفاءة على وحدات المعالجة المركزية.
• المتانة: يظل نهج الكيرنل متينًا تحت مختلف المحسنات (SGD, SAM, NSO) وتنظيمات هسيان، بينما تتدهور النماذج البديلة الخطية بشكل كبير عندما يكون مشهد الخسارة شديد الانحناء (Trace هسيان مرتفع).

الأهمية والادعاءات
تدعي الورقة أن KERNELSM يوفر حلاً قابلاً للتوسع ومرنًا لنسب المهام في الأنظمة "الصندوق الأسود". ومن خلال تجاوز الافتراضات الإضافية للنماذج الخطية، فإنه يتيح فهمًا أكثر دقة لكيفية تشكيل التفاعلات المعقدة وغير الخطية بين مهام التدريب لسلوك النموذج. ويؤكد المؤلفون أن نهجهم لا يعتمد على افتراضات محددة حول عملية التدريب (بخلاف التقريب من الدرجة الأولى للنموذج المدرب مسبقًا) وهو قابل للتطبيق على نطاق واسع في النماذج الناشئة مثل التعلم داخل السياق والتعلم المعزز. يجسد هذا العمل الفجوة بين دوال التأثير النظرية ونسب البيانات العملي والقابل للتوسع لأنظمة الذكاء الاصطناعي الضخمة الحديثة.