Interaction-Aware Influence Functions for Group Attribution

ملخص تقني: دالات التأثير الواعية بالتفاعل لنسب المجموعات

بيان المشكلة
تُعد دالات التأثير (Influence functions) أداة أساسية لتقريب كيفية تغيير إزالة مثال تدريبي معين للدالة المستهدفة، مثل خسارة (loss) مجموعة بيانات محجوزة. الممارسة القياسية لتقدير تأثير مجموعة من الأمثلة هي جمع التأثيرات الفردية لأعضائها. ومع ذلك، فإن هذا النهج الجمعي يفترض أن الأمثلة تساهم بشكل مستقل، مما يفشل في التقاط التأثيرات المشتركة. في الواقع، يمكن أن تكون الأمثلة زائدة عن الحاجة (على سبيل المثال، النسخ المتكررة القريبة) أو متكاملة (على سبيل المثال، سمات متشابهة مع تسميات مختلفة). يؤدي جمع التأثيرات الفردية إلى مضاعفة حساب الأمثلة الزائدة عن الحاجة ويغفل التأثيرات التآزرية للأمثلة المتكاملة، مما يؤدي إلى نسب مجموعات سيئ وتحديد بيانات غير أمثل (مثل اختيار مجموعات فرعية شديدة التكرار). المحاولات السابقة لمعالجة ذلك، مثل تصحيحات الدرجة الثانية لإزاحة المعلمات، غالبًا ما تغفل كيفية استجابة الدالة المستهدفة نفسها لهذه الإزاحات.

المنهجية
يقترح المؤلفون دالة تأثير واعية بالتفاعل توضح كيفية تأثير التفاعلات بين الأمثلة بشكل مشترك على الدالة المستهدفة. الابتكار الجوهري هو توسيع الدالة المستهدفة $f$ إلى الدرجة الثانية حول المعلمات المدربة $\hat{\theta}$، بدلاً من مجرد خطية إزاحة المعلمات.

1. التوسع من الدرجة الثانية:
   يتم تقريب تأثير ترك المجموعة الفعلي $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ عن طريق توسيع $f$ إلى الدرجة الثانية:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{التأثير من الدرجة الأولى}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{حد التفاعل}}$$
   هنا، $u_S = \sum_{z_i \in S} u_i$ هي إزاحة المعلمات الإجمالية، حيث $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$، و $H_f = \nabla^2_\theta f(\hat{\theta})$ هو هسيان (Hessian) الدالة المستهدفة.

2. حد التفاعل الثنائي:
   ينقسم الحد الثاني (حد التفاعل) إلى مجموع مساهمات زوجية $\kappa(z_i, z_j) = u_i^\top H_f u_j$.

   • التفسير: إذا كان $H_f$ موجباً محدداً، فإن $\kappa(z_i, z_j)$ يعمل كضرب داخلي يقيس مدى توافق تأثير المثالين على الدالة المستهدفة.
   • التكرار مقابل التكامل: يكون الحد موجباً عندما تدفع الأمثلة النموذج في اتجاهات متشابهة (تكرار، عوائد متناقصة) وسالباً عندما تدفعه في اتجاهات متضادة (تكامل، تأثير مشترك مفيد).
   • التحليل ذو الصيغة المغلقة: بالنسبة للانحدار اللوجستي الثنائي، يثبت المؤلفون أن $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$. وهذا يستعيد رسمياً مبدأ أن الأمثلة المتشابهة مع تسميات مختلفة هي متكاملة، بينما الأمثلة المتشابهة مع نفس التسمية هي زائدة عن الحاجة.

3. اختيار البيانات الجشع (Greedy Selection):
   لتطبيق ذلك على اختيار البيانات (إيجاد مجموعة فرعية $S$ تقلل الهدف عند إضافتها)، يشتق المؤلفون درجة هامشية $m(z_i | S)$ لإضافة مرشح $z_i$ إلى مجموعة $S$ مختارة بالفعل. تتضمن هذه الدرجة حداً هو $u_S^\top H_f u_i$ يعاقب المرشحين المشابهين لما تم اختياره بالفعل، مما يوازن بفعالية بين الجودة الفردية وتنوع المجموعة دون الحاجة إلى آلية تنوع خارجية.

المساهمات الرئيسية

• إطار نظري: دالة تقدير لتأثير جديد تعزز التأثير القياسي من الدرجة الأولى بحد تفاعل زوجي مشتق من التوسع من الدرجة الثانية للدالة المستهدفة. يختلف هذا عن العمل السابق الذي وسع إزاحة المعلمات (مثل Basu et al. [5])، مما يوفر بنية زوجية أكثر استقراراً وقابلية للتفسير.
• ضمانات نظرية: إثبات أن حد التفاعل يرمز لمبادئ التعلم الخاضع للإشراف الكلاسيكية (تكامل الأزواج المتشابهة عبر الفئات، وتكرار الأزواج المتشابطة لنفس الفئة) في تحليل ذي صيغة مغلقة للانحدار اللوجستي، وهو قابل للتوسيع لنماذج التصنيف متعددة الفئات العميقة.
• كفاءة خوارزمية: إجراء اختيار جشع (Algorithm 1) بتعقيد $O(KPd)$ يقوم بحساب الكميات اللازمة مسبقاً ويحدث مجمعاً (accumulator)، مما يجعله قابلاً للتوسع للبيانات والنماذج الكبيرة.

النتائج التجريبية
تم تقييم الطريقة في مجالين رئيسيين:

1. الأمانة تجاه إعادة التدريب (النماذج صغيرة النطاق):

   • الإعداد: تم التقييم على ستة أزواج من (مجموعة بيانات-نموذج) (الانحدار اللوجستي، MLPs، ResNet-9) عبر مهام التصنيف والانحدار.
   • المقياس: معامل ارتباط سبيرمان بين التأثير المقدر وتأثير إعادة التدريب الحقيقي لترك المجموعة.
   • النتيجة: حقق المقدر الواعي بالتفاعل (F+I) أعلى ارتباط في جميع الإعدادات، متفوقاً بشكل كبير على التأثير القياسي من الدرجة الأولى (F) وتصحيح إزاحة المعلمات من الدرجة الثانية (F+B). ومن الجدير بالذكر أن F+B أظهر عدم استقرار، مما يؤكد سوء التكييف النظري لتوسيع إزاحة المعلمات في الإعدادات غير المحدبة.

2. اختيار المجموعات الفرعية (النطاق الصغير والنماذج اللغوية الكبيرة LLMs):

   • النطاق الصغير (MLPs): على MNIST و FashionMNIST، انهار اختيار البيانات القائم على التأثير القياسي (F) على عدد قليل من الفئات، وكان أداؤه أسوأ من الاختيار العشوائي. حافظت الطريقة الواعية بالتفاعل على إنتروبيا فئات مقاربة للاختيار العشوائي وحققت أدنى خسارة اختبار محجوزة.
   • النماذج اللغوية الكبيرة (Llama-3.1-8B): طُبقت على اختيار بيانات ضبط التعليمات من مجموعة تضم حوالي 270 ألف مثال.
   • النتيجة: تفوقت الطريقة المقترحة على الاختيار العشوائي في جميع المهام السبع (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). حققت أفضل أداء إجمالي في خمس من المهام السبع، متفوقة على كل من الأساليب المرجعية القائمة على التأثير (Additive IF, LESS) والأساليب المرجعية القائمة على تشابه التمثيل (RDS+, NV-Embed). والأهم من ذلك، أن الاختيار القائم على التأثير القياسي (Additive IF) كان أداؤه أسوأ من الاختيار العشوائي في معظم المهام، مما يسلط الض الضوء على فشل التقييم الجمعي في هذا النطاق.

الأهمية والادعاءات
يزعم البحث أن نسبة المجموعات تتعلق جوهرياً بكيفية تأثير أمثلة التدريب على الهدف، وليس فقط على إزاحة المعلمات. من خلال توصيف التفاعلات عبر تأثيرها المشترك على الهدف، تعالج الطريقة المقترحة "النقطة العمياء" للتقييم الجمعي، والتي تؤدي إلى اختيار بيانات زائدة عن الحاجة. يوضح المؤلفون أن مراعاة هذه التفاعلات أمر بالغ الأهمية لكل من التقدير الدقيق لتأثير المجموعة واختيار مجموعات تدريب متنوعة وفعالة. توفر الطة تصحيحاً من الدرجة الثانية مبنياً على مبدأ، ينبثق طبيعياً من انحناء الدالة المستهدفة، بدلاً من الاعتماد على عقوبات تنوع مفروضة خارجياً.

القيود
أشار المؤلفون إلى قيدين رئيسيين:

1. إجراء الاختيار الجشع، رغم فعاليته، يفتقر إلى ضمانات المثالية الرسمية.
2. يرث المقدر أخطاء التقريب من تقديرات الهسيان الأساسية (مثل EK-FAC، أو الإسقاطات منخفضة الرتبة). قد يستفيد العمل المستقبلي من التطورات في تقدير مقلوب الهسيان القابل للتوسع.