The Attribution Contract: Feature Attribution for Generative Language Models

ملخص تقني: عقد الإسناد (The Attribution Contract)

بيان المشكلة
تواجه طرق إسناد الميزات (Feature attribution)، المصممة لتحديد أي من ميزات المدخلات هي التي تدفع مخرجات النموذج، غموضاً مفاهيمياً جوهرياً عند تطبيقها على النماذج اللغوية التوليدية (LMs). في حالات التصنيف الكلاسيكية، يكون مخطط (المدخل-المخرج) ثابتاً ($x \to f(x)$)، وتكون الميزات محددة بوضوح كعناصر مدخلات. ومع ذلك، تعمل النماذج اللغوية التوليدية عبر عمليات ديناميكية حيث تصبح المخرجات السابقة مدخلات للتنبؤات اللاحقة (في النماذج ذات التوليد الذاتي - autoregressive) أو حيث يستمر التوليد من خلال عملية إزالة ضجيج تكرارية (في نماذج الانتشار - diffusion models).

يخلق هذا الاختلاف الهيكلي "غموض إسناد" (attribution ambiguity): فغالباً ما يكون من غير الواضح ما الذي يشكل "ميزة" أو ما هو "المخرج" المحدد الذي يتم تفسيره. على سبيل المثال، في النموذج ذي التوليد الذاتي، تكون الرموز (tokens) التي تم توليدها سابقاً هي مخرجات للنموذج ومدخلات للتنبؤ التالي في آن واحد. وبناءً على ذلك، يمكن لنفس خوارزمية الإسناد أن تعطي نتائج مختلفة اعتماداً على ما إذا كان الهدف هو تفسير تنبؤ "الرمز التالي" المحلي، أو تفسير تأثير المطالبة (prompt) الأصلية على التسلسل بأكمله المولد. يجادل البحث بأن العديد من حالات عدم الاتفاق الملحوظة في الأدبيات المتعلقة بإسناد الميزات في النماذج التوليدية ليست صراعات بين الخوارزميات، بل هي صراعات ناشئة عن عقود تفسيرية غير معلنة أو غير متطابقة.

المنهجية: عقد الإسناد
لحل هذا الغموض، قدم المؤلفون عقد الإسناد (Attribution Contract)، وهو عبارة عن مجموعة (tuple) توصيفية رسمية $A = (S, C, O, P, E)$ تحدد النطاق التفسيري لأي ادعاء متعلق بإسناد الميزات. مكوناتها هي:

• $S$ (الدرجة/النتيجة - Score): كمية النموذج المحددة التي يتم إسنادها (مثل: اللوغاريتم، الاحتمالية، الخسارة، أو احتمالية اللوغاريت - log-likelihood).
• $C$ (الاشتراط - Conditioning): المتغيرات التي يتم تثبيتها أثناء حساب الإسناد (مثل: تثبيت البادئة المولدة مع إسناد القيمة فقط للمطالبة).
• $O$ (المخرج - Output): الهدف المحدد المراد تفسيره (مثل: رمز واحد تالٍ، حالة وسيطة في نموذج الانتشار، أو نطاق كامل مولد).
• $P$ (العملية - Process): العملية التوليدية المفترضة (مثل: سلسلة التوليد الذاتي $x \to y_1 \to \dots \to y_t$ أو سلسلة الانتشار $z_T \to \dots \to z_0 \to y$).
• $E$ (الميزات المؤهلة - Eligible Features): مجموعة الميزات المسموح لها باستقبال الإسناد (مثل: رموز المطالبة فقط، المطالبة بالإضافة إلى البادئة المولدة، أو مراحل إزالة الضجيج).

يوضح البحث أن إطار "عقد الإسناد" يسمح بالاستنتاج الدقيق لمختلف الإعدادات المختلفة. وهو يصنف الإعدادات الحالية والمحتملة إلى:

1. إعدادات التوليد الذاتي (Autoregressive Settings):
   • الرمز التالي المحلي (Local Next-Token): ينسب التنبؤ بالرمز $y_t$ إلى كل من رموز المطالبة والبادئة المولدة.
   • الرمز المشروط بالمطالبة (Prompt-Conditioned Token): ينسب $y_t$ إلى رموز المطالبة فقط، مع تثبيت البادئة المولدة.
   • نطاق المطالبة على مستوى النطاق (Span-Level Prompt): ينسب احتمالية نطاق كامل مولد $y_{1:T}$ إلى رموز المطالبة، مع تثبيت النطاق.
2. إعدادات الانتشار (Diffusion Settings):
   • على مستوى الحالة (State-Level): ينسب حالة وسيطة $z_t$ إلى المطالبة والحالات السابقة.
   • مرحلة إزالة الضجيج (Denoising-Stage): ينسب خصائص المخرج النهائي إلى مراحل محددة من عملية إزالة الضجيض.
   • المطالبة إلى المخرج (Prompt-to-Output): ينسب المخرج النهائي $y$ إلى رموز المطالبة، مع اعتبار سلسلة إزالة الضجيج هي العملية.

المساهمات الرئيسية
يقدم البحث أربع مساهمات رئيسية:

1. تحديد غموض العقد (Identification of Contract Ambiguity): حدد "غموض العقد" كنمط فشل متميز في إسناد الميزات التوليدية، حيث يؤدي غياب تحديد الإعداد التفسيري إلى سوء التفسير.
2. إطار عقد الإسناد (The Attribution Contract Framework): اقترح مجموعة $(S, C, O, P, E)$ لتعريف الهدف، الميزات المؤهلة، العملية التوليدية، نظام الاشتراط، ودرجة الإسناد لأي ادعاء.
3. مغالطة الإسناد الذاتي (The Self-Attribution Fallacy): حدد خطأً تفسيرياً محدداً حيث يتم تفسير الإسناد إلى رموز البادئة المولدة (وهو أمر صحيح بموجب عقد "الرمز التالي المحلي") بشكل خاطئ للإجابة على سؤال متعلق بالمطالبة (مثل: "هل تسببت الوثيقة المصدر في حدوث هذه الهلوسة؟"). يوضح البحث أن الإجابة على الأخير تتطلب عقداً مشروطاً بالمطالبة حيث يتم تثبيت البادئة.
4. تقييم (الطريقة-العقد) (Method-Contract Evaluation): يجادل بأن طرق إسناد الميزات في النماذج اللغوية التوليدية يجب تقييمها كـ أزواج (طريقة-عقد) بدلاً من كونها خوارไซمات مجردة من السياق. لا يمكن الحكم على الطريقة بأنها "جيدة" أو "سيئة" بمعزل عن غيرها؛ بل تعتمد صلاحيتها على مدى توافقها مع العقد المحدد.

النتائج والتحليل
لا يقدم البحث تجارب معيارية جديدة أو خوارزميات مبتكرة، بل يقدم تحليلاً نظرياً وإعادة تقييم للأدبيات الموجودة من خلال منظور عقد الإسناد.

• التوفيق بين الأدبيات: يظهر المؤلفون أن الطرق التي يُنظر إليها غالباً على أنها متنافسة (مثل ContextCite مقابل Inseq) هي في الواقع تجيب على أسئلة مختلفة محددة بعقود مختلفة. يعمل ContextCite بموجب عقد "المطالبة إلى المخرج"، بينما يعمل Inseq عادةً بموجب عقد "الرمز التالي المحلي".
• آثار التقييم: يفصل البحث كيف يجب أن تتغير مقاييس التقييم بناءً على العقد. على سبيل المثال، يتطلب تقييم "إسناد المطالبة على مستوى النطاق" تغيير المطالبة وقياس التغيير في احتمالية اللوغاريتم للنطاق الأصب الثابت، وليس إعادة توليد تسلسل جديد. إعادة توليد تسلسل سيختبر عقداً مختلفاً (مثل: "المطالبة إلى المخرج").
• خصوصيات الانتشار: يسلط التحليل الضوء على أن نماذج الانتشار تتطلب عقوداً تأخذ في الاعتبار الحالات الوسيطة ومراحل إزالة الضجيج، والتي ليس لها نظير مباشر في النماذج ذات التوليد الذاتي.

الأهمية والادعاءات
يزعم البحث أن عقد الإسناد ضروري لإضفاء الدقة على إسناد الميزات في النمذجة التوليدية. ومن خلال جعل الإعداد التفسيري صريحاً، يقوم الإطار بـ:

• توضيح سبب إنتاج نفس طريقة الإسناد لخرائط مختلفة اعتماداً على التجسيد.
• منع "مغالطة الإسناد الذاتي"، مما يضمن عدم إساءة الممارسين إسناد سبب التوليد إلى المطالبة عندما كان الإسناد في الواقع مدفوعاً بالرموز السابقة للنموذج نفسه.
• إرساء حقيقة أنه لا توجد خريطة إسناد واحدة "جيدة" للنماذج التوليدية؛ بل يجب أن يكون التقييم خاصاً بالعقد.

يضع المؤلفون هذا العمل ليس كبديل لخوارزميات الإسناد الموجودة، بل كطبقة توصيف ضرورية لجعل الادعاءات المتعلقة بهذه الطرق قابلة للمقارنة والتفسير. تكمن الأهمية في تحويل النقاش من الجدل حول الخوارزميات إلى تحديد الأسئلة التفسيرية الدقيقة التي تهدف تلك الخوارزميات إلى الإجابة عليها.