Probabilistic Attribution For Large Language Models

ملخص تقني: الإسناد الاحتمالي للنماذج اللغوية الكبيرة

بيان المشكلة
تعتمد الطبيعة التوليدية للنماذج اللغوية الكبيرة (LLMs) على حساب الاحتمالات الشرطية لأخذ عينات من رموز الاستجابة (tokens) بناءً على السياق السابق. وبينما يتم نشر هذه النماذج بشكل متزايد في المجالات عالية المخاطر، فإن طبيعتها كـ "صندوق أسود" تعقد عملية تقييم صلاحية المخرجات، وعدم اليقين، والتأثير المحدد لرموز المدخلات على الاستجابات المولدة. تندرج طرق الذكاء الاصطناعي القابل للتفسير (XAI) الحالية غالباً ضمن فئتين: النهج الخاص بالنموذج (مثل خرائط التباين القائمة على التدرج) والتي تتطلب الوصول إلى البنية الداخلية، والنهج المستقل عن النموذج (مثل SHAP وLIME) التي تعتمد على اضطراب المدخلات والمخرجات ولكنها قد تفتقر إلى الاستقرار أو الأمانة السببية. هناك حاجة لمنهجية تفسر سلوك النماذج اللغوية الكبيرة من خلال منظور المبادئ الإحصائية الأولى، وبشكل مستقل عن البنية الحسابية الكامنة، لفهم حساسية الرموز، واستقرار النموذج، وتقارب التدريب بشكل أفضل.

المنهجية
يضع المؤلفون استدلال النماذج اللغوية الكبيرة ضمن الإطار الرياضي للعمليات العشوائية. في هذا الإطار، يُنظر إلى النموذج اللغوي الكبير كعنصر يحدد توزيعاً احتمالياً عبر تسلسلات من الرموز، حيث يتم بناء مقياس الاحتمال من بيانات تدريب النموذج. جوهر المنهجية هو درجة الإسناد (AS)، وهي مقياس مستقل عن النموذج مصمم لقياس أهمية رمز معين في المطالبة (prompt) بالنظر إلى استجابة معينة.

يتم اشتقاق درجة الإسناد (AS) عن طريق عكس لوغاريتم احتمالات الرمز التالي باستخدام قاعدة بايز. وتحديداً، بالنسبة للمطالبة $p$ والاستجابة $r$، تُعرف درجة الإسناد $A_\mu$ للرمز رقم $\mu$ في المطالبة بأنها نسبة اللوغاريتم للاحتمالين التاليين:

1. احتمال الاستجابة $r$ بشرط المطالبة الكاملة $p$.
2. احتمال الاستجابة $r$ بشرط المطالبة مع استبعاد الرمز $\mu$ (أي $p$ حيث يُسمح لـ $p_\mu$ بأخذ أي قيمة في المفردات).

رياضياً، $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$.

بما أن النماذج اللغوية الكبيرة لا تخرج مباشرة احتمالات للتسلسلات غير المتصلة أو المستبعدة، فقد اشتق المؤلفون طريقة لإعادة بناء المقام باستخدام الاحتمالات الشرطية القياسية الصادرة عن النموذج فقط (المعادلات 4-9). يتضمن ذلك الجمع عبر جميع الرموز الممكنة في المفردات للموضع المستبعد، مع وزن احتمالية السياق المتبقي.

وكمكمل لدرجة الإسناد، يقدم المؤلفون مقاييس الاعتلاج السياقي (Contextual Entropy):

• الاعتلاج السياقي للمطالبة فقط ($S^{(P)}$): اعتلاج توزيع الرموز عند موضع معين مشروطاً برموز المطالبة المتبقية فقط.
• الاعتلاج السياقي للمطالبة + الاستجابة ($S^{(P+R)}$): الاعتلاج المشروط بكل من المطالبة المتبقية والاستجابة المولدة.
• تباعد KL: التباعد بين توزيعات الرموز تحت هذين السياقين، ويُستخدم للكشف عن الشذوذ حيث تغير الاستجابة بشكل كبير عدم اليقين بشأن رمز المطالبة.

بالإضافة إلى ذلك، يتم حساب اعتلاج الاستبدال (Replacement Entropy) عن طريق قياس توزيع التكرار لمطابقات الاستجابة الدقيقة عند استبدال رموز المطالبة بأفضل 90% من الرموز المرشحة، مما يوفر مقياساً تجريبياً لاستقرار الاستجابة.

المساهمات الرئيسية
يحدد البحث أربع مساهمات رئيسية:

1. الإسناد المستقل عن النموذج: درجة الإسناد قابلة للتطبيق على مهام توليد النصوص عبر أي نموذج لغوي كبير دون الحاجة إلى الوصول إلى الأوزان الداخلية أو التدرجات، اعتماداً فقط على لوغاريتمات الاحتمالات الصادرة.
2. تصميم خالٍ من المعلمات (Parameter-Free): لا تتطلب الطريقة أي معلمات فائقة (على عكس LIME أو ReAgent)، مما يعزز قابلية التكرار والموضوعية.
3. مقاييس الاستقرار والتقارب: تعمل مقاييس الاعتلاج السياقي والاستبدالي كمؤشرات على استقرار النموذج ودرجة تقاربه مع توزيع بيانات التدريب الخاصة به.
4. الحساسية المدمجة: نظراً لأن الطريقة قائمة على المبادئ الإحصائية الأولى، فإن درجة الإسناد تقيم بطبيعتها صحة النتائج القابلة للتفسير كجزء من منهجيتها الأساسية.

النتائج التجريبية
قيم المؤلفون 8 نماذج لغوية كبيرة (تتراوح من 137 مليون إلى 1.7 مليار معلمة، بما في ذلك متغيرات GPT-2 وGPT-Neo وLlama وQwen) عبر 7 مطالبات تتضمن مهام متنوعة (مثل فهم القراءة، واسترجاع الحقائق، والاستعلامات الخداعية).

• حساسية الرموز: ارتبطت قيم AS العالية بالرموز التي كانت حاسمة لاستجابة معينة، بينما أشارت قيم AS السالبة إلى الرموز التي كان النموذج يفضل استبدالها في سياق الاستجابة.
• تقارب النموذج: كشف تحليل الاعتلاج السياقي أن النماذج الأقدم (GPT-2، GPT-Neo) أظهرت اعتلاجاً أعلى عند قيم AS القريبة من الصفر مقارنة بالنماذج الحديثة المضبوطة للتعليمات (مثل Llama 3.1). فسر المؤلفون الاعتلاج العالي عند قيم AS القريبة من الصفر بأنها "رموز ضوضائية" (noise tokens): وهي رموز تساهم قلياً في احتمالية الاستجابة ومع ذلك تظل غير مقيدة بالسياق، مما يشير إلى ضعف تقارب التدريب في النماذج الأقدم.
• كشف الشذوذ: نجح الإطار في تحديد شذوذات محددة، مثل الرموز التي يفضل فيها النموذج إعادة صياغة المطالبة (على سبيل المثال، تفضيل "في" بدلاً من "?" في سؤال معين) أو الحالات التي يؤدي فيها سياق الاستجابة بشكل غير متوقع إلى توسيع توزيع الرموز (زيادة الاعتلاج).
• التقييم مقابل خطوط أساس XAI: تمت مقارنة AS مع Input X Gradient وGradient Shapley وLIME وOcclusion وReAgent باستخدام مقاييس مثل Infidelity وDeletion/NAOPC وComprehensiveness وSufficiency. حققت AS أداءً تنافسياً، وغالباً ما تفوقت على الطرق الأخرى، مع ملاحظة قوتها عبر نماذج مختلفة دون ضبط خاص بالبنية.
• التكلفة الحسابية: الطريقة مكثفة حسابياً، حيث تتطلب ساعات من وحدة معالجة الرسومات (GPU) تتناسب مع حجم المفردات بسبب الجمع عبر جميع الرموز البديلة الممكنة. ومع ذلك، أشار المؤلفون إلى إمكانية التحسين عن طريق قصر عمليات الجمع على الرموز ذات الاحتمالية الأعلى.

الأهمية والادعاءات
يزعم البحث أنه من خلال صياغة النماذج اللغوية الكبيرة كعمليات عشوائية، فإنه يقدم إطاراً صارماً ومستقلاً عن النموذج لتفسير البيانات، يتجنب الافتراضات المتعلقة بـ "تمثيل المعرفة" الداخلية. تكمن الأهمية في القدرة على:

• قياس التأثير السببي لرموز المطالبة على الاستجابات دون الوصول إلى مكونات النموذج الداخلية.
• تشخيص جودة تدريب النموذج (التقارب) من خلال تحليل الاعتلاج، وتحديد "الرموز الضوضائية" التي تشير إلى ضعف التدريب.
• توجيه المستخدمين إلى الأجزاء غير المستقرة أو غير المؤكدة من التوليد، مما يحسن التفسير.
• العمل كخط أساس خالٍ من المعلمات لضبط المعلمات الفائقة لطرق XAI الأخرى الأكثر سرعة.

خلص المؤلفون إلى أنه على الرغم من التكاليف الحسابية المرتفعة التي تفرضها الطريقة، إلا أنها تقدم فهماً أعمق وأكثر استناداً إحصائياً لسلوك النماذج اللغوية الكبيرة، مما يتيح تحديد أوجه القصور في التدريب وهندسة المطالبات لإنتاج استجابات أكثر تماسكاً.