ملخص تقني: اعتماد السياق والموثوقية في النماذج اللغوية ذات التوليد الذاتي (Autoregressive)

بيان المشكلة

تقوم النماذج اللغوية الكبيرة ذات التوليد الذاتي (Autoregressive LLMs) بتوليد المخرجات من خلال التكييف مع سياقات واسعة وهيكلية، والتي غالبًا ما تحتوي على تعليمات مكررة، وحقائق متكررة، ومقاطع مسترجعة، وسجل تفاعلات. وفي التطبيقات الحرجة (مثل المجالات الطبية أو القانونية)، من الضروري تحديد أي عناصر سياقية محددة هي المسؤولة حقًا عن المخرج. ومع ذلك، فإن طرق التفسير القياسية — مثل تصور الانتباه (attention visualization)، والتدريج التدرجي (gradient saliency)، والاستئصال القائم على الاضطراب (perturbation-based ablation) — تواجه صعوبة في هذه المهمة في البيئات التي تتسم بالتكرار.

المشكلة الجوهرية هي تكرار السياق (Context redundancy). فعندما تنقل عناصر سياقية متعددة معلومات متداخلة أو متطابقة، غالبًا ما تخطئ الطرق الحالية في تخصيص الاعتماد (credit). فقد توزع الأهمية بالتساوي بين النسخ المتكررة، مما يوحي بأن مصادر مستقلة متعددة كانت ضرورية بينما كان مصدر واحد كافيًا فقط. علاوة على ذلك، تظهر هذه الطرق عدم استقرار: حيث يمكن للتغييرات الطفيفة في بنية المدخلات (مثل إعادة ترتيب القطع المسترجعة أو إعادة صياغة التعليمات) أن تؤدي إلى تحول درجات العزو (attribution scores) بشكل غير متوقع، حتى لو ظل مخرج النموذج متطابقًا. هذا الحساسية تقوض قابلية التفسير وتخلق مخاطر أمنية، مثل سيناريوهات حقن الأوامر (prompt injection) حيث قد تُنسب الأهمية خطأً لتعليمات خبيثة مكررة في الذاكرة أو السياق.

تجادل الورقة بأن نمط الفشل الأساسي هو الافتقار إلى الوعي بالاعتماد (dependence awareness). فالمناهج الحالية غالبًا ما تقيس الأهمية الهامشية أو الارتباطات السطحية بدلاً من المساهمة الشرطية الفريدة لعنصر سياقي ما بالنسبة لبقية المطالبة (prompt).

المنهجية: RISE

لمعالجة هذه التحديات، يقترح المؤلفون طريقة RISE (Scoring of Explanation - التقييم غير الحساس للتكرار)، وهي طريقة مصممة لقياس التأثير الفريد لكل عنصر مدخل مشروطًا ببقية السياق.

المفهوم الجوهري: الاعتماد الفريد الشرطي (CUD)

تستند طريقة RISE إلى نظرية المعلومات. فبدلاً من قياس مدى ارتباط وحدة سياقية $C_i$ بالمخرج $\hat{T}$، فإنها تقيس الاعتماد الفريد الشرطي (Conditional Unique Dependence - CUD):
$$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$$
حيث يمثل $I(\cdot)$ المعلومات المتبادلة الشرطية، و $C_i$ هي وحدة سياقية محددة (مثل تعليمات النظام، أو قطعة مسترجعة، أو دور في حوار)، و $C_{\setminus i}$ تمثل جميع وحدات السياق الأخرى. يقيس هذا المقياس مقدار المعلومات التي توفرها $C_i$ حول عملية التوليد والتي لا يمكن استردادها من السياق المتبقي.

درجة RISE

لتمكين المقارنة بين الوحدات، يتم تطبيع قيم CUD في درجة RISE:
$$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$$
يضمن هذا الصياغة ما يلي:

1. كبح التكرار (Redundancy Suppression): إذا كانت الوحدة نسخة مكررة من أخرى (أو يمكن استردادها بالكامل من البقية)، فإن معلوماتها المتبادلة الشرطية تكون صفرًا، وتحصل على عزو قدره صفر.
2. الاستقرار (Stability): إضافة سياق مكرر لا يغير درجات العزو للوحدات الأصلية ذات المعلومات.
3. دقة مستوى السياق (Context-Level Granularity): تعمل RISE على وحدات سياقية مهيكلة (مثل أجزاء المطالبة، أو قطع RAG) بدلاً من الرموز (tokens) الفردية، مما يجعلها مناسبة لتدقيق المسارات المعقدة.

متغيرات التنفيذ

توضح الورقة تنفيذين لهذا المبدأ:

1. RISE-Lite: وحدة تقييم خفيفة الوزن وغير مرتبطة بالنموذج (model-agnostic)، تقوم بحساب درجات مدركة للاعتماد لأغراض التدقيق والمراقبة دون تعديل النموذج.
2. المحدد المتعلم المتكامل (Integrated Learned Selector): شبكة بوابة قابلة للتدريب تستخدم مبدأ الاعتماد لانتخاب مجموعة فرعية متفرقة من وحدات السياق (مع الاحتفاظ بنافذة حديثة إلزامية ومرتكزات فريدة من أعلى $K$) أثناء الاستدلال. هذا يقلل من أبعاد المدخلات مع الحفاظ على المعلومات الأساسية.

المساهمات الرئيسية

1. تحديد التكرار كنمط فشل: حدد المؤلفون أن طرق التفسير القياسية تفشل في التمييز بين السياق الجوهري والتكرار المحض، مما يؤدي إلى "الإفراط في منح الاعتماد" للمشتتات وعدم الاستقرار تحت تأثير إعادة الصياغة أو إعادة الترتيب.
2. العزو المدرك للاعتماد (Dependence-Aware Attribution): تقترح الورقة المعلومات الشرطية كأساس مبدئي لعزو موثوق، مقدمةً RISE لتقييم أهمية وحدات السياق المهيكلة بناءً على مساهمتها الفريدة.
3. التحقق التجريبي: من خلال تجارب مضبوطة على المطالبات المكررة وتوليد النصوص المعزز بالاسترجاع (RAG)، أثبت المؤلفون أن RISE تنتج تفسيرات أكثر استقرارًا ومتانة من الطرق التقليدية القائمة على الاضطراب، وتحديدًا من خلال تقليل تضخم الأهمية الناتج عن التكرار.

النتائج التجريبية

قيم المؤلفون طريقة RISE مقابل الاستدلالات القائمة على الانتباه (attention-based heuristics) والأسس القائمة على الاضطراب (مثل LOUO) باستخدام GPT-2 ونماذج ذات أوزان مفتوحة على مجموعة بيانات SQuAD v1.1 واختبارات التكرار الاصطناعية.

• الحساسية للتكرار: أظهرت الطرق المرجعية "تجزئة عالية للاعتماد" (fragmentation of credit عبر النسخ المتكررة) وحساسية تجاه تغيرات الشكل السطحي. في المقابل، حافظت RISE على انخفاض في "تجزئة الاعتماد"، حيث كبحت بفعالية الاعتماد للوحدات المكررة.
• الاستقرار مقابل الأمانة (Stability vs. Faithfulness): بينما أظهرت طرق الانتباه استقرارًا عاليًا في الترتيب (بسبب انتشار الاعتماد عبر النسخ المتكررة)، وأظهرت طرق الاضطراب استقرارًا عاليًا (غالبًا ما تنهار على الوحدات الضرورية بنيويًا مثل السؤال)، أعطت RISE الأولوية لـ الثبات تجاه التكرار (redundancy invariance). لقد قامت عمدًا بإعادة تخصيص الاعتماد بعيدًا عن النسخ المكررة نحو الوحدات ذات المعلومات الفريدة.
• الهيمنة البنيوية: وُجد أن طرق الاضطرب تنهار على وحدة "السؤال" لأن إزالته تعطل عملية التوليد بغض النظر عن الأدلة الدلالية. تجنبت RISE-Lite ذلك من خلال التكييف مع السياق المتبقي، مما سمح لها بتحديد الأدلة المعلوماتية بشكل صحيح حتى في وجود السؤال.
• الأمانة (Faithfulness): في اختبارات الإزالة، أظهرت RISE فجوة أمانة إيجابية، مما يشير إلى أن إزالة الوحدات الأعلى ترتيبًا قللت بشكل كبير من احتمالية الإجابة الصحيحة، بينما أظهرت طرق الانتباه فجوات سلبية.

الأهمية والادعاءات

تدعي الورقة أن الوعي بالاعتماد أمر بالغ الأهمية لبناء أنظمة ذكاء اصطناي موثوقة. ومن خلال نقل العزو من الارتباطات السطحية إلى الاعتماد الشرطي الحقيقي، تعالج RISE ثلاثة أنماط فشل محددة:

1. الإفراط في منح الاعتماد للمشتتات: منع الوهم بوجود اتفاق بين مصادر مستقلة متعددة عندما كان الأمر مجرد تكرار للمعلومات.
2. عدال عدم الاستقرار: ضمان بقاء التفسيرات متسقة رغم إعادة الصياغة أو إعادة ترتيب السياق.
3. القابلية للتلاعب: تقليل خطر اعتبار التعليمات الخبيثة المحقونة أو المكررة مؤثرة بشكل خاطئ.

يؤكد المؤلفون أن RISE لا تتطلب الوصول إلى آليات النموذج الداخلية (مثل الخلايا العصبية أو رؤوس الانتباه) وتعتمد فقط على سلوك المدخلات والمخرجات الملحوظ، مما يجعلها مناسبة للمراقبة في الوقت الفعلي، والتدقيق، وتدخلات السلامة في الأنظمة الوكيلية (agentic) وأنظمة RAG. وتخلص الورقة إلى أن كبح التكرار لا يزيل المعلومات الأساسية ولكنه يمنع تضخم الأهمية مع التكرار، مما ينتج تفسيرات تعكس الاعتماد الفريد بدلاً من التكرار.