Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs

إليك ملخص تقني مفصل لورقة البحث بعنوان "Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs" (عزو الرموز المعزز بهيسيان: تفسير النماذج اللغوية الكبيرة ذاتية الانحدار).

1. بيان المشكلة

تعالج الورقة التحدي الحرج المتمثل في تفسير النماذج اللغوية الكبيرة (LLMs) ذاتية الانحدار (المكونة من فك التشفير فقط - decoder-only). وبينما توجد طرق للذكاء الاصطناعي القابل للتفسير (XAI) مثل "التدرجات المتكاملة" (Integrated Gradients)، وLIME، و"تدحرج الانتباه" (attention rollout)، إلا أنها تواجه قيوداً كبيرة عند تطبيقها على النماذج التوليدية:

• عدم التوافق الهيكلي: صُممت معظم الطرق للنماذج القائمة على المشفر (encoder-based) ثنائية الاتجاه، وهي تفشل في مراعاة الطبيعة السببية ذاتية الانحدار للنماذج القائمة على فك التشفير، حيث لا يمكن للرموز المستقبلية أن تؤثر على الماضي.
• قصور الرتبة الأولى: تعتمد طرق التدرج القياسية على التقريبات الخطية، وغالباً ما تفشل في المناطق "المسطحة" من مشهد الخسارة (على سبيل المثال، مناطق تشبع تنشيطات ReLU أو GELU) حيث تتلاشى التدرجات، رغم أن الرمز لا يزال يمتلك تأثيراً سببياً كبيلاً على المخرجات.
• سوء تفسير الانتباه: تشير أوزان الانتباه إلى أين "ينظر" النموذج، لكنها لا تعكس بالضرورة التأثير السببي، لأنها تتجاهل حجم متجهات القيم (value vectors) والتفاعلات غير الخطية.
• عدم الاستقرار: تنتج الطرق الموجودة حالياً نسباً (attributions) غير متسقة عندما تتغير معاملات فك التشفير (مثل درجة الحرارة temperature، أو top-p) أو عند إعادة صياغة المدخلات نحو قواعد لغوية مختلفة.

2. المنهجية: عزو الرموز المعزز بهيسيان (HETA)

إن HETA هو إطار عمل مبتكر مصمم خصيصاً للنماذج اللغوية الكبيرة ذاتية الانحلار (decoder-only). يقوم بتفكيك عزو الرموز إلى ثلاثة مكونات متكاملة لالتقاط الاتجاهية السببية، والحساسية غير الخطية، والأثر المعلوماتي.

يُعرَّف عزو الرمز النهائي للرمز $x_i$ المساهم في الرمز المستهدف $x_T$ كالتالي:
$$\text{Attr}(x_i \to x_T) = M_T[i] \cdot \left( \beta S^{(T)}_i + \gamma I(x_i \to x_T) \right)$$

المكونات الرئيسية:

1. تأثير الانتقال الدلالي (البوابة السببية، $M_T[i]$):

   • الهدف: فرض السببية المشروطة بالهدف.
   • الآلية: يتتبع تدفقات القيم الموزونة بالانتباه عبر الطبقات، ولكنه يجمع فقط المسارات التي تنتهي عند الرمز المستهدف $T$ (مع احترام قناع السببية/causal mask).
   • الصيغة: يحسب "تدحرج" (rollot) لمصفوفات الانتباه ومتجهات القيم، مع تطبيعها لتشكيل "سيمبلكس" (simplex). يضمن ذلك أن الرموز التي ليس لها مسار سببي إلى الهدف تحصل على عزو صفري، مما يستبعد الارتباطات الزائفة.

2. الحساسية القائمة على هيسيان ($S^{(T)}_i$):

   • الهدف: التقاط التأثيرات من الدرجة الثانية (غير الخطية) التي تغفل عنها التدرجات.
   • الآلية: يقدر انحناء سطح لوغاريتم الاحتمالية بالنسبة لتضمينات المدخلات (input embeddings).
   • التنفيذ: بما أن حساب مصفوفة "هيسيان" الكاملة غير ممكن عملياً، تستخدم HETA "حاصل ضرب هيسيان والمتجه" (HVPs) عبر مقدرات Hutchinson (باستخدام متجهات Rademacher) وحيلة Pearlmutter. كما تستخدم اختيارياً تقريبات منخفضة الرتبة لضمان القابلية للتوسع.
   • الأهمية: يلتقط هذا المكون التأثير في المناطق التي تكون فيها التدرجات صفراً ولكن الاضطرابات المحدودة تسبب تغييرات كبيرة في المخرجات (مثل مناطق التنشيط المشبعة).

3. تباعد KL للمساهمة المعلوماتية ($I(x_i \to x_T)$):

   • الهدف: قياس الأثر المعلوماتي للرمز.
   • الآلية: يحسب تباعد كولباك - ليبلر (KL divergence) بين توزيع احتمالية الرمز المستهدف مع السياق الأصلي، والتوزيع عند حجب الرمز $x_i$.
   • الأهمية: يقيس هذا المكون "الدهشة" (surprisal) أو فقدان المعلومات الناتج عن إزالة رمز ما، مما يوفر أساساً احتمالياً لأهميته.

التحسين: تعمل الأوزان $\beta$ و $\gamma$ على موازنة حساسية الانحناء ومكاسب المعلومات. تم تنفيذ الطريقة باستخدام النوافذ (windowing) والتقريبات منخفضة الرتبة للتعامل مع السياقات الطويلة بكفاءة.

3. المساهمات الرئيسية

1. إطار عمل مبتكر (HETA): أول طريقة عزو تجمع صراحة بين تتبع التدفق الدلالي، وحساسية هيسيان من الدرجة الثانية، وفقدان المعلومات القائم على KL، والمصممة خصيصاً للبنى القائمة على فك التشفير.
2. مجموعة بيانات معيارية منسقة: تقديم مجموعة بيانات جديدة (2,000 حالة) تجمع بين NarrativeQA (سياق مشتت) و SCIQ (سياق حامل للإجابة). يسمح هذا بالتقييم المنهجي لما إذا كانت طرق العزو تحدد الأدلة التنبؤية بشكل صحيح مع تجاهل المشتتات الغنية دلالياً ولكن غير ذات صلة.
3. مقياس تقييم جديد (DSA): مقياس عزو الجملة المعتمدة (DSA)، الذي يحدد درجة تركيز كتلة العزو على نطاق الأدلة الصحيح مقابل نطاقات المشتتات.
4. التحقق التجريبي الشامل: تجارب واسعة النطاق عبر أربعة نماذج متنوعة (GPT-J, LLaMA-3.1, Phi-3, Qwen2.5) وعدة معايير، مما أظهر أداءً فائقاً على جميع النماذج المرجعية القوية.

4. النتائج التجريبية

تم تقييم HETA مقابل أقوى النماذج المرجعية بما في ذلك Integrated Gradients (IG)، وAttention Rollout، وContextCite، وTDD، وPeering، وReAgent.

• الأمانة (الاستقرار): حققت HETA أعلى درجات في Soft-NC و Soft-NS (لقياس الاستقرار تحت اضطرابات المدخلات). على سبيل المثال، في نموذج GPT-J، سجلت HETA درجة 10.3 في LongRA، متفوقة على أقرب منافس لها (ReAgent) بأكثر من ضعفين.
• المواءمة (البشر/التعليق التوضيحي): في المجموعة المنسقة، حققت HETA درجة DSA قدرها 4.80 (في GPT-J) و 5.10 (في LLaMA-3.1)، متفوقة بشكل كبير على جميع النماذج المرجعية (التي سجلت غالباً قيماً سالبة، مما يشير إلى تركيزها على المشتتات).
• الاستقرار تجاه المعاملات (Hyperparameters): أظهرت HETA استقراراً ملحوظاً (تغير أقل من 1%) عند تغيير معاملات فك التشفيد (temperature, top-p, top-k). في المقابل، تذبذبت النماذج المرجعية بنسبة 2-5%.
• الاستقرار تجاه القواعد (Syntax): حافظت HETA على اتساق عالٍ تحت تأثير إعادة الصياغة من المبني للمعلوم إلى المبني للمجهول، وتحت تأثير ضجيج غاوسي (Gaussian noise).
• دراسات الاستئصال (Ablation Studies): أدى حذف أي مكون منفرد (التدفق الدلالي، أو هيسيان، أو KL) إلى انخفاض كبير في الأداء، مما يؤكد ضرورة وجود المكونات الثلاثة معاً لضمان العزو الأمين.

5. الأهمية والأثر

• التقدم النظري: تتجاوز HETA التقريبات الخطية، حيث توفر نهجاً مؤسساً رياضياً يأخذ في الاعتبار الطبيعة غير الخطية وعالية الأبعاد لأسطح اتخاذ القرار في النماذج اللغوية الكبيرة.
• الموثوقية العملية: من خلال فصل العزو عن الهيورستيات العشوائية لفك التشفير، تقدم HETA أداة أكثر موثوقية لتصحيح الأخطاء (debugging)، وتدقيق السلامة، وفهم سلوك النماذج في المجالات عالية المخاطر.
• القابلية للتوسع: رغم التكلفة الحسابية لتقدير هيسيان، أثبت المؤلفون أن استخدام التقريبات منخفضة الرتبة والنوافذ (windowing) يسمح لـ HETA بالتوسع مع السياقات الطويلة (أكثر من 2 ألف رمز) مع عبء إضافي يمكن إدارته (حوالي 1.4 ضعف وقت تشغيل طرق التدرج، ولكن بجودة أعلى بكثير).
• وضع معيار جديد: تضع هذه الورقة معياراً جديداً للتفسير في النماذج التوليدية، مؤكدة أن طرق العزو المستقبلية يجب أن تدمج البوابات السببية والحساسية من الرتب العليا لتكون أمينة حقاً.

ختاماً، تمثل HETA قفزة نوعية في قابلية تفسير النماذج اللغوية الكبيرة، حيث تحل مشكلة "الصندوق الأسود" للنماذج ذاتية الانحدار عبر دمج الدلالات السببية، والانحناء الهندسي، ونظرية المعلومات في إطار عمل عزو موحد وقوي.