ملخص تقني: Faithful-Patchscopes

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) قدرة على تفسير تمثيلاتها الخفية الداخلية من خلال إطار عمل Patchscopes (Ghandeharioun et al., 2024). يقوم هذا الإطار بفك تشفير الحالات الخفية إلى تفسيرات قابلة للقراءة من قبل البشر عن طريق "رقع" (patching) تمثيل مصدر في مطالبة مستهدفة. ومع ذلك، تحدد هذه الورقة البحثية قصوراً حرجاً: عدم الأمانة المنهجي (systematic unfaithfulness) في هذه التفسيرات.

يلاحظ المؤلفون أن النماذج اللغوية الكبيرة غالباً ما تعتمد على الأنماط اللغوية المتأصلة (المقدمات التجريبية) بدلاً من المعلومات السياقية المشفرة في التمثيلات الخفية أثناء عملية فك التشفير. على سبيل المثال، إذا كان التمثيل الخفي يشفر سمة "الأرجواني" لـ "البروكلي" (على عكس الارتباط الشائع للبروكلي باللون "الأخضر")، فإن النموذج غالباً ما يتجاهل "الأرجواني" المشفر ويولد "الأخضر" في تفسيره. هذا السلوك مدفوع بـ تحيز النموذج الناتج عن الأنماط اللغوية غير المتوازنة في بيانات التدريب، حيث تطغى الارتباطات عالية التكرار على السمات السياقية منخفضة التكرار.

تجادل الورقة بأن طرق إزالة التحيز الحالية غير مناسبة لـ Patchscopes:

• الضبط الدقيق الخاضع للإشراف (SFT): يتطلب مجموعات بيانات مشروحة مكلفة ويغير معلمات النموذج عالمياً، مما يؤدي إلى تغيير التمثيلات الخفية الأصلية التي تهدف Patchscopes إلى شرحها.
• الطرق القائمة على المطالبات (Prompt-based methods): غير مستقرة وحساسة للغاية لتصميم المطالبة.
• تدخلات ناقلات التوجيه (Steering vector interventions): تفترض وجود التحيز في اتجاهات محددة جيداً وقابلة للفصل خطياً، وهو أمر يصعب تقديره بشكل موثوق.

2. المنهجية

2.1. مجموعة البيانات والتحليل

لدراسة هذه القضية بشكل منهجي، أنشأ المؤلفون مجموعة بيانات تغطي أربع مهام: اللون، الجنس، الثقافة، والعمر.

• المجموعة المتحيزة (Biased Subset): تحتوي على أزواج (اسم-سمة) حيث يظهر النموذج تفضيلاً قوياً لسمة أساسية ($a_{pri}$) بناءً على التكرار اللغوي (مثلاً: بروكلي $\leftarrow$ أخضر)، بينما يتم توفير سمة ثانوية ($a_{sec}$) سياقياً (مثلاً: بروكلي $\leftarrow$ أرجواني).
• المجموعة غير المتحيزة (Non-biased Subset): تحتوي على أزواج لا يوجد فيها تفضيل لغوي قوي.

النتائج:

• الرابط السببي: يؤكد تحليل الانحدار اللوجستي أن الأنماط اللغوية غير المتوازنة (فجوات التكرار بين السمات) هي محدد ذو معنى لتحيز النموذج. زيادة مقدار واحد من الانحراف المعياري في فرق التكرار تزيد من احتمالات التحيز بمعامل قدره ~9.3.
• انخفاض الأمانة: في المجموعة المتحيزة، تنخفض أمانة Vanilla Patchscopes (مقاسة بـ معدل الظهور Show Rate، وهو نسبة توليد السمة الصحيحة) بمتوسط 18.84% مقارنة بالمجموعة غير المتحيزة.

2.2. تحديد الطبقات الحساسة للتحيز

يقترح المؤلفون طريقة لتحديد الطبقات المحددة التي يتم فيها تشفير التحيز ويبدأ في التأثير على الحسابات اللاحقة. لقد قدموا مقياسين:

1. فرق اللوجيت (Logit Difference - LD): يقيس الفرق في اللوجيتات بين السمة المتوافقة مع السياق والسمة المتحيزة في كل طبقة باستخدام نهج (logit-lens).
2. محاذاة تشابه التدرج (Gradient Similarity Alignment - GSA): يقيس المحاذاة بين تدرج المخرجات واتجاه السمة لتحديد ما إذا كان النموذج يعتمد على معلومات متحيزة أم سياقية.

يتم دمج هذه المقاييس في درجة اختيار الطبقة ($l^*$) لتحديد الطبقة المثلى للتدخل. وجد المؤلفون أن التحيز ليس موزعاً بشكل موحد ولكنه يظهر في الطبقات المتوسطة.

2.3. الحل المقترح: BALOR

تقدم الورقة إعادة معايرة اللوجيت من خلال محاذاة التحيز (Bias Alignment through Logit Recalibration - BALOR)، وهو تدخل عند وقت فك التشفير يخفف من التحيز دون تعديل معلمات النموذج.

الآلية الجوهرية:
تستخدم BALOR زوجاً من المطالبات التباينية:

• المطالبة المستهدفة ($T$): تحتوي على التمثيل الخفي المرقع (الذي يشفر السمة السياقية).
• المطالبة التباينية ($T^*$): تستبدل المكان النائب بالرمز الأصلي، وهي تحتوي على لا معلومات سياقية، وبالتالي تعكس فقط التحيز/المقدمات التجريبية للنموذج.

إعادة معايرة اللوجيت:
تقوم الطريقة بطرح لوجيتات المطالبة التباينية الموزونة من لوجيتات المطالبة المستهدفة قبل تطبيق دالة (softmax):
$$p_{balor}(y | T) = \sigma \left[ (1 + \alpha) l_\theta(y | T) - \alpha l_\theta(y | T^*) \right]$$
حيث أن:

• $l_\theta(y | T)$ و $l_\theta(y | T^*)$ هما اللوجيتات قبل الـ softmax.
• $\alpha$ هو معلم فائق (hyperparameter) يتحكم في مستوى التضخيم.

الضمان النظري:
يثبت المبرهن 4.1 أنه في مساحة الـ (log-odds)، إذا كانت السمة مدعومة بالدليل المرقع أكثر مما هي مدعومة بالمقدمة التباينية، فإن BALOR تزيد من تفضيلها النسبي بشكل رتيب مع زيادة $\alpha$. هذا يعزل مكون التحيز بفعالية ويضخم المعلومات السياقية.

الأنماط (Modes):

• المشترك (النمط S): يُستخدم التوزيع المعاد معايرته لأخذ عينات من الرموز لكلا المطالبتين، مما يحافظ على تزامن التسلسلات.
• المقسم (النمط D): تُطبق إعادة المعايرة فقط على المطالبة المستهدفة؛ وتتم فك تشفير المطالبة التباينية باستخدام اللوجيتات الأصلية.

3. المساهمات الرئيسية

1. مجموعة البيانات والتحليل: تصميم مجموعة بيانات لتقييم Patchscopes تحت ظروف متحيزة، مما أظهر أن تحيز النموذج يحد بشكل أساسي من أمانة التفسير (مما يسبب انخفاضاً في الأداء يتراوح بين 11.84% إلى 28.47%).
2. BALOR: تقديم طريقة فك تشفير لإعادة معايرة اللوجيت تخفف من التحيز في مرحلة الاستنتاج من خلال مقابلة التمثيلات المرقعة مع المقدمات التجريبية.
3. التحقق التجريبي: إجراء تجارب واسعة النطاق عبر أربعة نماذج لغوية حديثة (Llama2-7b, Llama3.2-1b, Llama3-8b, Qwen3-4b)، مما أظهر تفوق BALOR المستمر على النماذج المرجعية.

4. النتائج التجريبية

أجريت التجارب في إعدادات التعلم بدون أمثلة (zero-shot) و التعلم مع أمثلة قليلة (few-shot) عبر المهام الأربع.

• الأداء: تفوق BALOR (تحديداً النمط S) باستمرار على جميع النماذج المرجعية، بما في ذلك Vanilla Patchscopes، وطرق التوجيه بالمطالبة (Closed-Book, Internal-Evidence, Data-Bound)، و SFT، و FairSteer.
• التحسن: حققت BALOR تحسناً نسبياً يصل إلى 33% في معدل الظهور (SR) مقارنة بالنموذج المرجعي الأساسي.
• الاستقرار: أظهر النمط S استقراراً عالياً عبر مختلف المعلمات الفائقة ($\alpha$) ودرجات حرارة أخذ العينات (sampling temperatures). أظهر النمط D تبايناً أكبر وعدم استقرار عرضي بسبب تباعد التسلسل بين المطالبتين.
• المقارنة:
  • النماذج المرجعية القائمة على المطالبة كانت غير مستقرة وغالباً ما كان أداؤها أقل من النموذج المرجعي الأساسي.
  • طرق SFT تدهورت بشكل كبير عندما تتعارض بيانات الضبط الدقيق مع بيانات التقييم.
  • أدى FairSteer إلى أداء ضعيف عندما كان اتجاه إزالة التحيز غير دقيق.

5. الأهمية والادعاءات

تدعي الورقة أن الأنماط اللغوية غير المتوازنة تسبب تحيز النموذج الذي يشوه أمانة تفسيرات التمثيل الخفي. ومن خلال اقتراح BALOR، يقدم المؤلفون آلية لاستعادة المعلومات الحقيقية المشفرة في التمثيلات الخفية دون تغيير معلمات النموذج أو تمثيلاته الداخلية.

يؤكد المؤلفون أن عملهم يحسن من موثوقية قابلية التفسير في النماذج اللغوية الكبيرة. ويذكرون أنه بينما تعزز طريقتهم الأمانة، يجب عدم معاملة التفسيرات الناتجة كدليل قاطع على استدلال النموذج، بل يجب استخدامها جنباً إلى جنب مع تقنيات تقييم تكميلية. يهدف العمل إلى مساعدة الباحثين على فهم كيفية تشفير واستخدام النماذج اللغوية الكبيرة للمعلومات السياقية، وهو أمر بالغ الأهمية للنشر الموثوق لهذه النماذج. ولا يتوقع المؤلفون أي عواقب مجتمعية سلبية ناتجة مباشرة عن هذا العمل.