How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

إليك ملخص تقني مفصل لورقة البحث بعنوان "كيف تعالج النماذج اللغوية المدخلات خارج نطاق التوزيع: إطار عمل المسارين" للباحث حميد رضا صغير.

1. بيان المشكلة

تعالج الورقة خللاً حرجاً في طرق كشف الخروج عن النطاق (OOD) ذات الصندوق الأبيض (white-box) الحديثة للنماذج اللغوية الكبيرة (LLMs). فالطرق التي تعتمد على درجات الثقة مثل CED و RAUQ و WildGuard، والتي تعتمد على آليات الانتباه (attention mechanisms) والمسافات بين التضمينات (embedding distances)، قد سجلت أداءً قواً في اختبارات الأمان. ومع ذلك، يثبت المؤلف أن هذه النتائج مرتبطة بنيوياً بطول تسلسل المدخلات ($|r| \ge 0.61$).

• الارتباط المربك (The Confound): تعمل مقاييس الانتباه (مثل إنتروبيا الانتباه، CED، RAUQ) على "سيمبلكس" (simplex) يزداد حجمه مع طول المدخلات $T$. وبناءً على ذلك، ترث هذه المقاييس تبعية بنيوية من رتبة $\Theta(\log T)$.
• النتيجة: عند التقييم تحت ظروف مطابقة الطول (حيث يكون لعينات النطاق الطبيعي وعينات الـ OOD عدد متساوٍ من الرموز/Tokens)، تنهار هذه الطرق لتصل إلى أداء يقارب مستوى الصدفة (AUROC $\approx 0.50$). وتجادل الورقة بأن النجاحات السابقة كانت على الأرج Aval في اكتشاف فروق الطول بدلاً من اكتشاف إشارات حقيقية للخروج عن النطاق (OOD).

2. المنهجية: إطار عمل المسارين

لتحديد إشارات الـ OOD الحقيقية بعد إزالة الارتباط المربك، يقترح المؤلف إطار عمل المسارين المنظم وفقاً لـ طيف شفافية المفردات (Vocabulary-Transparency Spectrum). يميز هذا الإطار بين موضوع النص و كيفية معالجة النموذج له.

المسار (أ): مسار التضمين ($X \to Z$)

• الآلية: يستخدم التمثيلات الساكنة (التضمينات) لالتقاط المحتوى الدلالي للنص.
• نقاط القوة: فعال في حالات الـ OOD المتميز بالمفردات (مثل الرسائل المزعجة Spam، أو خطاب الكراهة HateSpeech) حيث يستخدم نص الـ OOD كلمات نادرة الظهور في توزيع التدريب.
• القصور: يفشل في حالات الـ OOD ذي النوايا المستترة (مثل عمليات كسر الحماية Jailbreaks) حيث تكون المفردات مطابقة للنصوص العادية ولكن الهيكل أو النية هي عدائية. وتظهر الورقة أن نماذج تضمين الجمل المستقلة (مثل MiniLM، BGE، إلخ) تفشل تماماً في هذه المهام بغض النظر عن قدرة النموذج.

المسار (ب): مسار مسار المعالجة ($\{h_l\}_{l=0}^L$)

• الآلية: يحلل تسلسل الحالات الخفية (hidden states) عبر الطبقات لالتقاط ديناميكيات المعالجة.
• الميزات: يستخرج المؤلف 9 ميزات عبر أربع فئات:
  1. ديناميكيات الحالة الخفية: تشابه جيب التمام (cosine similarity) بين الطبقات المتتالية (سلاسة الانتقال).
  2. هندسة التمثيل: التغيرات في انتشار/تنوع تمثيلات الرموز (tokens) عبر الطبقات.
  3. تفكيك المكونات: التوازن بين مساهمات الانتباه (Attention) والـ MLP في كل طبقة.
  4. المجسات الخاصة بالطبقة: إشارات الاضطراب في الطبقات المبكرة.
• الضمان النظري: على عكس أوزان الانتباه، فإن الحالات الخفية $h_l \in \mathbb{R}^d$ لها أبعاد ثابتة $d$ بغض النظر عن طول التسلسل $T$. لذلك، فإن ميزات المسار (تحديداً الفئتين A و G) هي مستقلة بنيوياً عن الطول.

3. المساهمات الرئيسية

1. تحديد الارتباط المربك بالطول: تثبت الورقة رسمياً وتتحقق تجريبياً من أن درجات الـ OOD المستمدة من الانتباه تعتمد بنيوياً على طول التسلسل. وتحت تقييم مطابق الطول، تنهار هذه الدرجات إلى مستويات الصدفة.
2. إطار عمل المسارين: يقترح نظرية موحدة تفسر لماذا تتطلب أنواع الـ OOD المختلفة استراتيجيات كشف مختلفة:
   • الـ OOD المتميز بالمفردات: يُكتشف بشكل أفضل بواسطة مسارات التضمين.
   • الـ OOD العدائي الهيكلي (مثل Jailbreaks): يُكتشف بشكل أفضل بواسطة مسارات مسار المعالجة.
3. استقلال الطول الرسمي: يقدم براهين رياضية (الافتراضات A.2، A.4) تظهر أن ميزات المسار القائمة على الحالات الخفية تتجنب تبعية $\Theta(\log T)$ المتأصلة في إحصائيات الانتباه.
4. الدليل الميكانيكي: يستخدم تحليل "ترقيع التنشيط السببي" (causal activation patching) وتحليل الدوائر (circuit analysis) لإظهار أن المهام العدائية (Jailbreaks) تشغل دوائر الانتباه بشكل أكبر بكثير من المهام الدلالية، بينما تشغل مهام تحول المحتوى (content-shift) دوائر الـ MLP.

4. النتائج التجريبية

تم تقييم إطار العمل على نموذج Qwen3-0.6B (أساسي) وتم التحقق من صحته عبر 6 نماذج (من 360M إلى 7B) و 6 مهام (ToxicChat, Jailbreak, HateSpeech, Spam, AGNews, JailbreakClassification).

• الأداء تحت ضبط الطول:
  • الطرق القائمة على الانتباه (CED, RAUQ, Entropy): انهارت لتصل إلى AUROC يتراوح بين 0.491 – 0.527 (تقريباً مستوى الصدفة).
  • ميزات المسار (Maha-Traj): حافظت على إشارة قوية بمتوسط AUROC بلغ 0.721.
    • Jailbreak: 0.850
    • Spam: 0.848
    • HateSpeech: 0.605
    • ToxicChat: 0.580
• تأثير التقاطع (The Crossover Effect):
  • k-NN (إشارة المحتوى/التضمين): تفوق على ميزات المسار في المهام القابلة للتمييز بالمحتوى (Spam, ToxicChat, AGNews).
  • المسار (إشارة المعالجة): تفوق على k-NN في المهام العدائية الهيكلية (Jalbreak, JailbreakClassification).
  • الدمج (Fusion): حقق دمج بوزن ثابت للمسارين متوسط AUROC بلغ 0.730، مما يثبت التكامل بينهما.
• النتائج الميكانيكية:
  • Jailbreaks: أظهرت هيمنة الانتباه (p < 0.001). كشف الترقيع السببي عن دوائر متفرقة حيث تغير رؤوس انتباه محددة تركيزها من "you/your" إلى رموز توجيهية أو ميتا-لغوية ("ignore", "prompt").
  • HateSpeech: أظهرت هيمنة الـ MLP (p = 0.002)، معتمدة على تنشيط الخلايا العصبية الموزعة بدلاً من رؤوس انتباه محددة.
  • بناء الإشارة: أظهر تحليل الطبقة 0 مقابل الطبقة الأخيرة أنه بالنسبة لـ Jailbreaks، فإن إشارة التضمين في الطبقة 0 تقترب من مستوى الصدفة (0.389)، لكن المعالجة تبني إشارة قوية (0.684) بحلول الطبقة النهائية.

5. الأهمية والآثار المترتبة

• إعادة تقييم اختبارات الأمان: تشير الورقة إلى أن العديد من نتائج كشف الأمان المنشورة بناءً على درجات الانتباه هي على الأرجح "إيجابيات كاذبة" مدفوعة باختلافات طول التسلسل بين المطالبات (prompts) الحميدة والعدائية.
• معيار جديد للتقييم: يدعو المؤلفون إلى جعل التقييم المطابق للطول (length-matched evaluation) شرطاً إلزامياً لأي طريقة كشف OOD.
• رؤية معمارية: يوفر العمل فهماً ميكانيكياً لكيفية معالجة النماذج اللغوية الكبيرة لأنواع الشذوذ المختلفة. ويقترح أن اكتشاف "كسر الحماية" يتطلب مراقبة العملية (المسار/ديناميكيات الانتباه)، بينما يمكن اكتشاف "الرسائل المزعجة" أو "خطاب الكراهة" بالاعتماد على المحتوى (التضمينات).
• التطبيق العملي: توفر الطريقة المقترحة القائمة على المسار (Maha-Traj) بديلاً قوياً، غير خاضع للإشراف، وغير مرتبط بالطول لاكتشاف المدخلات العدائية دون الحاجة إلى إعادة تدريب أو مصنفات خارجية.

باختصار، تغير هذه الورقة بشكل جذري نموذج كشف الـ OOD في النماذج اللغوية الكبيرة من خلال كشف انحياز الطول المنتشر في طرق الانتباه، وتقديم إطار عمل "المسارين" القائم على أسس نظرية والذي ينجح في الفصل بين الشذوذ القائم على المحتوى والهجمات العدائية الهيكلية.