Architecture Determines Observability in Transformers

إليك ملخص تقني مفصل لورقة البحث "البنية المعمارية تحدد قابلية المراقبة في نماذج المحولات (Transformers)" للكاتب توماس كارمايكل.

١. بيان المشكلة

كثيراً ما تقع النماذج اللغوية الكبيرة (LLMs) ذات التوليد الذاتي (Autoregressive) في أخطاء واثقة—وهي حالات تُنتج فيها النماذج رمزاً (token) باحتمالية "softmax" عالية (ثقة عالية) ومع ذلك يكون خاطئاً. تفشل تقنيات المراقبة القياسية، التي تعتمد على ثقة المخرجات (مثل أقصى احتمالية softmax) أو المتنبئات المدربة على الطبقة النهائية، في رصد هذه الأخطاء.

تفترض الورقة أنه لكي تنجح المراقبة القائمة على التنشيط (activation-based monitoring)، يجب أن يحافظ النموذج على إشارة داخلية تتعلق بـ "جودة قرار كل رمز" تكون متميزة عن إشارة ثقة المخرجات ولا يمكن استردادها بالكامل منها. ومع ذلك، ليس من الواضح ما إذا كانت هذه الإشارة خاصية عالمية لنماذج المحولات (transformers) أم أنها تعتمد على خيارات معمارية وديناميكيات تدريب محددة. المشكلة الجوهرية هي أن طرق الاستقصاء (probing) القياسية غالباً ما تخلط بين "جودة القرار" و"ثقة المخرجات"، مما يؤدي إلى تقديرات متضخمة لقابلية المراقبة.

٢. المنهجية

يقترح المؤلفون إطاراً صارماً لعزل وقياس قابلية المراقبة (Observability)، والتي تُعرف بأنها إمكانية القراءة الخطية لجودة القرار من تنشيطات الطبقات المتوسطة المجمدة بعد التحكم في ثقة المخرجات.

التعريفات والمقاييس الرئيسية

• قابلية المراقبة ($\rho_{partial}$): معامل ارتباط سبيرمان الجزئي بين مستقصٍ خطي (linear probe) على الحالات الخفية ($h^{(l)}$) وبين خسارة "الإنتروبيا المتقاطعة" لكل رمز ($\ell$)، مع التحكم في عاملين مربكين:
  1. أقصى احتمالية softmax ($\hat{p}_{max}$).
  2. معيار التنشيط ($\|h\|$).
     هذا يعزل الإشارة "المجردة من تأثير الثقة".
• المتبقي المتحكم فيه بالمخرجات ($r_{OC}$): مقياس أكثر صرامة يتحكم أيضاً في متنبئ "بيرسيبترون متعدد الطبقات" (MLP) مدرب على تمثيل الطبقة النهائية. إذا كانت $r_{OC} > 0$، فإن الإشارة في الطبقة المتوسطة تحتوي على معلومات حول جودة القرار التي تتجاهلها أو تفشل طبقة المخرجات النهائية في استخدامها.
• انهيار قابلية المراقبة (Observability Collapse): حالة تنخفض فيها $\rho_{partial}$ إلى عتبة الكشف (حوالي $\le 0.15$) وتقترب فيها $r_{OC}$ من الصفر، مما يشير إلى فشل البنية المعمارية في الحفاظ على إشارة الخطأ المستقلة عن المخرجات.

البروتوكول التجريبي

• البيانات: WikiText-103 لتدريب المستقصين؛ والمهام اللاحقة (SQuAD, MedQA, TruthfulQA) للتحقق التشغيلي.
• الاستقصاء (Probing): رأس خطي بسيط ($w^T h + b$) مُدرب على التنشيطات المجمدة للتنبؤ بهدف ثنائي: ما إذا كان "الخسارة المتبقية" ($\ell - \hat{\ell}$) موجبة (أي أن النموذج أخطأ بشكل أكبر مما توحي به ثقته).
• الضوابط: تستخدم الدراسة ضواببط واسعة النطاق تشمل MLPs غير خطية، وضوابط إنتروبيا اللوجيت (logit entropy)، واختبارات التبديل (shuffle tests) لاستبعاد الآثار الاصطعية.
• مجموعات البيانات: 25 نموذجاً من 6 عائلات (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

٣. المساهمات الرئيسية

أ. "تلوث الثقة" في عمليات الاستقصاء

تُظهر الورقة أن المستقصيات الخطية القياسية ملوثة بشدة بثقة المخرجات. عبر 13 نموذجاً، أدى التحكم في أقصى احتمالية softmax ومعيار التنشيط إلى امتصاص 57.7% من إشارة المستقصي الخام. هذا يعني أن الدراسات السابقة التي زعمت وجود "إشارات استدلال" في الحالات الخفية ربما كانت تكتشف فقط مستويات الثقة الخاصة بالنموذج.

ب. البنية المعمارية تحدد قابلية المراقبة

النتيجة الأكثر أهمية هي أن قابلية المراقبة ليست خاصية عامة لنماذج المحولات، بل تحددها تكوينات معمارية ووصفات تدريب محددة.

• ظاهرة الانهيار: في مجموعة Pythia (المتحكم في تدريبها)، تنهار فئة التكوين (24 طبقة، 16 رأساً) باستمرار إلى $\rho_{partial} \approx 0.10$، بغض النظر عن عدد المعلمات (من 410 مليون إلى 1.4 مليار) أو نوع مجموعة البيانات (Pile مقابل Deduplicated Pile).
• النطاق الصحي: تحافظ التكوينات الأخرى (مثل 16L/8H، 32L/32H) على نطاق إشارة "صحي" يتراوح بين $\rho_{partial} \in [0.21, 0.38]$.
• LLAMA مقابل QWEN: عند مستويات متساوية (3 مليار معلمة)، يحافظ نموذج QWEN 2.5 على قابلية مراقبة قوية ($\rho_{partial} \approx 0.26$)، بينما ينهار LLAMA 3.2 ($\rho_{partial} \approx 0.09$). توزيعات بذور الاستقصاء لا تتداخل، مما يشير إلى اختلاف معماري جوهري.

ج. الانهيار الناشئ عن التدريب

من خلال تحليل نقاط التفتيش (checkpoint analysis) لنموذج Pythia 1B (صحي) مقابل Pythia 1.4B (منهار)، يوضح المؤلفون أن كلا التكوينين يشكلان الإشارة في البداية في مرحلة مبكرة من التدريب. ومع ذلك، خلال منتصف التدريب، تقوم بنية (24L, 16H) بمحو هذه الإشارة بينما تستمر الخسارة التنبؤية (perplexity) في التحسن. أما التكوين الصحي فيستعيد الإشارة ويحافظ عليها. وهذا يثبت أن الانهيار هو نتيجة لتفاعل ديناميكيات التدريب مع البنية المعمارية، وليس عجزاً ثابتاً للبنية عن تمثيل الإشارة.

د. الفائدة التشغيلية (الضبط الحصري)

تتحقق الدراسة من الفائدة العملية لهذه المستقصيات في المهام اللاحقة (الأسئلة والأجوبة، الطبية، الحقيقة).

• معدل الضبط الحصري (Exclusive Catch Rate): عند معدل رفع راية (flag rate) بنسبة 20%، يمسك المراقب بـ 10.9%–13.4% من الأخطاء التي تفشل مراقبة الثقة في رصدها.
• القابلية للنقل: المستقصيات المدربة على WikiText تنتقل إلى المهام اللاحقة دون الحاجة لإعادة تدريب خاصة بالمهمة، حيث تمسك بالأجوبة "الخاطئة بثقة" في الأسئلة الطبية وفهم القراءة.
• القصور: لا يكتشف المراقب "الهلوسات الفصيحة" (TruthfulQA) حيث يؤكد النموذج كذبة بثقة؛ بل يكتشف تحديداً إخفاقات التنبؤ بالرموز حيث تتعارض الحالة الداخلية مع مخرجات الثقة.

٤. النتائج الرئيسية

المقياس	التكوينات الصحية (مثل GPT-2, QWEN, Mistral)	التكوينات المنهارة (مثل LLAMA 3B/8B, Pythia 24L/16H)
$\rho_{partial}$	0.21 – 0.38	$\approx$ 0.10 (قرب عتبة الكشف)
$r_{OC}$	موجب (0.09 – 0.17)	قريب من الصفر أو سالب
مصدر الإشارة	مستقل عن المخرجات، قابل للقراءة خطياً	مُحي بواسطة التدريب؛ لا يمكن استرداده بالمستقصيات غير الخطية
الضبط الحصري	~12–15% من الأخطاء (عند معدل 20%)	يقترب من خط الأساس العشوائي

• اللاخطية: لا تستطيع المستقصيات غير الخطية (MLPs) استعادة الإشارة في التكوينات المنهارة، مما يثبت أن الفقد هو فقد في التمثيل (representational)، وليس قصوراً في القراءات الخطية.
• الاستقلال عن الحجم: ضمن عائلة صحية واحدة (مثل QWEN 2.5)، تظل قابلية المراقبة مستقرة عبر نطاق 28 ضعفاً من المعلمات (من 0.5 مليار إلى 14 مليار).
• الاعتماد على الوصفة: يعتمد التكوين المحدد الذي ينهار على وصفة التدريب (على سبيل المثال، ينهار Pythia عند 24L/16H؛ بينما ينهار LLAMA عند 28L/24H).

٥. الأهمية والآثار المترتبة

1. اختيار البنية كقرار للمراقبة: تجادل الورقة بأن اختيار بنية النموذج ليس مجرد قرار يتعلق بالأداء، بل هو قرار يتعلق بقابلية المراقبة. إذا تم اختيار تكوين معين (مثل LLAMA 3B أو Pythia 24L/16H)، تصبح المراقبة القائمة على التنشيط للأخطاء الواثقة مستحيلة، بغض النظر عن مدى تطور أداة المراقبة.
2. إعادة تعريف صلاحية الاستقصاء: تؤسس الدراسة ضرورة أن عمليات الاستقصاء المستقبلية التي تستهدف جودة القرار يجب أن تتحكم في ثقة المخرجات. بدون هذه الضوابط، ستكون النتائج على الأرجب مبالغة في تقدير الإشارة "المستقلة عن المخرجات" بمعامل يتراوح بين 2 إلى 3 أضعاف.
3. ديناميكيات التدريب: اكتشاف أن التدريب يعمل بنشاط على محو إشارة كانت موجودة في البداية يشير إلى أن الحفاظ على قابلية المراقبة هو مسألة تحسين (optimization) غير بديهية. أهداف التدريب الحالية (تقليل الخسارة) قد تدمر عن غير قصد الإشارات الداخلية اللازمة لمراقبة السلامة.
4. المراقبة التكاملية: يوفر المراقب إشارة مكملة لثقة المخرجات. بينما ترصد مراقبات الثقة الأخطاء "غير الواثقة"، ترصد مراقبات التنشيط الأخطاء "الواثقة ولكن الخاطئة"؛ ومع ذلك، فإن هذه القدرة محدودة بقدرة البنية المعمارية على الحفاظ على الإشارة.

الخلاصة:
تخلص الورقة إلى أن البنية المعمارية تحدد قابلية المراقبة. إن قدرة النموذج على مراقبة الأخطاء الواثقة هي خاصية سابقة (upstream) تحددها العلاقة بين تكوينه ووصفة تدريبه. بمجرد تدريب نموذج في تكوين "منهار"، لا يمكن لأي تصميم استقصاء لاحق استعادة الإشارة المفقودة. لذلك، فإن ضمان قابلية المراقبة يتطلب اختيار بنيات ووصفات تدريب تحافظ على هذه الإشارات الداخلية المستقلة عن الثقة.