ملخص تقني: المفسر المتكيف هندسيًا لضمان الأمانة في التفسير القائم على القواميس تحت تغير التوزيع

بيان المشكلة

تعتمد التفسيرية الآلية (Mechanistic interpretability) على مفسرات تعتمد على القواميس، مثل المشفرات التلقائية المتناثرة (SAEs) والمحولين (Transcoders)، لتفكيك تنشيطات الشبكة العصبية الخفية إلى اتجاهات سمات متناثرة وقابلة للتفسير. أحد المتطلبات الحرجة لهذه التفسيرات هو الأمانة (faithfulness): يجب أن يعكس المفسر بدقة الحسابات التي يقوم بها النموذج بالفعل.

ومع ذلك، فإن المفسرات الموجودة يتم تدريبها عادةً على بيانات داخل التوزيع (ID). عندما يواجه النموذج مدخلات خارج التوزيع (OOD)، يتغير الهيكل الهندسي لتنشيطاته الخفية. تحدد الورقة أن انزياح التوزيع يؤدي إلى تدوير الفضاء الفرعي النشط خارج التوزيع (OOD-active subspace) (الاتجاهات التي يستخدمها النموذج بنشاط) بعيدًا عن الفضاء الفرعي للمفسر المدرب داخل التوزيع (ID-trained explainer subspace). هذا عدم المحاذاة، الذي يُسمى فجوة الأمانة (faithfulness gap)، يتسبب في فشل القواميس المدربة داخل التوزيع في إعادة بناء التنشيطات خارج التوزيع بأمانة. عالجت الأعمال السابقة ذلك من خلال إعادة التدريب التجريبي أو وحدات المتبقي (residual modules)، لكنها تفتقر إلى تشخيص مبدئي لعدم المحاذاة الهندسية الكامنة أو طريقة لتصحيحها دون إعادة تدريب كاملة.

المنهجية: المفسر المتكيف هندسيًا (GAE)

يقترح المؤلفون المفسر المتكيف هندسيًا (GAE)، وهو طريقة لاحقة (post-hoc) مغلقة الصيغة، تعمل على إعادة محاذاة المفسر المدرب داخل التوزيع مع الفضاء الفرعي النشط خارج التوزيع باستخدام تنشيطات خارج التوزيع غير المصنفة فقط. يعمل GAE دون تحديثات تدرجية أو تدريب تكراري.

الأساس النظري

تصيغ الورقة المشكلة باستخدام مصفوفة العزم الثاني (second-moment matrix) للتنشيطات الخفية، $M_e = \mathbb{E}[h(X)h(X)^\top]$.

1. فجوة الأمانة ($\Delta$): تُعرف بأنها مسافة فوروبينيوس (Frobenius distance) بين الفضاء الفرعي للمفسر ($\Pi_{dec}$) والفضاء الفرعي النشط خارج التوزيع ($\Pi_{OOD}$).
2. الآلية الهندسية: يثبت المؤلفون (الافتراض 1) أن فجوة الأمانة للمفسر المدرب داخل التوزيع محدودة من الأعلى بمقدار انزياح العزم الثاني ($\|M_{OOD} - M_{ID}\|_F$).
3. التحكم في التدهور: يثبتون أيضًا (الافتراض 2) أن مكون المفسر في فقدان الأمانة خارج التوزيع يتم التحكم فيه بدقة من خلال مربع فجوة الأمانة. وبالتالي، فإن تقليل الفجوة أمر ضروري وكافٍ لتحسين الأمانة خارج التوزيع.

الخوارزمية

يكيف GAE القاموس عبر خطوتين:

1. الخطوة 1: تدوير الفضاء الفرعي (Procrustes المتعامد):
   يتم تدوير القاموس المدرب داخل التوزيع $W_{dec}^{ID}$ لمحاذاة فضاء أعمدته مع الفضاء الفرعي النشط خارج التوزيع المقدر $\hat{\Pi}_{OOD}$ (المستمد من القيم الذاتية الـ $r$-الأعلى لمصفوفة العزم الثاني خارج التوزيع). يتم اختيار مصفوفة التدوير $T^\star$ لتقليل المسافة إلى القاموس الأصلي، مما يحافظ على هيكل السمات الأصلي قدر الإمكان. هذه الخطوة تلغي فجوة الأمانة ($\Delta = 0$) عن طريق البناء.
2. الخطوة 2: إعادة ضبط فك الترميز المقيد:
   بينما تقوم الخطوة 1 بمحاذاة الفضاء الفرعي، فإنها لا تحسن إعادة البناء على مستوى العينات. تقوم الخطوة 2 بإعادة ضبط أوزان فك الترميز عبر انحدار ريج (ridge regression) مقيد ومغلق الصيغة. تقلل هذه الخطوة من خطأ إعادة البناء على التنشيطات خارج التوزيع مع فرض عقوبات على الانحرافات عن قاموس الخطوة 1 المدور وضمان بقاء فك الترميز ضمن الفضاء الفرعي النشط خارج التوزيع.

العملية بأكملها تحليلية، ولا تتطلب انتشارًا خلفيًا (backpropagation).

المساهمات الرئيسية

1. التشخيص الهندسي: تحدد الورقة فجوة الأمانة كآلية هندية تقود تدهور الأمانة خارج التوزيع في المفسرات القائمة على القواميس. وتوفر حدودًا نظرية تظهر أن هذه الفجوة تنمو مع انزياح العزم الثاني وتتحكم مباشرة في الجزء القابل للتقليل من فقدان الأمانة خارج التوزيع.
2. خوارزمية GAE: طريقة لا تتطلب تدريبًا، مغلقة الصيغة، تعيد محاذاة قاموس المفسر مع الفضاء الفرعي النشط خارج التوزيع. تقدم ضمانًا نظريًا (النظرية 1) بأن المفسر المتكيف يحسن بشكل صارم المفسر غير المتكيف داخل التوزيع، حيث يزداد التحسن تربيعيًا مع عدم المحاذاة الأولية.
3. التفوق التجريبي: يضاهي GAE أو يتفوق على جميع النماذج المرجعية القائمة على التدريب (بما في ذلك إعادة التدريب الكامل من الصفر والضبط الدقيق) في الأمانة السببية عبر نماذج متعددة وإعدادات خارج التوزيع. وعلى الرغم من ذلك، فإنه يتطلب صفر عمليات حساب تدرج وحوالي 2,000 عينة خارج التوزيع غير مصنفة فقط.

النتائج التجريبية

قيم المؤلفون GAE على GPT-2 Small و Pythia-1.4B باستخدام كل من المحولات (Transcoders) و SAEs Top-K. غطت التقييمات ثلاثة أنواع من انزياح التوزيع:

• الزمني: نصوص الويب التي جُمعت بعد تاريخ قطع التدريب المسبق للنموذج (FineWeb).
• المجالي: التقارير المالية ذات المفردات المتخصصة (Edgar).
• العدائي: المطالبات المحفزة للهلوسة (HaluEval).

مقاييس الأداء:

• الأمانة السببية: تم قياسها عبر AOPC المعياري (nAOPC) والشمولية المعيارية (nComp).
• جودة إعادة البناء: تم قياسها عبر اختلاف الإنتروبي المتقاطع ($\Delta CE$).

النتائج الرئيسية:

• GAE مقابل النماذج المرجعية القائمة على التدريب: تفوق GAE على طرق مثل Retrain (التدريب من الصفر على بيانات خارج التوزيع) و Finetune (الضبط الدقيق المبدئي) في معظم الإعدادات. على سبيل المثال، في محولات GPT-2 تحت الانزياح العدائي، حسن GAE قيمة nComp بنسبة 4.6% مقارنة بأقوى نموذج مرجعي (SAEBoost) وقلل خطأ إعادة البناء ($|\Delta CE|$) بنسبة 93%.
• الكفاءة: بينما تطلبت النماذج المرجعية القائمة على التدريب معالجة ملايين الرموز (tokens) وساعات من وقت وحدة معالجة الرسومات (GPU)، أكمل GALA عملية التكيف في أقل من 3 ثوانٍ (0.5 ثانية لـ GPT-2 و 2.9 ثانية لـ Pythia-1.4B) باستخدام تمريرة أمامية واحدة فقط لـ 2,048 عينة.
• التحقق من الآلية: أكدت دراسات الاستئصال (Ablation studies) أن الخطوة 1 (تدوير الفضاء الفرعي) نجحت في إغلاق فجوة الأمانة، بينما كانت الخطوة 2 ضرورية لاستعادة التماسك السببي (نسبة السمات) دون التضحية بالمحاذاة الهندسية.
• دراسات الحالة: في مهام عزو الدوائر (مثل التنبؤ بكلمة "American" أو "Henry")، قام GAE بتصحيح اتجاهية فك الترميز، مما يضمن أن السمات المحددة تدفع النموذج نحو الفئة الدلالية الصحيحة، بينما كان المفسر الثابت داخل التوزيع يشير غالبًا بعيدًا عن الفئة المستهدفة.

الأهمية والادعاءات

تدعي الورقة أن GAE يوفر حلاً مبدئيًا، وفعالاً، ومبنياً على أسس نظرية لمشكلة الأمانة خارج التوزيع في التفسير الآلي. من خلال صياغة المشكلة كعدم محاذاة هندسية بدلاً من مشكلة تغطية بيانات، يوضح المؤلفون أنه يمكن استعادة التفسيرات المخلصة دون التكلفة الحسابية لإعادة التدريب.

يشير المؤلفون إلى أن GAE مهم بشكل خاص لسيناريوهات التكيف الفوري (on-the-fly adaptation) حيث تتغير توزيعات النشر ديناميكيًا، ويكون إعادة التدريب غير ممكن. كما يقرون بتواضع بوجود قيود، وتحديدًا أن الطريقة تعتمد على قطع SVD من النوع top-$r$ (مما يؤدي إلى التخلص من معلومات المتبقي)، ولم يتم تقييمها بعد على نماذج أكبر نطاقًا. ومع ذلك، تشير النتائج إلى أن إعادة المحاذاة الهندسية هي رافعة قوية وغير مستغلة جيدًا للحفاظ على متانة التفسير.