Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability

إليك ملخص تقني مفصل لورقة البحث بعنوان "المشفرات التلقائية المتفرقة الزمنية: الاستفادة من الطبيعة التسلسلية للغة من أجل القابلية للتفسير" (ICLR 2026).

1. بيان المشكلة

تواجه الأساليب الحالية لتفسير النماذج اللغوية الكبيرة (LLMs)، وتحديداً المشفرات التلقائية المتفرقة (SAEs)، قصوراً حرجاً: فهي تستعيد في الغالب سمات مرتبطة بالرموز (tokens)، صاخبة ونحوية (مثل "كلمة 'the' في بداية الجملة" أو "نهايات الجمل") بدلاً من استعادة مفاهيم دلالية (semantic) متماسكة وعالية المستوى.

يجادل المؤلفون بأن هذا الفشل ينبع من خلل تصميمي جوهري في المشفرات التلقائية المتفرقة الحالية: فهي تعامل الرموز كعناصر بيانات مستقلة ومتماثلة التوزيع (i.i.d.)، متجاهلة البنية الزمنية للغة. في اللغة الطبيعية، يتطور المحتوى الدلالي (القصد، الموضوع، السياق) بسلاسة عبر المتواليات، بينما تكون السمات النحوية غالباً محلية وتتقلب بسرعة. ومن خلال إهمال هذا الاستمرار الزمني، تفشل المشفرات التلقائية المتفرقة القياسية في فصل المتغيرات الدلالية عن الضجيج النحوي.

2. المنهجية: المشفرات التلقائية المتفرقة الزمنية (T-SAEs)

يقترح المؤلفون المشفرات التلقائية المتفرقة الزمنية (T-SAEs)، وهي تعديل على بنية المشفر التلقائي المتفرق القياسي يعمل على نمذجة الطبيعة التسلسلية للغة بشكل صريح.

أ. الإطار النظري

صاغ المؤلفون عملية توليد اللغة باستخدام نوعين من المتغيرات الكامنة:

1. متغيرات عالية المستوى ($h_t$): سمات ثابتة زمنياً تمثل الدلالات، والقصد، والسياق. يجب أن تظل مستقرة عبر الرموز المتجاورة في المتوالية.
2. متمرات منخفضة المستوى ($l_t$): سمات متغيرة زمنياً تمثل النحو، واختيارات الكلمات المحددة، والاعتمادات المحلية. وهي تتقلب بسرعة.

يفترض النموذج أن التمثيل الكامن للنموذج اللغوي $x_t$ هو رسم خرائط عكسي لهذه المتغيرات: $x_t = g(h_t, l_t)$.

ب. البنية ودالة الخسارة

تقسم الـ T-SAEs فضاء السمات إلى مجموعتين متميزتين:

• سمات عالية المستوى ($f_{0:h}$): تهدف إلى التقاط المعلومات الدلالية/السياقية.
• سمات منخفضة المستوى ($f_{h:m}$): تهدف إلى التقاط المعلومات النحوية/المتبقية.

تجمع دالة الهدف للتدريب بين خسارة إعادة البناء وخسارة التباين الزمني المبتكرة:

1. خسارة إعادة البناء الهرمية ($L_{matr}$):

   • تقوم السمات عالية المستوى بإعادة بناء المدخل $x_t$ حتى خطأ صغير $\epsilon$.
   • تقوم السمات منخفضة المستوى بإعادة بناء المتبقي (الفرق بين $x_t$ وإعادة البناء عالي المستوى).
   • هذا يحاكي بنية Matryoshka SAE ولكن مع فرض فصل محدد بين الدلالة والنحو.

2. خسارة التباين الزمني ($L_{contr}$):

   • هذا هو الابتكار الجوهري. فهو يشجع السمات عالية المستوى للرموز المتجاورة ($z_t$ و $z_{t-1}$) على أن تكون متشابهة (تشابه جيب التمام العالي).
   • وفي الوقت نفسه، يعاقب التشابه بين السمات عالية المستوى للرموز من متواليات مختلفة (أخذ العينات السلبية) لمنع "انهيار السلاسة" (حيث تصبح جميع السمات ثابتة).
   • الصيغة:
     $$L_{contr} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(s(z^{(i)}_t, z^{(i)}_{t-1}))}{\sum_{j=1}^N \exp(s(z^{(i)}_t, z^{(j)}_{t-1}))} - \dots$$
     (حيث $s$ هو تشابه جيب التمام و $N$ هو حجم الدفعة).

3. إجمالي الخسارة: $L = \sum L_{matr} + \alpha L_{contr}$.

3. المساهمات الرئيسية

1. صياغة عملية توليد البيانات: قدمت الورقة إطاراً يميز بين المتغيرات الدلالية المتسقة زمنياً والمتغيرات النحوية المحلية، مما يوفر أساساً نظرياً لسبب فشل المشفرات التلقائية المتفرقة القياسية في التقاط الدلالات.
2. بنية T-SAE: نسخة جديدة من المشفر التلقائي المتفرق تقسم السمات الكامنة وتستخدم خسارة تباين لفرض الاتساق الزمني على السمات عالية المستوى، مما يسمح بالفصل الذاتي بين الدلالة والنحو.
3. التحقق التجريبي: تم إثبات ذلك عبر نماذج متعددة (Pythia-160m, Gemma2-2b) ومجموعات بيانات (MMLU, Wikipedia, FineFineWeb) حيث تستعيد T-SAEs مفاهيم دلالية أكثر تماسكاً وسلاسة دون التضحية بجودة إعادة البناء.
4. الفائدة العملية: أظهرت أن T-SAEs متفوقة في المهام اللاحقة مثل مراقبة السلامة (كشف الارتباطات الزائفة في بيانات RLHF) وتوجيه النموذج (توجيه سلوك النموذج دلالياً دون التسبب في تكرار الرموز أو عدم التماسك).

4. النتائج التجريبية

أ. فصل السمات والاستقصاء (Probing)

• الاستعادة الدلالية: تُظهر تجارب الاستقصاء على MMLU أن سمات T-SAE عالية المستوى تحقق دقة أعلى بكثير في التنبؤ بفئات الأسئلة (الدلالات) ومعرفات المتوالية (السياق) مقارنة بالنماذج المرجعية (BatchTopK) وMatryoshka SAEs.
• التخصص النحوي: تلتقط سمات T-SAE منخفضة المستوى المعلومات النحوية (أجزاء الكلام) بفعالية، بينما تظل السمات عالية المستوى غير حساسة للنحو إلى حد كبير. في المقابل، تفشل Matryoshka SAEs في الفصل بينهما، حيث تظل السمات عالية المستوى مشفرة بقوة للنحو.
• التصور البصري: تُظهر مخططات t-SNE أن سمات T-SAE عالية المستوى تتكتل بوضوح حسب الموضوع (مثل "التاريخ الأوروبي" مقابل "الطب")، بينما تكون سمات النماذج المرجعية صاخبة وتعتمد على الرمز.

ب. مقاييس الاتساق الزمني

• السلاسة: تُظهر السمات عالية المستوى لـ T-SAE درجات "سلاسة" أقل بكثير (تقلبات أقل بين الرموز) مقارنة بالنماذج المرجعية.
• جودة إعادة البناء: تحافظ T-SAEs على أداء تنافسي في المقاييس القياسية: كسر التباين المفسر (FVE)، تشابه جيب التمام، وكسر السمات الحية (Fraction of Alive Features) مقاربة لـ Matryoshka وBatchTopK SAEs.
• القابلية للتفسير التلقائي: تظل درجات التفسير الآلي (باستخدام حكام LLM) مرتفعة، مما يشير إلى أن السمات قابلة للتفسير بشرياً.

ج. دراسات الحالة

1. فهم مجموعة البيانات (HH-RLHF):
   • حددت T-SAEs السمات المتعلقة بالسلامة (مثل "الجريمة"، "العنف") في الاستجابات المرفوضة.
   • والأهم من ذلك، اكتشفت T-SAEs الارتباطات الزائفة (مثل "اللغة الرسمية/القانونية" و"كلمات الانتقال") التي كانت ناتجة عن طول مجموعة البيانات (الإجابات المرفوضة كانت أطول). فشلت المشفرات التلقائية المتفرقة المرجعية في عزل هذه الأنماط، حيث وجدت ضوضاء عشوائية بدلاً من ذلك.
2. توجيه النموذج (Model Steering):
   • أدى توجيه النماذج اللغوية باستخدام سمات T-SAE عالية المستوى إلى هيمنة باريتو (Pareto dominance) على النماذج المرجعية.
   • غيّر توجيه T-SAE دلالات المخرج (مثلاً، التحول إلى تقارير طبية) مع الحفاظ على التماسك.
   • غالباً ما تسبب توجيه النماذج المرجعية فشلاً كارثياً، مثل تكرار الرموز أو عدم التماسك، لأنها استهدفت سمات محلية مرتبطة بالرموز.

5. الأهمية والخاتمة

تحدث هذه الورقة تحولاً جذرياً في نموذج تعلم القواميس (dictionary learning) للنماذج اللغوية الكبيرة. فهي تجادل بأن تجاهل البعد الزمني هو السبب الرئيسي لفشل المشفرات التلقائية المتفرقة في إيجاد مفاهيم دلالية عميقة.

• الأثر النظري: تربط الورقة بين اللسانيات (التمييز بين النحو والدلالة) وتعلم التمثيل، وتثبت أن دمج الأولويات الهيكلية (السلاسة الزمنية) يؤدي إلى فصل أفضل.
• الأثر العملي: توفر T-SAEs أداة قوية للتفسير غير الخاضع للإشراف. فهي تسمح للباحثين بـ:
  • مراقبة سلوك النموذج على مستوى المتوالية بدلاً من مستوى الرمز.
  • تحديد ثغرات السلامة والارتباطات الزائفة في بيانات التدريب بشكل أكثر فعالية.
  • توجيه النماذج بدقة واستقرار أعلى، وتجنب أنماط الفشل الشائعة مثل "تكرار الرموز" الموجودة في تقنيات التوجيه الحالية.

يخلص المؤلفون إلى أن أساليب التفسير المستقبلية يجب أن تتجاوز افتراضات i.i.d. وتتبنى الطبيعة التسلسلية والمتطورة للغة البشرية لإطلاق العنان للقدرات الدلالية الحقيقية للنماذج اللغوية الكبيرة.