💬 NLP

Why Linear Interpretability Works: Invariant Subspaces as a Result of Architectural Constraints

تقترح الورقة أن طرق التفسير الخطي تنجح لأن بنيات المحولات (transformers) تجبر المعلومات الدلالية على الاستقرار في فضاءات فرعية خطية ثابتة السياق من خلال واجهات اتصالاتها الخطية، وهي ظاهرة يصيغونها رياضياً في مبرهنة "ضرورة الفضاء الفرعي الثابت".

المؤلفون الأصليون: Andres Saurez, Yousung Lee, Dongsoo Har

نُشر 2026-02-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Andres Saurez, Yousung Lee, Dongsoo Har

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيف تعمل مدينة ضخمة ومعقدة. ترى ملايين البشر يتحركون، والسيارات تقود، والأضواء تومض. يبدو الأمر وكأنه فوضى عارمة—فوضى "غير خطية". ولكن بعد ذلك، تلاحظ شيئًا ما: في كل مرة يريد فيها شخص ما الذهًا إلى المطار، فإنه يتبع طريقًا سريعًا محددًا. وفي كل مرة يريد فيها شخص ما شراء الطعام، فإنه يتجه نحو متجر بقالة.

على الرغم من أن المدينة تبدو فوضوية، إلا أن البنية التحتية (الطرق واللافتات) تجبر الناس على التحرك في خطوط مستقيمة يمكن التنبؤ بها للوصول إلى حيث يحتاجون.

تشرح هذه الورقة البحثية أن النماذج اللغوية الكبيرة (مثل ChatGPT) تعمل تمامًا مثل هذه المدينة.

اللغز الكبير: لماذا "الفوضى" منظمة للغاية؟

نماذج الذكاء الاصطناعي معقدة للغاية. فهي مكونة من مليارات الروابط الرياضية "غير الخطية"—أي أنها ملتوية، ومنحنية، ومعقدة للغاية.

لفترة طويلة، لاحظ الباحثون شيئًا غريبًا: على الرغم من أن "دماغ" الذكاء الاصطناعي عبارة عن كتلة ملتوية، إلا أنه إذا نظرت إليه باستخدام "مسطرة مستقيمة" بسيطة (تسمى المسبار الخطي - Linear Probe)، يمكنك العثور على الأشياء بسهولة. يمكنك توجيه خط مستقيم نحو مجموعة من الخلايا العصبية وقول: "آها! هذا الاتجاه يمثل 'فرنسا'."

كان السؤال الكبير هو: لماذا؟ لماذا يسمح دماغ ملتوي ومعقد باستخدام مسطرة مستقيمة بسيطة لإيجاد المعنى؟

الاكتشاف: قيد "الطريق السريع"

يجادل مؤلفو هذه الورقة بأنه ليس مجرد صدفة. بل بسبب بنية (Architecture) الذكاء الاصطناعي.

فكر في الذكاء الاصطناعي كشبكة اتصالات ضخمة. لكي يتمكن الذكاء الاصطناعي من "التحدث" مع نفسه ونقل المعلومات من طبقة إلى أخرى، يجب عليه استخدام واجهات معينة (مثل آلية الانتباه - Attention mechanism). هذه الواجهات تعمل مثل طرق سريعة مستقيمة.

يثبت المؤلفون قاعدة رياضية: إذا كنت تريد إرسال قطعة محددة من المعلومات (مثل مفهوم "فرنسا") عبر طريق سريع مستقيم، فيجب أن تنتقل تلك المعلومة في خط مستقيم.

إذا انتقلت المعلومات بطريقة متعرجة وغير متوقعة، فستضيع أو تتشوه عند اصطدامها بواجهة "الطريق السريع". لذلك، لكي يكون فعالاً، يُجبر الذكاء الاصطناعي على تنظيم "مفاهيمه" في اتجاهات مستقيمة يمكن التنبؤ بها.

خدعة "الإشارة الذاتية": الاسم هو الخريطة

يقود هذا إلى اكتشاف مذهل يسميه المؤلفون خاصية الإشارة الذاتية (Self-Reference Property).

تخيل أنك في مكتبة ضخمة ومظلمة. أنت تبحث عن مفهوم "التفاح". بدلاً من التجول بلا هدف، تجد كتابًا واحدًا بعنوان "تفاحة". وجد المؤلفون أنه في الذكاء الاصطناعي، تعمل كلمة "تفاحة" نفسها مثل إبرة البوصلة.

إذا نظرت إلى "الاتجاه" الرياضي لكلمة "تفاحة"، فإن هذا الاتجاه يشير تمامًا إلى كل شيء آخر متعلق بالتفاح—مثل "فاكهة"، "أحمر"، "مقرمش"، أو "نيوتن". الكلمة لا تمثل المفهوم فحسب؛ بل توفر الخريطة للعثور على المفهوم.

لماذا هذا مهم (ما الفائدة؟)

هذه الورقة البحثية أمر بالغ الأهمية لثلاثة أسباب:

إنها تفسر سبب عمل أدواتنا: نحن نعلم الآن أن "المسابير الخطية" (المساطر البسيطة) تعمل ليس لأن الذكاء الاصطناعي بسيط، بل لأن "طرق" الذكاء الاصطناعي تجبره على أن يكون منظمًا.
الفهم الصفري (Zero-Shot Understanding): هذا يعني أننا يمكننا العثور على مفاهيم جديدة في الذكاء الاصطناعي دون الحاجة إلى "تعليمها" له. يمكننا فقط التقاط كلمة، واستخدامها كبوصلة، ورؤية ما يعتقد الذكاء الاصطناعي أنه موجود في ذلك الاتجاه.
توحيد العلم: إنها تربط بين طريقتين مختلفتين للنظر إلى الذكاء الاصطناعي (المشفّرات التلقائية المتفرقة - Sparse Autoencoders والمسابير الخطية - Linear Probes)، مما يثبت أنهما ينظران إلى نفس "الطرق السريعة".

باختًا: دماغ الذكاء الاصطناعي هو عاصفة هائجة ودوامة، ولكن نظرًا لضرورة تواصله عبر طرق مستقيمة، فإنه يبني "طرقًا سريعة للمعنى" منظمة يمكننا أخيرًا رسم خرائطها.

ملخص تقني: لماذا تنجح القابلية للتفسير الخطي

العنوان: لماذا تنجح القابلية للتفسير الخطي: الفضاءات الجزئية الثابتة كنتيجة للقيود الهيكلية
المؤلفون: أندريس سواريز، يوسونغ لي، دونغسو هار (KAIST)

1. المشكلة: "لغز الخطية" في الأنظمة غير الخطية

تعد نماذج الـ Transformer الحديثة أنظمة عميقة وعالية غير الخطية. ومع ذلك، فإن هناك انتظامًا تجريبيًا ثابتًا في مجال التفسير الآلي (mechanistic interpretability) وهو أن الطرق الخطية البسيطة — مثل المجسات الخطية (linear probes)، والمشفرات التلقائية المتناثرة (Sparse Autoencoders - SAEs)، وتوجيه التنشيط (activation steering) — ناجحة بشكل ملحوظ في استخراج الميزات الدلالية والتحكم بها.

اللغز النظري الأساسي هو: لماذا ينتج عن بنية غير خطية مثل هذه الهياكل الخطية منخفضة الأبعاد والموثوقة؟ بينما عزت الأبحاث السابقة هذا الأمر إلى أهداف التدريب (التنبؤ بالرمز التالي) أو انحيازات التحسين (الاشتقاق المتدرج)، يجادل هذا البحث بأن البنية نفسها هي التي تفرض هذا الهيكل الخطي.

2. المنهجية والإطار النظري

يقترح المؤلفون إطارًا هندسيًا يرتكز على مفهوم "إسقاط الهوية" (Identity-Projection).

أ. الافتراضات الجوهرية:

مجرى المتبقي الجمعي (Additive Residual Stream): يتم تحديث المعلومات بشكل جمعي عبر الطبقات.
واجهات التواصل الخطية: تعمل دوائر الـ Attention OV (مخرجات القيمة) ومصفوفة إلغاء التضمين ( $W_U$ ) كخرائط خطية على مجرى المتبقي.
المعلمات المشتركة: تُطبق المعلمات عبر جميع مواضع الرموز (tokens).

ب. النتائج النظرية الرئيسية:

مبرهنة ضرورة الفضاء الجزئي الثابت (Invariant Subspace Necessity Theorem): يثبت المؤلفون أنه إذا كانت الميزة الدلالية "قابلة للتواصل" (بمعنى أنه يمكن استردادها من خلال واجهة خطية)، فيجب أن يقع تمثيلها في فضاء جزئي ثابت السياق. وهذا يعني أنه بينما يتغير حجم الميزة (مثل "مقدار وجود كلمة 'فرنسا' في هذه الجملة") مع السياق، فإن الاتجاه الهندسي يظل مستقرًا.
قيود السعة والتفكيك (Capacity Constraints & Factorization): نظرًا لأن حجم المفردات $|V|$ أكبر بكثير من البعد المخفي $d$ ، لا يمكن للرموز أن تمتلك اتجاهات متعامدة فريدة. ولتقليل التداخل، يجب على النموذج استخدام تمثيلات مفككة، حيث تكون الرموز عبارة عن تركيبات متناثرة من اتجاهات ميزات مشتركة ومنخفضة الأبعاد.
خاصية المرجعية الذاتية (Self-Reference Property): اشتقاق محوري ينص على أن الرمز (مثل "فرنسا") لا يمثل مفهومًا فحسب؛ بل يعمل حاله المخفي $h_t$ أيضًا كـ متجه مرجع هندسي لاتجاه تلك الميزة في فضاء التنشيط.

ج. طرق التحقق التجريبي:
يختبر المؤلفون هذه النظريات باستخدام ثلاثة أنواع من المجسات:

المجسات صفرية القدرة (Zero-Shot Probes): استخدام اتجاهات الرموز الخام لتصنيف الحالات الضمنية دون تدريب.
المجسات غير الخاضعة للإشراف (Unsupervised Probes): تدريب مجس خطي باستخدام رموز الفئات فقط لمعرفة ما إذا كان سيعمم على الحالات الفردية.
مجسات SAE: استخدام الكمونات (latents) من المشفرات التلقائية المتناثرة (المدربة فقط على الحالات الفردية) لمعرفة ما إذا كانت تتوافق مع اتجاهات الرموز.

3. المساهمات الرئيسية

التفسير الهيكلي: نقل تفسير القابلية للتفسير الخطي من "كيفية تدريب النماذج" إلى "كيفية بناء النماذج"، وإثبات أن الواجهات الخطية تجبر الميزات على الاستقرار في فضاءات جزئية ثابتة.
خاصية المرجعية الذاتية: توفير أساس رياضي لسبب قدرتنا على استخدام رموز محددة كـ "روافد" (anchors) لإيجاد الاتجاهات الدلالية دون الحاجة لبيانات مصنفة.
توحيد المنهجيات: يوضح أن المجسات الخطية و الـ SAE ليست طرقًا متنافسة، بل هي طرق مختلفة للوصء إلى نفس الهيكل الهندسي الثابت الكامن.
الرؤية الهندسية لتعدد المعاني (Polysemy): يشرح تعدد المعاني (رمز واحد، معانٍ متعددة) والترادف الجزئي (رموز متعددة، معانٍ مشتركة) كوجهين لعملة واحدة من التراكب الاتجاهي.

4. النتائج

أجرى المؤلفون تجارب واسعة النطاق عبر ثماني مجالات دلالية (تصنيفية، عاطفية، أسلوبية، إلخ) وأربع عائلات من النماذج (LLaMA3, Mistral, GPT-2, LLaMA3.2).

دقة عالية: حققت جميع الطرق (Zero-shot، Unsupervised، و SAE) دقة تصنيف قوية. على سبيل المثال، في مهمة "الحيوانات"، حققت المجسات غير الخاضعة للإشراف و SAE أداءً مشابهًا للمقارنات المرجعية الخاضعة للإشراف.
التحقق من المرجعية الذاتية: في نموذج LLaMA3-8B، أظهر ما بين 89% و 98% من رؤوس الانتباه (attention heads) أن اتجاه رمز الفئة يتوافق بقوة أكبر مع حالات فئته الخاصة مقارنة بالفئات الأخرى.
توافق SAE: نجحت مشفرات SAE المدربة محضًا على السياق (دون رؤية رموز الفئات) في استعادة نفس الاتجاهات التي استخدمتها المجسات القائمة على الرموز، كما يتضح من التداخل العالي في أبعاد الـ top- $k$ الكمانية.
التعميم: نجح المجس غير الخاضع للإشراف الذي تم تدريبه على نصف مجموعة البيانات فقط (مثل الأشهر الفردية) في تصنيف النصف الآخر (الأشهر الزوجية)، مما يثبت أن الهيكل المتعلم هو هيكل دلالي حقيقي وليس مجرد حفظ للبيانات.

5. الأهمية

يوفر هذا البحث أساسًا رياضيًا رصينًا لمجال التفسير الآلي. ومن خلال إثبات أن نماذج الـ Transformer "قابلة للتفسير بالتصميم"، فإنه ينقل هذا المجال من مجرد الملاحظة التجريبية إلى العلم الرسمي.

الآثار العملية:

القابلية للتفسير القابلة للتوسع: تشير خاصية المرجعية الذاتية إلى أنه يمكننا اكتشاف "الدوائر" (circuits) والاتجاهات الدلالية في النماذج الضخمة باستخدام طرق غير خاضعة للإشراف تعتمد على الرموز بدلاً من التصنيف البشري المكلف.
توجيه النماذج (Model Steering): يوفر ضمانًا نظريًا لسبب نجاح "توجيه التنشيط" (إضافة اتجاه إلى الحالة المخفية): لأن تلك الاتجاهات هي مكونات ثابتة وثابتة في اللغة الداخلية للنموذج.