💬 NLP

Scaling Inherently Interpretable Language Models

تتحدى هذه الورقة المفهوم القائل بأن القابلية للتفسير تمثل مقايضة على حساب القدرة، وذلك من خلال إثبات أن دمج قيود القابلية للتفسير في مسار التدريب يسمح لنماذج مثل Steerling-8B بالتوسع بفعالية، لتصبح أكثر شفافية وتوافقاً مع المفاهيم البشرية مع الحفاظ على أداء تنافسي.

المؤلفون الأصليون: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

نُشر 2026-08-11

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Guide Labs Team, Andreas Madsen, Aya Abdelsalam Ismail, Giang Nguyen, Isaac Plant, Muawiz Chaudhary, Nathaniel Monson, Saqib Azim, Zhichen Guo, Julius Adebayo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم كيفية عمل مكتبة سحرية عملاقة. لسنوات، كان أذكى أمناء المكتبات (باحثو الذكاء الاصطناعي) يبنون هذه المكتبات لتكون أكبر وأقوى ما يمكن، لكنهم قبلوا قاعدة غريبة: لكي تكون المكتبة قوية حقًا، يجب أن تكون "صندوقًا أسود". يمكنك أن تسألها سؤالًا، وستعطيك إجابة عبقرية، لكن ليس لديك أدنى فكرة عن كيفية توصلها إلى تلك الإجابة. الأمر يشبه ساحرًا يلقي تعويذة ويقول: "ثق بي، إنها تعمل"، دون أن يريك المكونات أو التعويذة المستخدمة. وبسبب هذا، إذا ارتكبت المكتبة خطأً أو قالت شيئًا غريبًا، لا يمكننا إصلاحه بسهولة؛ يمكننا فقط التخمين لماذا حدث ذلك بعد فوات الأوان. تسأل هذه الورقة البحثية سؤالًا جريئًا: ماذا لو لم يكن علينا قبول هذه المقايضة؟ ماذا لو استطعنا بناء مكتبة تكون عبقرية فائقة وفي نفس الوقت شفافة، حيث يمكننا رؤية بالضبط أي الكتب استخدمتها وأي الأفكار كانت تفكر فيها أثناء كتابة إجابتها؟

قرر مؤلفو هذه الورقة، وهم فريق يُدعى "Guide Labs"، اختبار هذه الفكرة. لقد بنوا نوعًا جديدًا من النماذج اللغوية يسمى Steerling-8B. وخلافًا لنماذج "الصندوق الأسود" المعتادة التي يتم تدريبها لمجرد التنبؤ بالكلمة التالية في الجملة، تم تدريب Steerling بقاعدة خاصة محفورة في دماغه منذ اليوم الأول: يجب عليه شرح تفكيره أثناء القيام بذلك. وقد وجدوا شيئًا مفاجئًا: جعل النموذج يشرح نفسه لم يجعله أضعف. في الواقع، بينما كانوا يجعلون النموذج أكبر ويمنحونه المزيد من القدرة الحوسبية، لم يصبح أكثر ذكاءً فحرًا فحسب، بل أصبح أيضًا أفضل في شرح نفسه. كلما كبر النموذج، أصبحت أفكاره الداخلية أكثر وضوحًا، وأصبح من الأسهل رؤية بالضبط أي الأفكار يستخدمها لتشكيل إجاباته.

المشكلة في سحر "الصندوق الأسود"

لفترة طويلة، كانت الطريقة القياسية لبناء الذكاء الاصطناعي هي تدريب النموذج ليكون جيدًا قدر الإمكان في التنبؤ بالنصوص، ثم محاولة التلصص على ما يفعله بعد انتهائه من التعلم. يستخدم الباحثون أدوات مثل "المجسات" (التي تحاول تخمين ما إذا كان هناك مفهوم مخفي داخل النموذج) أو "الإسناد" (الذي يحاول تخمين أي الكلمات كانت أكثر أهمية). لكن المؤلفين يجادلون بأن هذه الأدوات تشبه محاولة معرفة كيفية عمل محرك سيارة من خلال الاستماع إلى الضجيج الذي يصدره بعد أن تم بناؤه بالفعل. المحرك لم يُصمم ليُستمع إليه، لذا قد يكون الضجيج مضللاً. قد يقول المجس: "مهلًا، كلمة 'قطة' موجودة هناك!"، لكن هذا لا يعني أن النموذج استخدم بالفعل فكرة القطة لاتخاذ قراره. قد يكون مجرد مصادفة.

تجادل الورقة بأن نهج "الإصلاح لاحقًا" هذا معيب بشكل أساسي. إذا كنت تريد نموذجًا مفهومًا حقًا، فلا يمكنك مجرد إضافة مصباح يدوي بعد فوات الأوان؛ يجب عليك بناء المصباح اليدوي داخل المحرك أثناء بناء المحرك نفسه.

الوصفة: بناء دماغ شفاف

لحل هذه المشكلة، ابتكر الفريق "وصفة" جديدة لتدريب الذكاء الاصطناعي. بدلاً من مجرد تعليم النموذج التنبؤ بالكلمة التالية، علموه ثلاثة أشياء محددة في نفس الوقت:

إسناد المدخلات: "أي الكلمات في سؤالك كانت الأكثر أهمية؟"
إسناد المفاهيم: "ما هي الأفكار الكبيرة أو المواضيع التي تفكر فيها الآن؟"
إسناد البيانات: "من أي أجزاء مكتبتك التدريبية تعلمت هذا؟"

لجعل هذا يعمل، كان عليهم بناء مكتبة ضخمة جديدة من "المفاهيم". تخيل قاموسًا، ولكن بدلًا من الكلمات فقط، يحتوي على 33,000 فكرة محددة مثل "الانحدار الاشتقاقي"، أو "الشعر في العصور الوسطى"، أو "السخرية". لقد بنوا نظامًا يسمى Atlas قرأ ملايين الوثائق ووسمها بهذه الأفكار، مما خلق خريطة للمعرفة البشرية يمكن للذكاء الاصطناعي استخدامها فعليًا.

ثم بنوا دماغ النموذج، Steerling-8B، مع "عنق زجاجة" خاص في المنتصف. فكر في الذكاء الاصطناعي العادي كأنبوب مستقيم يتدفق فيه الماء (المعلومات) من المدخلات إلى المخرجات. أما Steerling فيحتوي على مرشح في المنتصف. قبل أن يتمكن الماء من التدفق للخارج، يجب أن يمر عبر مجموعة من الدلاء المصنفة (المفاهيم). يجب على النموذج أن يقرر: "حسنًا، هذه الجملة تتكون من 40% عن 'الرياضيات' و20% عن 'التاريخ'". ولأن النموذج مضطر لاستخدام هذه الدلاء لتقديم تنبؤه، يمكننا رؤية بالضبط أي الدلاء استخدمها. إذا ارتكب خطأً، يمكننا النظر إلى الدلاء والقول: "آه، لقد ركز كثيرًا على 'التاريخ' وتجاهل 'الرياضيات'".

المفاجأة الكبرى: الأكبر هو الأكثر وضوحًا

الجزء الأكثر إثارة في الورقة هو ما حدث عندما جعلوا النموذج أكبر. عادةً، عندما تجعل نظامًا معقدًا أكبر، يصبح من الصعب فهمه. لكن هنا، حدث العكس.

اختبر الفريق نماذج تتراوح من الصغيرة جدًا إلى نموذج Steerling-8B الضخم الذي يمتلك 8 مليارات معلمة (parameter). ووجدوا أنه مع نمو النموذج، أصبحت "دلاءه" الداخلية أكثر تنظيمًا وتوافقًا مع الأفكار البشرية.

أسطورة "الضريبة": اعتقد الكثيرون أن جعل النموذج يشرح نفسه سيكلفه أداءً، مثل ضريبة على ذكائه. تُظهر الورقة أن هذا ليس صحيحًا. "تكلفة" كونه قابلًا للتفسير هي مبلغ ثابت وصغير، مثل رسوم صغيرة تدفعها مرة واحدة، وليس فاتورة تزدাيد كلما أصبحت أكثر ثراءً.
التوسع (Scaling Up): بينما أضافوا المزيد من القدرة الحوسبية (حوالي 1.35 تريليون كلمة من بيانات التدريب)، لم يصبح النموذج أكثر ذكاءً فحسب، بل أصبح أيضًا أكثر شفافية. أصبحت المفاهيم التي تعلمها أكثر وضوحًا، وأصبح يعتمد أقل على "الباقي" (جزء مخفي وغير قابل للتفسير من الدماغ) ويعتمد أكثر على المفاهيم المصنفة.

توجيه السفينة

بسبب الطريقة التي بُني بها النموذج، يمكنك "توجيهه" دون الحاجة لإعادة تدريبه. تخيل أنك تقود سيارة. في الذكاء الاصطنا_عي العادي، إذا كنت تريد تجنب التحدث عن العنف، فعليك أن تأمل ألا تصطدم السيارة. في Steerling، يمكنك ببساطة تدوير قرص. إذا كنت تريد من النموذج أن يكون أكثر "أكاديمية"، يمكنك رفع مستوى دلو "الأكاديمية". إذا كنت تريد منعه من التحدث عن "السياسة"، يمكنك كبح ذلك الدلو. تُظهر الورقة أنهم استطاعوا فعل ذلك فورًا، وتغيير سلوك النموذج بمجرد دفع المفاهيم التي يستخدمها بالفعل.

النتائج

درب الفريق Steerling-8B على 1.2 تريليون توكن (كمية هائلة من النصوص). وقارنوه بنماذج أخرى مفتوحة المصدر تم تدريبها باستخدام قدرة حوسبية تزيد من 2 إلى 16 ضعفًا. وعلى الرغم من امتلاكهم ميزانية تدريب أصغر وتحملهم "الوزن" الإضافي لكونه قابلًا للتفسير، إلا أن Steerling قدم أداءً يقارب النماذج الضخمة وغير الشفافة.

تخلص الورقة إلى أننا لسنا مضطرين للاختيار بين ذكاء اصطناعي ذكي وذكاء اصطناعي شفاف. من خلال تصميم النموذج ليكون مفهومًا منذ البداية، يمكننا بناء أنظمة ليست قوية فحسب، بل موثوقة أيضًا، لأننا نستطيع رؤية كيف تفكر بالضبط وإصلاحها عندما تخطئ. إنه تحول من بناء الصناديق السوداء إلى بناء بيوت زجاجية يتخللها الضوء.

ملخص تقني: توسيع نطاق النماذج اللغوية القابلة للتفسير ذاتياً

بيان المشكلة

تُدرب النماذج اللغوية الكبيرة (LLMs) الحالية عادةً كأنظمة غامضة، حيث يُعامل التفسير (interpretability) كـ "ضريبة" لاحقة على القدرة. تتضمن سير العمل القياسية تدريب نموذج عالي الأداء ثم محاولة الهندسة العكسية لسلوكه باستخدام المجسات (probes)، أو علاقات سمات المدخلات (feature attributions)، أو المشفرات التلقائية المتفرقة (sparse autoencoders). يجادل المؤلفون بأن هذا النهج يعاني من قيد هيكلي جوهري: لم يتم تدريب النموذج أبداً لجعل التفسير واجهة صالحة لعملياته الحسابية. وبناءً على ذلك، غالباً ما تفشل الطرق اللاحقة (post-hoc) في تلبية متطلبات الأمانة (أن يعكس التفسير الاستدلال الفعلي) والصلاحية (أن تكون التدخلات ذات معنى). علاوة على ذلك، هناك افتراض سائد بأن تقييد النماذج بهياكل ذات معنى بشري يؤدي بالضرورة إلى تدهور الأداء، مما يخلق مقايضة بين القدرة وقابلية التفسير.

المنهجية

1. وصفة التفسير الذاتي

يقترح المؤلفون مسار تدريب حيث يكون التفسير قيداً يتم تحسينه جنباً إلى جنب مع هدف نمذجة اللغة، بدلاً من كونه فكرة لاحقة. تعدل هذه الوصفة مراحل التدريب القياسية لتلبي خمسة شروط رسمية لـ التفسير الذاتي:

الأصالة (Nativeness): يجب أن تكون المتغيرات المنسوبة جزءاً من المسار الحسابي الذي ينتج المخرجات.
الاتفاق (Agreement): يجب أن تتنبأ درجات الإسناد بتأثير التدخلات (مثل الحجب أو توجيه المفاهيم) قبل تطبيقها.
الصلاحية (Validity): يجب أن تكون التدخلات ضمن نطاق التوزيع (أي يجب أن يكون النموذج قد رأى الحالات المضطربة أثناء التدريب).
التفسير (Interpretation): يجب أن تمثل الأوصاف الدلالية (البطاقات) المتغيرات الداخلية للنموذج بدقة.
التغطية (Coverage): يجب أن تغطي المكونات القابلة للتفسير جزءاً كبيراً من التنبؤ، مما يقلل من البواقي غير المفسرة.

2. البيانات: مسار أطلس (Atlas Pipeline)

كانت العقبة الرئيسية هي نقص مكتبة مفاهيم بشرية المعنى بمقياس مجموعات بيانات التدريب المسبق الحديثة. ولمعالجة ذلك، بنى المؤلفون أطلس (Atlas)، وهو مسار مؤتمت ثلاثي المراحل:

المرحلة 1 (الوسم - Tagging): أخذ عينات من 6.6 مليون وثيقة، وتقطيعها، واستخدام نموذج لغوي كبير لتوليد وسوم عالية الاستدعاء وحرة التشكيل.
المرحلة 2 (التقنين - Canonicalization): تجميع الوسوم في مكتبة متماسكة تضم 33,732 مفهوماً مفهوماً بشرياً، مصنفة ومزالة التكرار.
المرحلة 3 (المُوسِم - Annotator): تدريب نموذج لتعيين هذه المفاهيم لقطع نصية عشوائية عبر مجموعة بيانات مكونة من 1.5 تريليون توكن.
تغطي المكتبة الناتجة مجالات متنوعة (العلوم، البرمجة، القانون، إلخ) وتم التحقق من صحتها لضمان أن المفاهيم ذات معنى بشري، وليست مجرد مفاهيم طليقة لغوياً بالنسبة للنماذج اللغوية الكبيرة.

3. البنية: Steerling-8B

يجسد المؤلفون هذه الوصفة من خلال Steerling-8B، وهو نموذج لغة يعتمد على الانتشار السببي (Causal Diffusion) ويتميز بـ عنق زجاجة للمفاهيم الإضافي (Additive Concept Bottleneck).

الانتشار السببي (Causal Diffusion): على عكس النماذج التوليدية (autoregressive) القياسية، يستخدم Steerling هدف انتشار مقنع مع انتباه سببي كتلوي (block-causal attention). يسمح هذا بإزالة الضجيج المتوازي داخل الكتل مع الاحتفاظ بآلية تخزين مفاتيح وقيم (KV caching) بأسلوب التوليد التلقائي عبر الكتل لضمان كفاءة الاستدلال. والأهم من ذلك، أن هدف الحجب يدرب النموذج على خط أساس "بلا معلومات" ([MASK])، مما يتيح إسناد مدخلات صالحاً.
وحدة المفاهيم (Concept Module): تُدرج بين العمود الفقري للترانسفورمر ورأس نمذجة اللغة، وتقوم هذه الوحدة بتفكيك الحالة الخفية $h$ إلى ثلاثة مكونات إضافية:
$\bar{h} = \hat{k} + \hat{u} + \epsilon$
حيث $\hat{k}$ هو مجموع مرجح لـ المفاهيم المعروفة (من مكتبة أطلس)، و $\hat{u}$ هو مجموع مرجح لـ المفاهيم غير المعروفة (التي يتم تعلمها أثناء التدريب)، و $\epsilon$ هو حد البواقي.
دوال الخسارة (Loss Functions): يجمع هدف التدريب بين:
- خسارة نمذجة اللغة: التنبؤ بالتوكنات بناءً على الحالة المفككة $\bar{h}$ .
- خسارة المفاهيم: مواءمة تنشيطات المفاهيم المعروفة مع التوسيمات على مستوى القطعة (chunk-level) الصحيحة.
- خسارة إعادة البناء: تضمن أن الرأس غير المعروف يلتقط المعلومات التي لا تفسرها المفاهيم المعروفة.
- خسارة الاستقلال: تشجع على التعامد بين التمثيلات المعروفة وغير المعروفة لمنع التكرار.

4. ديناميكيات التدريب

يستخدم المؤلفون جداول فرض المعلم (teacher forcing schedules) لكل من رؤوس المفاهيم المعروفة وغير المعروفة. في بداية التدريب، يتم حقن تمثيلات المفاهيم الصحيحة لاستقرار التعلم، ثم يتم التلاشي تدريجياً نحو تنبؤات النموذج نفسه. هذا يمنع النموذج من الاعتماد على قناة البواقي أو تعلم الارتباطات الزائفة قبل أن تصبح رؤوس المفالموثوقة.

النتائج الرئيسية

1. قوانين القياس (Scaling Laws)

أجرى المؤلفون عمليات مسح لـ IsoFLOP عبر ثلاثة أوامر مقدارية من الحوسبة (من 10 ملايين إلى 8 مليارات بارامتر) على كل من هياكل النماذج التوليدية ونماذج الانتشار السببي.

القدرة (Capability): إضافة وحدة المفاهيم تفرض إزاحة ثابتة صغيرة لكل هيكل في حسابات القياس المثلى للحوسبة، بدلاً من كونها عقبة متزايدة. إن الخسارة غير القابلة للاختزال ( $L_\infty$ ) في الواقع تنخفض للنسخ القابلة للتفسير.
قابلية التفسير: جميع مقاييس التفسير الأربعة (خسارة المفهوم، خسارة الاستقلال، المساهمة، والمواءمة) تتحسن مع زيادة الحجم. وخلافاً للافتراض بأن قابلية التفسير تتدهور مع النمو، تصبح النماذج أكثر فصلاً وتوافقاً مع المفاهيم البشرية مع توسعها.
التنبؤ: نجحت النماذج صغيرة النطاق في التنبؤ بخسارة التحقق لنموذج Steerling-8B (في حدود 0.11 نات) وحددت مقاييس قابلية التفسير الخاصة به.

2. أداء Steerling-8B

تم تدريب Steerling-8B مسبقاً على 1.2 تريليون توكن، وتم تدريبه مرحلياً على 150 مليار توكن.

التنافسية: رغم حمل قيود قابلية التفسير، يحقق Steerling-8B أداءً ضمن حوالي 10% من النماذج المفتوحة المنافسة التي تم تدريبها على 2-16 ضعف كمية الحوسبة.
القدرات: يدعم النموذج التدخل في الحلقة المغلقة (closed-loop intervention):
- الإسناد (Attribution): يمكنه تتبع المخرجات وصولاً إلى توكنات المدخلات، ومفاهيم محددة، وبيانات تدريب مشابهة.
- التوجيه (Steering): يمكن للمستخدمين تضخيم أو كبح مفاهيم معينة في وقت الاستدلال دون إعادة تدريب، وذلك عبر التلاعب المباشر بتمثيلات المفاهيم المستخدمة في تمرير الحالة الأمامية.

الأهمية والادعاءات

يتحدى البحث فرضية أن التفسير هو ضريبة على القدرة. وتتمثل ادعاءاته الأساسية في:

يمكن تصميم التفسير داخل عملية التدريب: من خلال استيفاء شروط الأمانة والصلاحية أثناء عملية التدريب، يمكن للنماذج تقديم تفسيرات مرتبطة هيكلياً بعملياتها الحسابية.
قابلية التفسير تتوسع مع القدرة: بدلاً من أن يصبح فهمها أصعب مع نموها، تصبح النماذج القابلة للتفسير ذاتياً أكثر فصلاً وتوافقاً مع المفاهيم البشرية عند توسيع نطاقها.
تحقيق التنافسية ممكن: يمكن للنموذذج أن يكون قابلاً للتفسير وتنافسياً في آن واحد مع النماذج الغامضة المدربة على كميات أكبر بكثير من الحوسبة، مما يشير إلى نموذج قياس جديد حيث يكون الفهم ميزة في البنية وليس تكلفة لاحقة.

يخلص المؤلفون إلى أنه يمكن الحد من "تأثير راشون" (حيث تمتلك نماذج متعددة ذات أداء متطابق آليات داخلية مختلفة) عن طريق تثبيت الواجهة التفسيرية (مكتبة المفاهيم، خطوط الأساس، والتفكيك) عبر جميع النماذج الناتجة عن إجراء التدريب.