💬 NLP

From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

تكشف هذه الورقة أن النماذج اللغوية الكبيرة غالباً ما تخفق في مهام عدّ الحروف ليس بسبب نقص في التمثيل الداخلي، بل لأن دوائر سلبية محددة في الطبقات اللاحقة تعمل بنشاط على كبح الإشارات الصحيحة لصالح مخرجات أخرى ذات احتمالية أعلى وغير صحيحة.

المؤلفون الأصليون: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ayan Datta, Mounika Marreddy, Alexander Mehler, Zhixue Zhao, Radhika Mamidi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وفائق الذكاء، قرأ تقريباً كل الكتب في العالم. يمكنه كتابة الشعر، وحل الألغاز المعقدة، وتلخيص كتب التاريخ بشكل أفضل من أي شخص آخر. ولكن، إذا سألته سؤالاً بسيطاً مثل: "كم مرة يظهر حرف 'p' في كلمة 'apple'؟"، فقد يخبرك بثقة أن الإجابة هي "1" أو "2"، رغم أن الإجابة الصحيحة هي "2".

تبحث هذه الورقة البحثية في سبب فشل نماذج الذكاء الاصطناعي فائقة الذكاء هذه (نماذج اللغات الكبيرة أو LLMs) في مثل هذه المهام البسيطة. اكتشف الباحثون شيئاً مفاجئاً: الذكاء الاصطناعي يعرف الإجابة بالفعل، لكنه يختار تجاهلها.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. تشبيه "الملاحظة المخفية" (الترميز المبكر)

تخيل نموذج الذكاء الاصطناعي كخط تجميع في مصنع يتكون من محطات عديدة (طبقات).

الاكتشاف: عندما يقرأ الذكاء الاصطناعي كلمة "apple"، تقوم المحطات الأولى في الخط فوراً بكتابة "ملاحظة لاصقة" تقول: "مهلاً، هناك حرفا 'p' هنا".
الدليل: استخدم الباحثون أداة تسمى "المسبار" (مثل جهاز الكشف عن المعادن) لفحص ذاكرة الذكاء الاصطناعي الداخلية في مراحل مختلفة. وجدوا أن هذه "الملاحظة اللاصقة" التي تحتوي على العدد الصحيح كانت واضحة ومقروءة تماماً في المحطات الأولى والمتوسطة من المصنع. كانت المعلومة موجودة، وبوضوح تام.

2. تشبيه "الرقيب" (القمع المتأخر)

إذا كان الذكاء الاصطناعي يعرف الإجابة، فلماذا يعطي إجابة خاطئة؟

الاكتشاف: بينما تنتقل المعلومات عبر خط التجميع نحو المخرج النهائي (الإجابة التي يراها المستخدم)، تصطدم بمجموعة محددة من العمال في المحطات الأخيرة. يعمل هؤلاء العمال مثل الرقباء أو المحررين.
الآلية: بدلاً من تمرير الملاحظة الصحيحة ("2") إلى المتحدث النهائي، يقوم هؤلاء العمال في المراحل المتأخرة بـ تجعيد الملاحظة الصحيحة واستبدالها بتخمين أبسط وأكثر "راحة".
- بعض النماذج (مثل Qwen) تتصرف كطفل عنيد يخمن دائماً "1" لأن هذا ما رآه في أغ most الأحيان.
- نماذج أخرى (مثل LLaMA) تتصرف كشخص مرتبك يختار رقماً عشوائياً فقط لأنه لا يثق في ذاكرته.
النتيجة: الإجابة النهائية خاطئة، ليس لأن المصنع لم يعرف الإجابة، بل لأن المحررين النهائيين قرروا قمع الحقيقة لصالح تخمين أكثر "أماناً" أو احتمالية.

3. تشبيه "البوصلة المكسورة" (عدم وجود توجيه متخصص)

قد تعتقد أن لدى الذكاء الاصطناعي "فريقاً متخصصاً لعد الحروف" (مثل قسم مخصص) يتعامل مع هذه المهمة.

الاكتشاف: بحث الباحثون عن هذا الفريق ولم يجدوا أي شيء. لا يوجد "قسم مخصص لعد الحروف".
الواقع: المعلومات المتعلقة بالحروف مشتتة عبر العديد من العمال بطريقة فوضوية وغير منسقة. الأمر يشبه محاولة تمرير رسالة عبر غرفة مزدحمة حيث يصرخ الجميع بأشياء مختلفة. بحلول الوقت الذي تصل فيه الرسالة إلى النهاية، تضيع أو يتم استبدالها بالأصوات الأعلى (التخمينات الخاطئة).

4. تحول "الأكبر ليس الأفضل"

عادةً، عندما نجعل نماذج الذكاء الاصطناعي أكبر (بإضافة المزيد من المعلمات/Parameters، مثل إعطاء المصنع المزيد من العمال)، نتوقع أن تصبح أكثر ذكاءً.

النتيجة: اختبر الباحثون نماذج أكبر (تصل إلى 9 مليارات معلمة) وحتى نماذج تم "تدريبها" لتتبع التعليمات بشكل أفضل.
النتيجة: فشلت بنفس القدر من السوء. جعل المصنع أكبر لم يحل المشكلة. "الرقباء" في نهاية الخط كانوا لا يزالون هناك، لا يزالون يجعدون الملاحظات الصحيحة. في الواقع، تدريب النماذج لتكون أكثر طاعة جعلها أحياناً أسوأ في العد لأنها تعلمت الاعتماد أكثر على عاداتها السيئة (مثل التخمين دائماً بـ "1").

الخلاصة الكبرى

تخبرنا هذه الورقة أن المشكلة ليست في أن الذكاء الاصطناعي "غبي" أو يفتقر إلى القدرة على فهم الحروف. المشكلة هيكلية.

تخيل سيارة بمحرك مثالي ونظام تحديد مواقع (GPS) مثالي، لكن السائق (الطبقة الأخيرة من الذكاء الاصطناعي) لديه عادة تجاهل نظام تحديد المواقع والقيادة في دوائر لأنه يعتقد أنه يعرف طريقاً مختصراً. السيارة تملك الخريطة الصحيحة، لكن السائق يرفض استخدامها.

لماذا يهم هذا؟
إذا كانت هذه النماذج لا يمكن الوثوق بها لعد الحروف — وهي مهمة يمكن لطفل في الخامسة من عمره القيام بها — فهذا يشير إلى أنها قد تكون هشة في مجالات أخرى أيضاً. قد تكون "تهلوس" (تختلق أشياء) ليس لأنها لا تعرف الحقائق، بل لأن "رقباءها" الداخليين يقمعون الحقيقة بنشاط لتقديم إجابة تبدو أكثر ثقة، ولكنها غير صحيحة.

باختصار: الذكاء الاصطناعي لا يفشل لأنه لا يستطيع رؤية الإجابة؛ إنه يفشل لأنه تم تدريبه على تجاهل الإجابة التي يراها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "من الترميز المبكر إلى الكبت المتأخر: تفسير نماذج اللغات الكبيرة في مهام عدّ الحروف".

1. بيان المشكلة

تُظهر نماذج اللغات الكبيرة (LLMs) نمط فشل متناقضاً: فهي تتفوق في معايير الفهم والاستدلال اللغوي المعقدة، لكنها تفشل باستمرار في المهام الرمزية الأساسية، مثل عدّ تكرارات حرف معين في كلمة (على سبيل المثال، "كم عدد حرف 'p' في كلمة 'apple'؟").

الفجوة: بينما وثقت الدراسات السابقة حالات الفشل هذه، إلا أن الآليات الداخلية المسببة لها لا تزال غير مستقصاة بشكل كافٍ. ومن غير الواضح ما إذا كانت النماذج تفشل لأنها لا تستطيع ترميز (encode) المعلومات الفرعية اللازمة، أم لأنها تفشل في استخدام تلك المعلومات أثناء عملية التوليد.
الفرضية: يبحث المؤلفون فيما إذا كان الفشل ينبع من نقص في القدرة التمثيلية أو من تداخل مهيكل داخل مخطط الحوسبة الخاص بالنموذج.

2. المنهجية

يستخدم المؤلفون إطار تشخيصي مضبوطاً باستخدام عدّ الحروف كأداة استقصاء دنيا لعزل الاستدلال على مستوى الرمز (token-level) عن المربكات اللغوية ذات المستوى الأعلى.

أ. الإعداد التجريبي:

النماذج: تم التقييم عبر ثلاث عائلات رئيسية من النماذج (LLaMA 3.2، Qwen 2.5، Gemma 2) في كل من النسخ الأساسية والنسخ المضبوطة للتعليمات (instruction-tuned)، وتتراوح أحجامها من 2 مليار إلى 9 مليارات معلمة (parameters).
مجموعة البيانات: تم إنشاؤها من WordNet وWiktionary، وتضم 10,000 كلمة مع توازن في الأعداد المستهدفة (1، 2، أو 3). تم استخدام قوالب متعددة للمطالبات (prompts) لتقليل انحياز الصياغة.
المقاييس:
- فرق اللوجيت ( $\Delta$ ): يقيس تفضيل النموذج للرمز الصحيح بالنسبة للبدائل الأخرى في التدفق المتبقي (residual stream).
- فجوة الاحتمالية ( $\Delta_p$ ): تقيس كبت احتمالية الإجابة الصحيحة بالنسبة لتنبؤ النموذج الفعلي.

ب. تقنيات التفسير:

المصنفات الاستقصائية (Probing Classifiers): مصنفات خطية مدربة على الحالات المخفية (hidden states) لتحديد ما إذا كانت معلومات عدد الحروف قابلة للفك خطياً في طبقات مختلفة (على مستوى الرمز، ومستوى الكلمة، ومستوى المطالبة).
عدسة اللوجيت (Logit Lens): تقوم بإسقاط الحالات المخفية المتوسطة على مساحة المفردات لتتبع كيفية تطور التنبؤات وأين تُفقد الإشارات الصحيحة.
رقع التنشيط (Activation Patching / Causal Tracing): استبدال التنشيطات المخفية من مدخل "فاسد" (مثل حرف/كلمة خاطئة) بتنشيطات "نظيفة" بشكل منهجي لقياس المساهمة السببية لمكونات محددة (الطبقات، رؤوس الانتباه، والـ MLPs) في المخرج الصحيح.

3. النتائج الرئيسية

أ. المعلومات مُرمزة ولكن لا تُستخدم:

الترميز المبكر: تكشف المصنفات الاستقصائية أن معلومات عدد الحروف مُرمزة بشكل موثوق في التدفق المتبقي للطبقات المبكرة والمتوسطة (دقة > 80-90%). وينطبق هذا حتى على الكلمات التي لم يرها النموذج أثناء التدريب.
فقدان المعلومات: بينما تكون المعلومات موجودة على مستوى الكلمة، تنخفض دقة الاستقصاء بشكل كبير عند رمز المطالبة النهائي (الموقع المستخدم للتنبؤ). يشير هذا إلى وجود انفصال بين التمثيل والاستخدام.

ب. "الدائرة السلبية" (الكبت المتأخر):

آلية الكبت: السبب الرئيسي للفشل ليس نقص المعلومات، بل هو الكبت النشط في الطبقات النهائية.
تحليل عدسة اللوجيت: يظهر أنه بينما تتوفر المعلومة الصحيحة في الطبقات المتوسطة، فإن احتمالية الرمز الصحيح تنخفض في الطبقات النهائية، بينما تزدัง احتمالية الإجابات الخاطئة والمهجنة.
المكونات المحددة:
- نماذج Qwen: يتوزع الكبت عبر الـ MLP في الطبقة قبل الأخيرة، ورؤوس الانتباه في الطبقة الأخيرة، والـ MLP في الطبقة الأخيرة.
- نماذج LLaMA: يتم الكبت بشكل شبه كامل بواسطة الـ MLP في الطبقة الأخيرة.
- رؤوس الانتباه: لم يتم العثيد أي رؤوس انتباه محددة مخصصة لتوجيه معلومات الحروف؛ فالإشارة مجزأة، ولا يُظهر أي رأس واحد قدرة قوية على الاستعادة السببية.

ج. استراتيجيات الإجابة المهجنة (Degenerate Answer Strategies):

النماذج لا تحاول العد؛ بل تعود إلى قواعد استدلال بسيطة:
- Qwen/Gemma: تتنبأ بشكل ساحق بعدد ثابت (غالباً "1").
- LLaMA: تُظهر تنبؤات عشوائية شبه منتظمة عبر الأعداد المختلفة.
يتم تعزيز هذه الاستراتيجيات في الطبقات النهائية، مما يؤدي إلى تجاوز الإشارات الصحيحة المتوسطة.

د. التوسع والضبط للتعليمات لا يساعدان:

التوسع (Scaling): زيادة حجم النموذج من 3 مليار إلى 9 مليارات معلمة لا يخفف من حدة الفشل. تظل أنماط الكبت ثابتة.
ضبط التعليمات (Instruction Tuning): الضبط اللاحق (نسخ Instruct) يغير استراتيجية الهجن المحددة (مثل التناوب بين "1" و "2")، لكنه لا يصلح الآلية الأساسية. لا تزال النماذج تكبت الإشارات الصحيحة لصالح الأولويات (priors) المتعلمة.

4. المساهمات الرئيسية

تفسير ميكانيكي للفشل: تثبت الورقة أن إخفاقات الاستدلال الرمزي في نماذج اللغات الكبيرة لا تعود إلى نقص التمثيلات أو عدم كفاية الحجم، بل إلى تداخل مهيكل حيث تقوم مكونات متأخرة محددة (الدوائر السلبية) بخفض وزن الإشارات الرمزية الصحيحة بشكل منهجي.
دليل فك التشفير التنافسي: تقدم الورقة دليلاً تجريبياً على أن عمليات التمرير الأمامي (forward passes) في النماذج تنفذ شكلاً من أشكال فك التشفيد التنافسي، حيث توجد الفرضيات الصحيحة والخاطئة جنباً إلى جنب، ويتم تحديد المخرج النهائي من خلال كبت الإشارات الصحيحة بقدر ما يتم من خلال تضخيم الإشارات الخاطئة.
تحديد الدوائر السلبية: يحدد المؤلفون شبكات فرعية محددة (بشكل أساسي الـ MLPs في الطبقات الأخيرة وبعض رؤوس الانتباه) تعمل كـ "دوائر سلبية"، حيث تعمل بنشاط على إضعاف المعلومات الصحيحة لصالح مخرجات ذات احتمالية أعلى ولكنها خاطئة.

5. الأهمية والآثار المترتبة

المتانة (Robustness): تشير النتائج إلى أن متانة نماذج اللغات الكبيرة في المهام المعقدة قد ترتكز على أسس غير مستقرة، حيث تعاني النماذج من العمليات الذرية المطلوبة للاستدلال الصارم.
استراتيجية التصميم: قوانين التوسع الحالية وضبط التعليمات غير كافية لإصلاح هذه نقاط الضعف الهيكلية. تحتاج البنى المستقبلية إلى استراتيجيات تصميم تضمن أن المعلومات ليست مرمزة فحسب، بل يتم نقلها بشكل موثوق إلى طبقة المخرجات دون أن يتم كبتها بواسطة قواعد الاستدلال المهجنة.
التفسير (Interpretability): تسلط الدراسة الضوء على ضرية أدوات التفسير الميكانيكي (مثل رقع التنشيط وعدسة اللوجيت) لتشخيص حالات الفشل التي قد تخفيها مقاييس الدقة السطحية. إنها تكشف أن "المعرفة" (الترميز) و"الفعل" (التوليد) هما عمليتان منفصلتان في النماذج الحالية.

في الختام، تجادل الورقة بأن نماذج اللغات الكبيرة قادرة على أداء عدّ الحروف داخلياً، ولكنها "مدربة على النسيان" (trained to forget) الإجابة الصحيحة لصالح الأنماط الأكثر احتمالاً إحصائياً خلال مرحلة التوليد النهائية.