🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

تُثبت هذه الورقة أن فشل النماذج اللغوية الكبيرة في عدّ الرموز المتكررة لا ينبع من عدم القدرة على تمثيل العدد الصحيح داخلياً، بل من آلية "طبقة بيرسبترون متعدد الطبقات" (MLP) محفزة بتنسيق محدد تقوم باستبدال التمثيل الدقيق بإجابة خاطئة ثابتة أثناء عملية توليد المخرجات.

المؤلفون الأصليون: Sohan Venkatesh

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Sohan Venkatesh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكيًا جدًا ومطلعًا (نموذج ذكاء اصطناعي). تطلب منه أن يعد كم مرة تظهر كلمة "تفاحة" (apple) في قائمة طويلة. تتوقع منه أن يصيب، لكن بدلاً من ذلك، يقول لك بثقة: "هناك 8 تفاحات"، رغم أن هناك 10 بوضوح.

لفترة طويلة، اعتقد الناس أن أمين المكتبة سيء في العد فقط. افترضوا أن عقل أمين المكتبة لا يحتوي على "عداد" مدمج فيه، لذا لا يمكنه تتبع الأرقام.

هذه الورقة البحثية تقول إن هذا الافتراض خاطئ.

إليك التبسيط لما وجده الباحثون بالفعل، باستخدام بعض التشبيهات اليومية:

1. أمين المكتبة يعرف الإجابة بالفعل

نظر الباحثون في أعماق عقل أمين المكتبة (الطبقات الداخلية للنموذج) عند كل خطوة من عملية التفكير. وجدوا أن الرقم الصحيح (10) مكتوب بوضوح وبشكل مثالي من الخطوة الأولى وحتى الأخيرة.

التشبيه: تخيل أمين المكتبة وهو يسير في ممر وفي يده سبورة بيضاء. عند كل خطوة من خطوات المشي، تقول السبورة بوضوح "10". المعلومة موجودة، واضحة وجلية. أمين المكتبة ليس مرتبكًا؛ هو في الواقع يعرف الإجابة.

2. كاتب اللافتات "المعطل"

إذا كان أمين المكتبة يعرف أن الإجابة هي 10، فلماذا يقول "8"؟

وجد الباحثون "خللًا" محددًا في منتصف الممر. في حوالي 90% من عملية التفكير، هناك عامل محدد (جزء من الكود البرمالي يسمى كتلة MLP) يرى تنسيق القائمة (كلمات مفصولة بمسافات) ويقرر تجاهل السبورة البيضاء.

التشبलीہ: تخيل أمين المكتبة وهو يسير في الممر، حاملاً لافتة "10". فجأة، يقفز عامل محدد (لنسمه "فريد التنسيق") أمامه. يرى فريد أن القائمة مكتوبة بمسافات (مثل "تفاحة تفاحة تفاحة"). لديه قاعدة مبرمجة مسبقًا: "إذا رأيت قائمة كلمات بمسافات، يجب أن أغير اللافتة لتصبح '8'".
يمسك فريد بالسبورة البيضاء، ويمسح "10"، ويكتب "8".
حتى وإن كان عقل أمين المكتبة لا يزال يعرف أنها 10 (الإشارة الأصلية لا تزال موجودة في الخلفية)، فإن المخرج النهائي أصبح الآن "8" لأن فريد قام بالكتابة فوقها.

3. الأمر لا يتعلق بالكلمات، بل بالتنسيق

هذا الخلل يحدث فقط مع الكلمات (مثل "تفاحة" أو "قطة")، وليس مع الأرقام (مثل "1" أو "2").

التشبيه: إذا أعطيت أمين المكتبة قائمة من الأرقام ("1 1 1 1...")، فإن "فريد التنسيق" لا يهتم. هو يتفاعل فقط مع الكلمات. أمين المكتبة يعد الأرقام بدقة مثالية. ولكن إذا أعطيته كلمات، فسيتم تحفيز فريد.
أيضًا، إذا غيرت التنسيق لاستخدام الفواصل بدلًا من المسافات (مثل "تفاحة، تفاحة، تفاحة")، فلن يظهر فريد. لن يتم تفعيل قاعدة "8"، وسيحصل أمين المكتبة على الإجابة الصحيحة. وهذا يثبت أن المشكلة ليست في القدرة على العد، بل في رد فعل محدد تجاه كيفية ظهور القائمة.

4. مشكلة "توجيه" وليست مشكلة "تمثيل"

تجعل الورقة تمييزًا كبيرًا بين نوعين من الفشل:

فشل التمثيل (Representation Failure): أمين المكتبة لا يعرف كيف يعد. (هذه الورقة تقول إن هذا ليس ما يحدث).
فشل التوجيه (Routing Failure): أمين المكتبة يعرف كيف يعد، لكن الإشارة يتم اختطافها قبل أن تصل إلى الفم. (هذا هو ما يحدث).
التشبيه: الأمر يشبه محطة راديو تبث الأغنية الصحيحة (العدد)، لكن "دي جي" في غرفة التحكم (كتلة MLP) يقرر قطع الموسيقى وتشغيل أغنية مختلفة (الرقم الخاطئ) قبل خروجها مباشرة إلى السماعات. الموسيقى سليمة؛ لكن التوجيه هو المعطل.

5. النماذج الأكبر لديها خلل مختلف

نظر الباحثون أيضًا في نماذج أكبر وأذكى. هذه النماذج عادة ما تحصل على العدد الصحيح، لكنها تفشل إذا قمت بتسلل "موزة" إلى قائمة التفاح.

الخلل: هذه النماذ الأكبر ترى الموزة. نظام الانتباه لديهم يلاحظها. لكن، تمامًا مثل النماذج الأصغر، هم يفشلون في السماح لهذه المعلومة بتغيير الإجابة النهائية. هم يرون الشيء الشاذ، لكنهم لا يستطيعون "توجيه" هذه المعلومة الجديدة إلى المخرج النهائي.

الخلاصة

تخلص الورقة إلى أن نماذج الذكاء الاصطناعي هذه ليست "سيئة في الرياضيات". هي في الواقع جيدة جدًا في تتبع الأرقام داخليًا. المشكلة تكمكمن في أن جزءًا معينًا من عقلها يتم تحفيزه من خلال الطريقة التي كُتبت بها القائمة (المسافات مقابل الفواصل، الكلمات مقابل الأرقام) ويفرض إجابة خاطئة على المخرج النهائي، مما يطغى على الإجابة الصحيحة الموجودة بالفعل.

لإصلاح ذلك، لسنا بحاجة لتعليم الذكاء الاصطناعي كيف يعد (فهو يعرف بالفعل). نحن بحاجة لإصلاح "شرطي المرور" (آلية التوجيه) الذي يمنع حاليًا الإجابة الصحيحة من الخروج.

ملخص تقني: عدّ الرموز المتكررة يكشف عن انفصال بين التمثيلات والمخرجات

بيان المشكلة
تُظهر نماذج اللغات الكبيرة (LLMs) إخفاقات منهجية وقابلة للتكرار عند عدّ الرموز المتكررة، رغم إظهارها أداءً قويًا في اختبارات الاستدلال الأوسع نطاقًا. على سبيل المثال، عندما يُطلب منها عدّ عشر كلمات متكررة (مثل "apple")، غالبًا ما تُخرج إجابة خاطئة حتمية وواثقة (مثل "8" أو "14") مع انعدام التباين تحت فك التشفير الجشع (greedy decoding). تشير التفسيرات الشائعة لهذا الفشل إلى نقص في تمثيلات العدّ الداخلية أو قيود في تتبع الأعداد داخل حالة النموذج. تتحدى هذه الورقة هذا التفسير، وتقترح بدلاً من ذلك أن الفشل لا يكمن في التمثيل، بل في توجيه المعلومات (routing) إلى المخرجات.

المنهجية
يستخدم المؤلفون تقنيات التفسير الآلي (mechanistic interpretability) عبر خمسة نماذج من نوع "decoder-only" مضبوطة بالتعليمات، وهي: Llama-3.2 (بأحجام 1B و3B) وQwen2.5 (بأحجام 1.5B و3B و7B). يتضمن الإعداد التجريبي ثلاث حالات:

P1 (الأساس): عدّ عشر رموز متطابقة.
P2 (الشذوذ): عدّ تسعة رموز متطابقة مع عنصر دخيل واحد (مثل "banana").
P3 (التحكم): عدّ عشر رموز فريدة.

تستخدم الدراسة:

المجسات الخطية (Linear Probes): تدريب مجسات انحدار ريج (Ridge regression) على التيار المتبقي (residual stream) عند كل طبقة لفك تشفير عدد الرموز، واختبار ما إذا كان العدد الصحيح قابلاً للفك خطيًا حتى عندما تكون المخرجات خاطئة.
عدسة اللوغاريتم (Logit Lens): إسقاط الحالات المخفية عبر طبقة الـ layernorm النهائية ومصفوفة إلغاء التضمين (unembedding matrix) عند كل طبقة لمراقبة متى "يلتزم" النموذج برمز رقمي محدد.
تفكيك MLP مقابل الانتباه (MLP vs. Attention Decomposition): عزل مساهمات طبقات الانتباه (attention sublayers) وكتل MLP لتحديد أي مكون يقوم بكتابة أو مسح قيم محددة في التيار المتبقي.
التدخلات السببية (Causal Interventions): إجراء عملية "إزالة التفعيل الصفري" (Zero-ablation) لكتل MLP محددة لاختبار المشاركة السببية.
تباين التنسيق والرموز: اختبار الفواصل المعتمدة على المسافات مقابل الفواصل المعتمدة على الفواصل (comma-separated) واستبدال رموز الكلمات برموز الأرقام لتحليل حساسية التنسيق وخصوصية نوع الرمز.

النتائج الرئيسية

الانفصال بين التمثيل والسلوك:
تكشف المجسات الخطية أن العدد الصحيح يمكن فكه خطيًا بدقة تقترب من الكمال ( $R^2 > 0.99$ ) من الطبقة الأولى من المحول (transformer) فصاعدًا، حتى في النماذج التي تُخرج أعدادًا غير صحيحة. والأهم من ذلك، أن العدد مُشفر بشكل أكثر وضوحًا في الحالة التي يفشل فيها النموذج (الرموز المتكررة) مقارنة بالحالة التي ينجح فيها (الرمções الفريدة). هذا يؤكد أن النموذج يمتلك التمثيل الصحيح داخليًا ولكنه يفشل في التعبير عنه.
فشل التوجيه (إعادة الكتابة بواسطة MLP):
ينتج الفشل عن كتلة Multi-Layer Perceptron (MLP) محددة ناتجة عن التنسيق، تقع عند حوالي 88-93% من عمق الشبكة (على سبيل المثال، الطبقة 14 في Llama-1B، والطبقتان 22/26 في Llama-3B، والطبقة 22 في Qwen-1.5B).

تستقبل كتلة MLP هذه حالة تيار متبقي تشفر العدد بشكل صحيح (أو حالة قريبة منه)، لكنها تعيد كتابتها برقم صحيح ثابت وغير صحيح (مثل "8" أو "14").
مدخلات الـ MLP مستقلة عن العدد؛ فهي تعمل بغض النظر عن طول التسلسل الفعلي (مثلاً من $n=8$ إلى $n=15$ )، مما يشير إلى أنها تستجيب لتوقيع تنسيق محدد وليس لإجراء عملية حسابية.
لا تؤدي عملية الإزالة السببية (causal ablation) لهذه الكتلة إلى استعادة الإجابة الصحيحة، بل تنقل الفشل إلى قيمة خاطئة أخرى (مثل التحول من "8" إلى "16")، مما يشير إلى أن "الفرض المسبق" (prior) موزع جزئيًا عبر عدة كتل.

خصوصية التنسيق ونوع الرمز:

حساسية التنسيق: في النماذج الأكبر (Llama-3B, Qwen-3B)، يؤدي تغيير الفاصل من المسافات إلى الفواصل إلى كبح محفز الـ MLP، مما يسمح للعدد الصحيح بالمرور. في النماذج الأصغر (Llama-1B)، يكون الفرض المسبق غير متأثر بالتنسيق.
نوع الرمز: يعمل الفرض المسبق مع الكلمات المتكررة (alphabetic tokens) ولكن ليس مع الأرقام المتكررة (digit tokens). النماذج التي تفشل في عد الكلمات المتكررة بشكل صحيح، تعد الأرقام المتكررة (مثل "1"، "1"، "1") دون خطأ، مما يثبت أن الفشل هو ارتباط متعلم بين تنسيق "قائمة الكلمات المتكررة" ومخرج خاطئ محدد، وليس عجزًا عامًا عن تقدير طول التسلسل.

كشف الشذوذ مقابل العد:
النماذج الأكبر (Qwen-3B, 7B) التي تحل مهمة العد في P1 لا تزال تفشل في مهمة كشف الشذوذ في P2 (عدّ تسعة تفاحات وتفاحة واحدة من الموز). يُظهر التحليل الميكانيكي أنه بينما تكتشف آليات الانتباه الشذوذ (حيث تحصل "الموزة" على انتباه عالٍ)، فإن هذه الإشارة لا يتم توجيهها إلى المخرجات لتصحيح العد. يمثل هذا نوعًا ثانيًا من فشل التوجيه حيث توجد إشارة الكشف ولكن لا يتم تحويلها إلى تصحيح سلوكي.

الأهمية والادعاءات
تجادل الورقة بأن فشل العد في هذه النماذج هو فشل في التوجيه (routing)، وليس فشلًا في التمثيل. الدوائر الداخلية تشفر العدد بشكل صحيح، لكن دائرة "فرض مسبق" (prior) محددة تعترض المعلومات وتكتب فوقها بناءً على إشارات سطحية للتنسيق (الكلمات المتكررة).

يزعم المؤلفون أن الخلط بين فشل التمثيل وفشل التوجيه يؤدي إلى تدخلات خاطئة (مثل إعادة التدريب لتحسين قدرات العد بينما القدرة موجودة بالفعل). بدلاً من ذلك، يجب أن تستهدف التدخلات الدوائر المحددة المسؤولة عن كبح الإشارة. توضح الدراسة أن الفشل السلوكي في النماذج القادرة هو غالبًا فشل في التعبير، وأن تحديد مسار التوجيه المحدد هو شرط ضروري لأي تدخل ناجح. يرسخ هذا العمل ظاهرة عامة حيث يمكن أن ينفصل الحق الداخلي والمخرج السلوكي تمامًا، مما يستلزم تحليلًا ميكانيكيًا للتمييز بينهما.