💬 NLP

Convergent Evolution: How Different Language Models Learn Similar Number Representations

تُثبت هذه الورقة أن بنيات النماذج اللغوية المتنوعة تُظهر تطوراً تقاربياً من خلال تعلم تمثيلات عددية دورية متشابهة، ومع ذلك، فإن تركيبات محددة من البيانات والبنية وإشارات التدريب هي فقط التي تمكّن هذه السمات من أن تصبح قابلة للفصل هندسياً لمهام الحساب النمطي.

المؤلفون الأصليون: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

نُشر 2026-04-23

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Deqing Fu, Tianyi Zhou, Mikhail Belkin, Vatsal Sharan, Robin Jia

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب، وقد طلبت من مجموعة من الروبوتات المختلفة تماماً أن تقرأها جميعاً. بعض الروبوتات مصممة كأدمغة عملاقة (المحولات - Transformers)، وبعضها مثل أشرطة الذاكرة الطويلة والمتعرجة (الشبكات العصبية المتكررة - RNNs)، وبعضها مجرد بطاقات فهرسة بسيطة (تمثيلات الكلمات الكلاسيكية - word embeddings).

قد تتوقع أنه نظرًا لاختلاف بنيتها، فإنها ستفكر في الأرقام بطرق مختلفة تماماً. لكن هذه الورقة البحثية تكتشف شيئاً مذهلاً: إنها جميعاً تنتهي بالتفكير في الأرقام بطريقة متشابهة بشكل مفاجئ.

إليك قصة هذا الاكتشاف، مقسمة إلى مفاهيم بسيطة.

1. "التطور التقاربي" للأرقام

في علم الأحياء، التطور التقاربي (Convergent Evolution) هو عندما يطور حيوانان غير مرتبطين ببعضهما (مثل القرش والدلفين) نفس الميزة (مثل الزعنفة) لأنهما يعيشان في نفس البيئة ويواجهان نفس التحديات.

تجادل هذه الورقة بأن نماذج الذكاء الاصطناعي تفعل الشيء نفسه. نظرًا لأنها جميعاً تتدرب على اللغة البشرية، ولأن الأرقام في اللغة تظهر في أنماط محددة (مثل التواريخ، أو الأسعار، أو أرقام الهواتف)، فإن جميع هذه النماذج المختلفة تطور بشكل مستقل طريقة "دائرية" للتفكير في الأرقام.

لقد تعلمت رؤية الأرقام ليس فقط كخط مستقيم (1، 2، 3...)، بل كوجه ساعة.

1 و 11 يشعران بالتشابه لأن كليهما ينتهي بـ 1.
2 و 12 يشعران بالتشابه لأن كليهما ينتهي بـ 2.
هذا ما يسمى بالميزة الدورية (Periodic Feature). الأمر يشبه أن النماذج ترتدي سراً ساعة في معصمها.

2. اللغز ذو المستويين: الإشارة "المدببة" مقابل الخريطة "المفيدة"

وجد الباحثون أن التفكير الشبيه بالساعة يحدث في مرحلتين، وهنا تكمن الصعوبة.

المرحلة الأولى: الإشارة "المدبة" (التقارب الطيفي)

كل نموذج، بغض النظر عن كيفية بنائه، يطور "نتوءاً" أو "قمة" (Spike) في رياضياتهم الداخلية تتوافق مع أنماط الساعة هذه.

التشبيه: تخيل جهاز راديو. أي راديو تقريباً، سواء كان رقمياً متطوراً أو راديو ترانزستور قديماً ورخيصاً، يلتقط ضوضاء استاتيكية معينة عند تردد معين.
الاكتشاف: كل النماذج "تسمع" إيقاع الأرقام (دورات الـ 2، والـ 5، والـ 10). حتى القائمة الخام لمدى تكرار ظهور الأرقام في الكتب تمتلك هذا الإيقاع.
المشكلة: مجرد التقاط الراديو لإشارة لا يعني أنه يستطيع تشغيل أغنية. امتلاك "القمة" أمر ضروري، لكنه ليس كافياً للقيام بعملية حسابية فعلية.

المرحلة الثانية: الخريطة "المفيدة" (التقارب الهندسي)

هذا هو السحر الحقيقي. لكي يتمكن النموذج فعلياً من حل مسألة رياضية (مثل "7 باقي قسمة 10؟")، فإنه يحتاج إلى القدرة على فصل الأرقام بوضوح. يحتاج إلى وضع كل "السبعات" في زاوية من الغرفة وكل "الثمانيات" في زاوية أخرى، بحيث يمكن رسم خط بسيط بينهما.

التشبيه: تخيل فصلاً دراسياً.
- الإشارة "المدببة": المعلم يقرع الجرس كل 10 دقائق. الجميع يسمعه.
- التقارب الهندسي: الطلاب يجلسون بالفعل في مجموعات بناءً على الجرس. "السبعات" يجلسون في الصف الأمامي، و"الثمانيات" في الصف الخلفي.
- الفشل: بعض النماذج (مثل LSTM) تسمع الجرس بوضوح شديد (قمم ضخمة!)، لكن الطلاب لا يزالون يجلسون بشكل عشوائي. لا يمكنهم فصل المجموعات. هم يعرفون أن النمط موجود، لكن لا يمكنهم استخدامه.
- النجاح: نماذج أخرى (مثل المحولات - Transformers) لا تسمع الجرس فحسب، بل تنظم الطلاب بشكل مثالي. يمكنها رسم خط وتقول: "كل ما هو على اليسار هو 7، وكل ما هو على اليمين هو 8".

3. لماذا تنجح بعض النماذج وتفشل أخرى؟

تسأل الورقة: ما الذي يصنع الفرق بين نموذج "يسمع" النمط فقط وبين نموذج "يفهمه" حقاً؟

وجدوا ثلاثة مكونات رئيسية:

البيانات (القصة): يحتاج النموذج إلى رؤية الأرقام وهي تتفاعل مع الكلمات ومع أرقام أخرى. إذا غذيت نموذجاً بقائمة أرقام بدون سياق (فقط "5، 5، 5")، فسوف يتعلم الإيقاع ولكن ليس المعنى. يحتاج لرؤية الأرقام في جمل مثل "لدي 5 تفاحات" أو "السنة هي 2024".
البنية (شكل الدماغ): بعض أشكال الأدمغة أفضل في تنظيم هذه المعلومات. المحولات (Transformers) والشبكات العصبية المتكررة الخطية (Linear RNNs) الحديثة بارعة في فرز الطلاب إلى مجموعات. أما نماذج LSTM القديمة فهي بارعة في سماع الجرس ولكنها سيئة جداً في تنظيم الغرفة.
المجزئ (القاموس/Tokenizer): هذه مفاجأة كبيرة. طريقة تقسيم النموذج للكلمات مهمة جداً.
- الأرقام متعددة الرموز (Multi-token): إذا تم تقسيم الرقم "123" إلى ثلاثة أجزاء ("1"، "2"، "3")، فسيُجبر النموذج على القيام بالرياضيات خطوة بخطوة (مثل الجمع وحمل الواحد). هذا يجبره على تعلم منطق الساعة.
- الأرقام أحادية الرمز (Single-token): إذا كان "123" مجرد رمز واحد، فيمكن للنموذج "الغش". فهو ليس بحاجة لفهم منطق الساعة للحصول على الإجابة الصحيحة، لذا لا يكلف نفسه عناء تعلمه.

4. الدرس الكبير

أهم استنتاج هو: مجرد كون الذكاء الاصطناعي يبدو وكأنه يفهم شيئاً ما (بسبب وجود "القمم" الصحيحة في بياناته)، لا يعني أنه يفهمه حقاً.

الفخ: غالباً ما ينظر الباحثون إلى "القمم" ويقولون: "آها! النموذج قد تعلم الحساب النمطي (Modular Arithmetic)!"
الواقع: قد يكون النموذج مجرد محاكٍ لإيقاع البيانات دون أن يكون قادراً فعلياً على استخدامها لحل المشكلات.

ملخص التشبيه

تخيل أنك تعلم طالبين مختلفين إخبار الوقت:

الطالب (أ) (المحول - Transformer): يستمع إلى الساعة، ويرى العقارب تتحرك، ويتعلم أنه عندما يصل العقرب الكبير إلى 12، تبدأ ساعة جديدة. يمكنه فعلياً أن يخبرك بالوقت.
الطالب (ب) (LSTM): يستمع إلى الساعة ويسمع صوت "رنين" عالٍ كل ساعة. هو يعرف أن هناك "رنيناً" يحدث، ويمكنه التنبؤ بموعد الرنين التالي. ولكن إذا سألته "كم الساعة الآن؟"، فلن يعرف الإجابة. هو فقط يعرف الإيقاع.

تعلمنا هذه الورقة أنه في عالم الذكاء الاصطناعي، سماع الإيقاع سهل، أما فهم المعنى فهو صعب. وأن المزيج الصحيح من البيانات، وبنية الدماغ، وطريقة التدريب هو وحده ما يساعد النموذج على عبور تلك الفجوة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التطور التقاربي: كيف تتعلم نماذج لغوية مختلفة تمثيلات الأرقام."

1. بيان المشكلة

تتقصى هذه الورقة كيفية تعلم النماذج اللغوية الكبيرة (LLMs) ونماذج التسلسل الأخرى تمثيل الأرقام. لقد أثبتت الأعمال السابقة أن النماذج المدربة على اللغة الطبيعية تطور تمثيلات دورية لرموز الأرقام (number tokens)، والتي تتميز بوجود قمم في مجال فوريه عند الفترات $T=2, 5, 10$ .

ومع ذلك، ظلت هناك فجوة حرجة: هل يعني وجود قمم فوريه هذا أن النموذج قد تعلم حساباً تركيبياً (modular arithmetic) وظيفياً وقابلاً للفصل هندسياً؟

التقارب الطيفي (Spectral Convergence): ظهور قمم فوريه (البنية الدورية).
التقارب الهندسي (Geometric Convergence): ظهور تضمينات (embeddings) تكون فيها فئات البواقي ( $n \mod T$ ) قابلة للفصل خطياً (أي يمكن لمسبار خطي التنبؤ بـ $n \mod T$ بدقة).

يتساءل المؤلفون عما إذا كان التقارب الطيفي يضمن التقارب الهندسي، وإذا لم يكن كذلك، فما هي العوامل (البيانات، البنية، المحسن، الترميز/Tokenization) التي تدفع ظهور البنية الرقمية الوظيفية.

2. المنهجية

يستخدم المؤلفون مزيجاً من التحليل النظري والتجارب التجريبية المنضبطة عبر عائلات نماذج متنوعة.

أ. الإطار النظري

تحليل فوريه: يقومون بحساب تحويل فوريه المتقطع (DFT) لتضمينات الرموز $e(n)$ لقياس القدرة عند ترددات محددة ( $\nu = 1/T$ ).
المسبار الخطي (Linear Probing): يقومون بتدريب مصنفات خطية (انحدار لوجستي) للتنبؤ بـ $n \mod T$ من التضمينات، وقياس الأداء عبر معامل كوهين $\kappa$ (لأخذ خط الأساس العشوائي في الاعتبار).
النظرية 1 (الضرورة مقابل الكفاية): يثبتون رياضياً أن قدرة فوريه غير الصفرية ( $\Phi_T > 0$ $Φ_{T} > 0$ ) هي شرط ضروري ولكنها ليست كافية للفصل الخطي.
- قدموا مفهوم رقم الحالة (condition number) لمصفوفة التشتت داخل الفئة ( $S_W$ ). حتى لو كان التباين بين الفئات (المدفوع بقدرة فوريه) مرتفعاً، فإذا كان الضجيج داخل الفئة غير متجانس (anisotropic) ومتوافقاً مع الإشارة، فإن الفصل الخطي ينهار.

ب. الإعداد التجريبي

النماذج: يقومون بتدريب وتقييم نماذج بحوالي 300 مليون معلمة تشمل المحولات (Transformers)، والشبكات العصبية المتكررة الخطية (Gated DeltaNet, Mamba-2)، وشبكات LSTM، والتضمينات الكلاسيكية (GloVe, FastText).
البيانات: التدريب المسبق على 10 مليارات رمز من FineWeb-Edu باستخدام ترميز Llama-3 (الذي يربط الأرقام من 0 إلى 999 برموز منفردة).
الاضطرابات المنضبطة: لعزل العوامل المسببة، يقومون بتغيير:
1. إشارات البيانات: إزالة التزامن بين النص والأرقام، والتفاعل بين الأرقام، وتحديد طول السياق.
2. البنية: مقارنة المحولات (Transformers)، والشبكات العصبية المتكررة (RNNs)، وLSTMs.
3. المحسن (Optimizer): مقارنة AdamW مقابل Muon.
4. المهمة: التدريب على لغة عامة مقابل حساب صريح (جمع 9 أرقام مقابل 3 أرقام).

3. المساهمات الرئيسية

أ. تسلسل هرمي ثنائي المستويات للتقارب

تثبت الورقة أن "التطور التقاربي" في تعلم الميزات يحدث في مستويين متميزين:

التقارب الطيفي (عالمي): تطور جميع الأنظمة تقريباً (المحولات، RNNs، LSTMs، وحتى توزيعات تردد الرموز الخام) قمم فوريه عند $T=2, 5, 10$ . هذا مدفوع بمجرد التوزيع الدوري لرموز الأرقام في اللغة الطبيعية.
التقارب الهندسي (انتقائي): تتعلم أنظمة محددة فقط تضمينات تكون فيها $n \mod T$ قابلة للفك خطياً. يتطلب هذا توافقاً محدداً بين إشارات البيانات، والبنية، وديناميكيات التحسين.

ب. الرؤية النظرية: دور بنية الضجيج

يثبت المؤلفون أن قمم فوريه تضمن تشتت متوسطات الفئات، لكنها لا تضمن أن الفئات قابلة للفصل.

النتيجة الرئيسية: يعتمد الفصل الهندسي على النسبة بين التباين بين الفئات والتباين داخل الفئة (تمييز فيشر الخطي).
الآلية: في نماذج مثل LSTMs، تصبح مصفوفة التشتت داخل الفئة ( $S_W$ ) غير متجانسة للغاية (رقم حالة مرتفع). يتم "ابتلاع" الإشارة الدورية بواسطة الضجيج داخل الفئة، مما يؤدي إلى تداخل الفئات رغم وجود قمم فوريه قوية.

ج. دوافع التقارب الهندسي

من خلال دراسات الاستئصال (ablation studies)، يحدد المؤلفون الشروط المطلوبة للتقارب الهندسي:

إشارات البيانات:
- التزامن بين النص والرقم: ضروري. إزالة الارتباط بين الأرقام والنص المحيط بها (تبديل الأرقام - Swap Numbers) يقلل بشكل كبير من دقة المسبار.
- التفاعل بين الأرقام: مفيد. السماح للأرقام بالظهور معاً في نفس نافذة السياق يحسن الأداء.
- طول السياق: السياقات الأطول تسمد للنموذج لتراكم إحصائيات التزامن بشكل أغنى، مما يحسن الفصل.
البنية:
- المحولات (Transformers) والشبكات العصبية المتكررة الخطية (Mamba, DeltaNet) تحقق تقارباً هندسياً قوياً.
- LSTMs تفشل في تحقيق التقارب الهندسي (أداء عند مستوى الصدفة) رغم امتلاكها قمم فوريه أقوى من المحولات. هذا يشير إلى أن الفشل بنيوي وليس نقصاً في القدرة.
المحسن (Optimizer): اختيار المحسن (Muon مقابل AdamW) يؤثر على الأداء ولكنه ثانوي بالنسبة للبنية. يعمل Muon بشكل أفضل عموماً للمحولات، لكن البنية هي المحدد الأساسي.

د. دور الترميز (Tokenization) في المهام الحسابية

تكشف الورقة عن مسار ثانٍ للتقارب عبر التدريب الحسابي:

الجمع متعدد الرموز (مثلاً 9 أرقام): يجبر النموذج على حل مشكلات فرعية تركيبية ( $c_i = (a_i + b_i + \text{carry}) \mod 1000$ ) عند كل موضع رقم. هذا يخلق ضغطاً قوياً للتقارب الهندسي بغض النظر عن المحسن.
الجمع أحادي الرمز (مثلاً 3 أرقام): لا يتم فرض قيد تركيبي (المشكلة ليست تركيبية بطبيعتها إذا كانت النتيجة تناسب رمزاً واحداً). بناءً على ذلك، تختلف التمثيلات بشكل كبير حسب المحسن والبذرة العشوائية، وغالباً ما يفشل التقارب الهندسي في الظهور.

4. النتائج الرئيسية

نوع النموذج	قمم فوريه ( $T=2,5,10$ )	التقارب الهندسي (مسبار Mod-10)	ملاحظات
Transformer	نعم (قوية)	نعم ( $\kappa$ عالية)	يتعلم بنية وظيفية.
Linear RNN (Mamba/DeltaNet)	نعم (قوية)	نعم ( $\kappa$ عالية)	مشابه للمحولات.
LSTM	نعم (قوية جداً)	لا (مستوى الصدفة)	قمم عالية، لكن الضجيج العالي داخل الفئة يمنع الفصل.
تكرار الرموز الخام	نعم	لا	يثبت إمكانية وجود القمم دون تعلم.
جمع 9 أرقام	نعم	نعم	القيد متعدد الرموز يفرض البنية.
جمع 3 أرقام	متغير	لا/متغير	الرمز الواحد يفتقر للضغط التركيبي.
تعديل البيانات:	إزالة التزامن بين النص والرقم (Swap Numbers) يخفض دقة Mod-10 من ~85% إلى ~28%. إزالة التفاعل بين الأرقام (Isolate-k) يقلل الأداء أيضاً ولكن بشكل أقل حدة.
رقم الحالة:	تُظهر LSTM رقم حالة لمصفوفة $S_W$ أعلى بنحو 100 ضعف من Transformer، مما يفسر لماذا لا تترجم قدرة فوريه إلى فصل خطي.

5. الأهمية والآثار المترتبة

إعادة تعريف "التعلم": تتحدى الورقة الافتراض بأن البنية الطيفية المرئية (قمم فوريه) تعني التعلم الوظيفي. يمكن للنموذج أن "يبدو" وكأنه يفهم الحساب التركيبي (عبر التحليل الطيفي) بينما يفشل فعلياً في أداء المهمة (عبر المسبار).
التفسير الآلي (Mechanistic Interpretability): توفر إطاراً للتمييز بين الآثار الإحصائية لتوزيع التدريب (التقارب الطيفي) والتمثيلات الوظيفية (التقارب الهندسي).
التطور التقاربي: توضح الورقة أن الأنظمة المتنوعة (بيولوجية أو اصطناعية) يمكن أن تطور سمات متشابهة (قمم فوريه) بسبب القيود المشتركة (الترميز وتوزيع البيانات)، لكن فائدة هذه السمات تعتمد على توافق محدد بين البنية والتدريب.
الاتجاهات المستقبلية: تشير النتائج إلى أنه لكي تتعلم النماذج التفكير الرقمي القوي، فإنها تحتاج إما إلى:
- إشارات تزامن غنية في اللغة الطبيعية (تفاعل النص والرقم).
- قيود هيكلية صريحة في المهمة (الجمع متعدد الرموز).
- بنى قادرة على فصل الإشارة عن الضجيج داخل الفئة (على عكس LSTMs القياسية في هذا السياق).

باخت-صار، تجادل الورقة بأن التقارب الطيفي واسع الانتشار ومدفوع بإحصائيات البيانات، بينما التقارب الهندسي هو خاصية هشة تتطلب توافقاً محدداً بين البيانات، والبنية، وقيود المهمة.