📊 statistics

Assign and Add: A Mechanistic Study of Compositional Arithmetic

تستقصي هذه الورقة البحثية كيف تحقق نماذج "ترانسفورمر" الصغيرة التعميم التركيبي في بيئة مضبوطة من تعيين المتغيرات والجمع النمطي، مما يكشف أن النماذج تعيد استخدام الآليات الداخلية لكل من المدخلات المباشرة وغير المباشرة وتتقدم عبر مراحل تعلم متميزة للتعميم بشكل طبيعي على التوليفات غير المرئية.

المؤلفون الأصليون: Brady Exoo, Alberto Bietti, John Sous

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Brady Exoo, Alberto Bietti, John Sous

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعليم روبوت ذكي جداً، ولكنه حرفي للغاية، كيفية القيام بالرياضيات. تريد منه حل لغز مثل: "إذا كان 'A' يساوي 5 و 'B' يساوي 10، فما هو A + B؟"

الجزء الصعب هو أن الروبوت لم يسبق له رؤية الحرفين "A" و "B" مستخدمين بهذا الترتيب المحدد من قبل، لقد رأى فقط أرقاماً تُجمع معاً (مثل 5 + 10) أو حروفاً أخرى تُستخدم بطرق مختلفة. السؤال الكبير الذي طرحه الباحثون هو: كيف يتعلم الروبوت دمج هاتين المهارتين المختلفتين (فهم أن الحرف يمثل رقماً، ثم إجراء عملية الجمع الفعلية) لحل لغز جديد تماماً لم يره من قبل؟

إليك ما اكتشفته ورقة "Assign and Add" (التعيين والجمع)، مشروحة ببساطة:

1. الإعداد: رقصة من خطوتين

قام الباحثون ببناء "دماغ" صغير وبسيط (شبكة عصبية) وأعطوه مهمة محددة. قاموا بتغذيته بجمل مثل:

c=17, b=42, b+19=?

كان على الروبوت أن يستنتج أن b هي في الواقع 42، وبالتالي فإن العملية الحسابية هي حقاً 42 + 19، ثم يعطي الإجابة.

ولرؤية كيف تعلم الروبوت، قاموا بتقسيم التدريب إلى "نكهات" مختلفة من الألغاز:

الطريقة السهلة: مجرد أرقام (مثلاً 17 + 19 = ?).
الطريقة المتوسطة: حرف واحد ورقم واحد (مثلاً b + 19 = ?).
الطريقة الصعبة: حرفان (مثلاً b + c = ?).

2. المراحل الثلاث للتعلم

لم يتعلم الروبوت كل شيء دفعة واحدة. بل مر بثلاث مراحل متميزة، مثل طالب يتقن موضوعاً خطوة بخطوة:

المرحلة 1: سيد الرياضيات. أولاً، تعلم الروبوت كيفية إجراء عملية الجمع الفعلية. أصبح بارعاً جداً في جمع الأرقام معاً. في هذه المرحلة، كان ممتازاً في 17 + 19 لكنه كان مرتبكاً تماماً بشأن الحروف. كان يشبه الآلة الحاسبة التي لا تعرف ماهية المتغيرات.
المرحلة 2: المترجم. بعد ذلك، تعلم الروبوت مهارة "التعيين" (Assignment). فقد استنتج كيف ينظر إلى c=17 ويتذكر أن c تعني 17. تعلم كيف يستبدل الحرف بالرقم.
المرحلة 3: المايسترو (القائد). أخيراً، تعلم الروبوت كيفية دمج المهارتين معاً. أدرك أنه: "أوه، يمكنني استخدام مهارة 'المترجم' لإيجاد الأرقام، ثم استخدام مهارة 'سيد الرياضيات' لجمعها".

المفاجأة: تعلم الروبوت الرياضيات قبل أن يتعلم الترجمة بشكل كامل. لقد استطاع القيام بعملية الجمع بشكل مثالي بينما كان لا يزال يعاني في فهم الحروف!

3. كيف يعمل "دماغ" الروبوت (الآلية)

لم يكتفِ الباحثون بالنظر إلى النتيجة النهائية؛ بل نظروا داخل "دماغ" الروبوت ليروا كيف يفكر. وجدوا أداتين محددتين تعملان معاً:

الأداة (أ): رأس "الرمز السابق" (المترجم).
تخيل ذراع روبوت تمتد للخلف لتلتقط العنصر الذي يسبق العنصر الحالي مباشرة. في الطبقة الأولى من الروبوت، تعلم استخدام هذه الذراع للإمساك بالرقم المرتبط بحرف ما. إذا رأى b فإنه يمد ذراعه للخلف ليجد الرقم الذي خُصص لـ b في وقت سابق من الجملة.
الأداة (ب): وحدة "فوريه" الرياضية (الآلة الحاسبة).
في الطبقة الثانية، يستخدم الروبوت خدعة رياضية خاصة (تتضمن موجات وأنماطاً) للقيام بعملية الجمع. هذه طريقة معروفة للروبوتات للقيام بالرياضيات النمطية (Modular Math) (الرياضيات التي تلتف حول نفسها، مثل الساعة).

اللحظة السحرية: تعلم الروبوت ربط هاتين الأداتين. "المترجم" يمسك الأرقام الصحيحة ويمررها إلى وحدة "الآلة الحاسبة". بمجرد الاتصال، يمكن للروبوت حل b + c حتى لو لم يسبق له رؤية b و c يُجمعان معاً من قبل. الأمر يشبه وجود مترجم يتحدث لغة "الحروف" وآلة حاسبة تتحدث لغة "الأرقام"، ثم بناء جسر بينهما في النهاية.

4. لماذا هذا مهم؟

توضح الورقة أن التعميم (حل المشكلات الجديدة) ليس سحراً. بل يحدث بشكل طبيعي عندما يتعلم النموذج مهارات صغيرة وذرية (مثل جمع الأرقام وإيجاد المتغيرات) ثم يكتشف كيفية ربطها معاً.

تأثير "الاستيعاب المفاجئ" (Grokking): لاحظ الباحثون ظاهرة تسمى "Grokking". أحياناً، يحفظ الروبوت بيانات التدريب بدقة ولكنه يفشل في الاختبارات الجديدة. ثم، فجأة، يحدث "التحول"، ويبدأ في فهم القواعد بدلاً من مجرد حفظ الإجابات.
النتيجة: لأن الروبوت تعلم الآليات الداخلية بشكل منفصل ثم دمجها، استطاع التعامل مع ألغاز لم يسبق له رؤيتها، مثل استخدام حرف في موضع لم يكن مسموحاً به أثناء التدريب.

تشبيه ملخص

فكر في الروبوت كطباخ:

أولاً، يتعلم كيفية تقطيع الخضروات (الرياضيات).
ثم، يتعلم كيفية قراءة بطاقة الوصفة التي تقول "استخدم البصل من الوعاء الأزرق" (تعيين المتغيرات).
أخيراً، يتعلم الجمع بينهما: يقرأ البطاقة، يجد البصلة، ثم يقطعها.

تثبت الورقة أنه إذا علمت الطباخ هاتين المهارتين بشكل منفصل، فسيتمكن في النهاية من دمجهما لطهي طبق لم تطلب منه صنعه من قبل. "تركيب" المهارات هو ما يجعل الروبوت ذكياً.

ملخص تقني: التعيين والجمع: دراسة ميكانيكية للحساب التركيبي

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) قدرة على تركيب المهارات لأداء مهام معقدة لم تُشاهد أثناء التدريب، ومع ذلك، تظل الآليات المحددة التي تمكّن هذا "التعميم التركيبي" (compositional generalization) غامضة. وبينما يُعزى التعميم غالباً إلى تركيب آليات ذرية، فإن التفاعل بين الآليات المتميزة — وتحديداً ربط المتغيرات (استدعاء ترابطي عبر رؤوس الاستقراء/induction heads) والحساب المودولي/القياسي (تمثيلات مهيكلة عبر سمات فوريه/Fourier features) — لم يخضع لدراسة منهجية في بيئة محكومة.

تعالج هذه الورقة السؤال التالي: كيف تتعلم المحولات (transformers) تركيب آليات ربط المتغيرات والحساب المودولي للتعميم خارج نطاق توزيع التدريب، وكيف تبرز هذه القدرات أثناء التدريب؟

المنهجية

استخدم المؤلفون إعداداً تجريبياً محكوماً يتضمن محولاً صغيراً يمكن تفسيره ميكانيكياً، تم تدريبه على مهمة تركيبية تجمع بين تعيين المتغيرات والحساب المودولي.

بنية النموذج: محول مكون من طبقتين ورأس انتباه واحد، حيث $d_{model} = d_{head} = 128$ و $d_{mlp} = 512$ . تم استبعاد الانحيازات (biases)، وطبقات التسوية (normalization layers)، وطبقة الـ MLP الأولى عمداً لتبسيط عملية اكتشاف الدوائر (circuit discovery). يستخدم النموذج تضمينات موضعية مطلقة بأسلوب GPT-2 وقناعاً سببيّاً (causal masking).
تعريف المهمة: يتم تدريب النموذج لأداء الجمع المودولي ( $N=59$ ) حيث يمكن أن تكون المعاملات ثوابت أو متغيرات يتم تعيينها ديناميكياً في السياق (مثلاً: c=1, b=17, a=42, b+19=?).
توزيع البيانات: يتم ترميز التسلسلات مع حشو عشوائي (random padding) لمنع الاعتماد على المواضع المطلقة. تم تقسيم مجموعة التدريب لتقييم التعميم:
- صفر متغير (0-var): جمع الثوابت الصرفة.
- متغير واحد (1-var) و متغيران (2-var): الجمع الذي يتضمن متغيرات مُعينة.
- المجموعات المستبعدة (Held-out Sets): تم استبعاد حوالي 30% من أزواج الجمع من التدريب (على سبيل المثال، إذا كان 1+3 غير موجود في التدريب، فسيتم استبعاد جميع التسلسلات التي تحتوي عليه). بالإضافة إلى ذلك، تم تقييد متغيرات معينة من مواضع محددة في مجموعة التدريب لاختبار التعميم الموضعي.
تقنيات التحليل: تستخدم الدراسة أدوات التفسير الميكانيكي (عبر مكتبة TransformerLens) لتحليل أنماط الانتباه، ومتجهات تيار البقايا (residual stream vectors)، ومصفوفات الأوزان. كما توظف مجسات خطية (linear probes) وتحليلاً نظرياً للتدرج لتتبع ديناميكيات التدريب.

المساهمات الرئيسية

نموذج قابل للتتبع للحساب التركيبي: يقدم المؤلفون نموذجاً مبسطاً يسم يسمح بالتفسير الميكانيكي لكيفية تركيب تعيين المتغيرات مع الحساب المودولي.
ديناميكيات تدريب منفصلة: يكشف التحليل أن الحساب المودولي يتم تعلمه قبل وبشكل مستقل عن تعيين المتغيرات. يحقق النموذج دقة شبه مثالية في مهام (0-var) بينما لا يزال يتعلم ربط المتغيرات.
تفسير ميكانيكي للتعميم: تحدد الورقة أن التعميم ينشأ من تركيب دائرتين محددتين:
- رأس استقراء معدل (modified induction head) في الطبقة 1 يقوم باسترجاع المتغيرات المعينة وتوجيه قيمها.
- دائرة حساب مودولي في الطبقة 2 (تحديداً مصفوفة القيمة-المخرجات/Output-Value matrix وطبقة الـ MLP في الطبقة الثانية) التي تقوم بالعمليات الحسابية على القيم المسترجعة.
إطار نظري: يقدم المؤلفون تحليلاً نظرياً يوضح كيف تسهل ديناميكيات التدرج تركيب دوائر ربط المتغيرات والحساب المودولي، حيث يؤدي التدرج السالب على مصفوفة (Query-Key) في الطبقة الثانية بشكل طبيعي إلى تشكيل كتلة ذاكرة ترابطية.

النتائج

ديناميكيات التدريب والمراحل

تُظهر عملية التدريب ثلاث مراحل متميزة:

تعلم الجمع المودولي: يتعلم النموذج أولاً إجراء الجمع على التسلسلات التي لا تحتوي على متغيرات (0-var)، محققاً دقة عالية قبل ترسيخ ربط المتغيرات بشكل كامل.
تعلم تعيين المتغيرات: يتعلم النموذج لاحقاً الهيكل المطلوب لتعيين المتغيرات. تتزامن "قفزة" حادة في الدقة (حوالي الخطوة 5,300–5,400) مع ظهور دائرة توجيه تعيين المتغيرات، حيث يقوم انتباه الطبقة الأولى بتوجيه الثوابت بشكل صحيح إلى متغيراتها المعينة.
مرحلة الصقل: تتضمن المرحلة الثانية (الخطوات 14,500–16,000) صقل التوجيه للتسلسلات "الصعبة" (مثل متغيرات محددة في مواضع مستبعدة)، مما يصحح الإخفاقات الأولية في الانتباه لمواضع معينة من المتغيرات.

قدرات التعميم

التعميم الموضعي: يعمم النموذج لمواضع المتغيرات الجديدة (مثلاً، التنبؤ بـ b+14 بعد رؤية 14+b).
التعميم خارج التوزيع (OOD): ينجح النموذج في التنبؤ بأزواج الجمع المستبعدة (مثل 1+3) التي لم يسبق رؤيتها بأي شكل أثناء التدريب، محققاً دقة بنسبة 99.4% على مجموعات اختبار منسقة.
متطلبات البيانات: يتطلب التعميم لأزواج الثوابت غير المرئية التدريب على ما لا يقل عن ~25% من التوزيع الكلي ( $f \approx 0.25$ ). ويتطلب التعميم لتسلسلات المتغيرين تردداً نسبياً قدره ~20% ( $r \approx 0.2$ ) من تسلسلات المتغيرين في بيانات التدريب.

النتائج الميكانيكية

التمثيل المشترك: متجهات تيار البقايا لعمليات الجمع المعينة بالمتغيرات والجمع بالثوابت الصرفة متطابقة تقريباً (تشابه جيب التمام $\approx 1$ ) قبل طبقة الـ MLP في الطبقة الثانية، مما يشير إلى آلية حوسبة مشتركة.
سمات فوريه: تُظهر الخلايا العصبية في طبقة الـ MLP الثانية تنشيطات مسبقة تطابق الشكل النظري لسمات فوريه ( $\cos(\frac{2\pi k}{N}n + \alpha_k) + \cos(\frac{2\pi k}{N}m + \beta_k)$ )، مما يؤكد استخدام الآليات الدورية الراسخة للحساب المودولي.
تعديل رأس الاستقراء: يعمل انتباه الطبقة الأولى كـ "رأس التوكن السابق" للثوابت، حيث ينتبه للمتغير الذي يسبقها مباشرة. ثم تشكل مصفوفة (Query-Key) في الطبقة الثانية نمط هوية قوياً على تضمينات المتغيرات، مما يسمح لرمز = بالانتباه مباشرة إلى الثوابت الصحيحة المرتبطة بالمتغيرات.

الأهمية

تزعم الورقة أن التعميم التركيبي في المحولات يمكن أن يكون نتيجة طبيعية لتركيب الآليات الداخلية. ومن خلال إثبات أن الآليات المتميزة (رؤوس الاستقراء وسمات فوريه الحسابية) يمكن تعلمها بشكل مستقل ثم تركيبها عبر توجيه الانتباه، يوفر هذا العمل أساساً ميكانيكياً لفهم كيفية تعميم المحولات للمهام الاستدلالية المعقدة.

يحافظ المؤلفون على التواضع فيما يتعلق بنطاق دراستهم، مشيرين إلى أن الدراسة محدودة ببيئة صغيرة ومحكومة لتسهيل التحليل. هم لا يدعون أن هذه النتائج تفسر مباشرة جميع سلوكيات النماذج اللغوية الكبيرة، بل يقترحون أنها تقدم إطاراً لفهم كيفية ظهور قدرات التعميم في المحولات، مما قد يحفز التحقيقات المستقبلية في مهام وقوانين توسع أكثر تعقيداً.