💻 computer science

Training Transformers as a Universal Computer

تُثبت هذه الورقة أن نموذج "ترانسفورمر" صغيرًا تم تدريبه على برامج "مايكرو باي" (MicroPy) مُولدة عشوائيًا يمكنه التعميم لتنفيذ خوارزميات معقدة مكتوبة بشريًا، مما يقدم دليلًا تجريبيًا على أن نماذج "الترانسفورمر" القياسية يمكن أن تعمل كحواسيب شاملة.

المؤلفون الأصليون: Ruize Xu, Chenxiao Yang, Yanhong Li, David McAllester

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ruize Xu, Chenxiao Yang, Yanhong Li, David McAllester

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه يعاني من ضعف في الذاكرة قصيرة المدى. أنت تريد تعليمه كيفية تشغيل برامج حاسوبية معقدة. المشكلة تكمن في أن الروبوت لا يستطيع "التفكير" إلا في عدد محدود من الخطوات في كل مرة قبل أن ينسى بداية القصة. إذا كان البرنامج طويلاً جداً، فسيضيع الروبوت.

تقدم هذه الورقة البحثية حلاً لهذه المشكلة. فقد قام الباحثون ببناء لغة برمجة صغيرة ومبسطة تسمى MicroPy وعلموا نموذج ذكاء اصطناعي قياسي (Transformer) ليعمل كحاسوب عالمي يمكنه تشغيل أي برنامج مكتوب بهذه اللغة، حتى لو لم يره من قبل.

إليك كيف فعلوا ذلك، باستخدام بعض التشبيهات من الحياة اليومية:

1. اللغة: MicroPy (مجموعة قطع الليغو)

فكر في MicroPy ليس كلغة برمجة كاملة مثل Python أو C++، بل كمجموعة صارمة ومبسطة من تعليمات قطع "الليغو".

تحتوي على كتل أساسية للقيام بأشياء مثل "إذا حدث هذا، فافعل ذاك"، أو "ابحث عن هذه القيمة"، أو "غيّر هذا الكائن".
ولأنها نسخة مبسطة من لغة "عالمية" (لغة يمكنها نظرياً القيام بأي عملية حسابية)، فإذا تعلم الذكاء الاصطناعي فهم كتل الليغو المحددة هذه، فمن الناحية النظرية يمكنه بناء أي شيء.

2. المشكلة: قضية "القصة الطويلة"

عادةً، عندما يحاول الذكاء الاصطناعي حل مسألة رياضية أو تشغيل كود خطوة بخطوة (وهي طريقة تسمى "سلسلة الأفكار" - Chain of Thought)، فإنه يكتب كل خطوة من الخطوات.

التشبيه: تخيل أنك تقرأ كتاباً، لكنك لا تستطيع استيعاب سوى آخر 10 صفحات في ذهنك. إذا كان الكتاب مكوناً من 1000 صفحة، فستنسى البداية بحلول الوقت الذي تصل فيه إلى النهاية. لن تتمكن من حل اللغز لأنك نسيت من كان الشرير في الفصل الأول.
من الناحية التقنية، تمتلئ "نافذة السياق" (الذاكرة قصيرة المدى للذكاء الاصطناعي) بسرعة كبيرة بالعمليات الحسابية الطويلة.

3. الحل: PENCIL (فريق التنظيف)

استخدم الباحثون خدعة خاصة تسمى PENCIL. فكر في PENCIL كـ "فريق تنظيف" سحري يساعد الذكاء الاصطناعي على إدارة ذاكرته.

كيف يعمل: عندما ينتهي الذكاء الاصطناعي من مهمة فرعية صغيرة (مثل حساب رقم أو إنهاء دالة)، يقوم فريق PENCIL فوراً بمسح الخطوات الوسيطة الفوضوية من ذاكرة الذكاء الاصطناعي، مع الإبقاء فقط على النتيجة النهائية.
التشبيه: تخيل أنك تطبخ وجبة معقدة. بدلاً من ترك كل القدر المتسخ، والمقالي، وأغلفة المكونات على الطاولة (مما سيؤدي في النهاية إلى ملء المطبخ بالكامل)، فإنك تغسل الأواني وتضعها في مكانها فور استخدامها. أنت تحتفظ فقط بالطبق النهائي على الطاولة. بهذه الطريقة، يمكنك طهي مأدبة ضخمة في مطبخ صغير دون أن تنفد منك المساحة.
هذا يسمح للذكاء الاصطناعي بتشغيل برامج أطول بـ 60 مرة من تلك التي تدرب عليها، لأنه لا يسمح أبداً لـ "طاولة المطبخ" الخاصة به بأن تصبح مزدحمة.

4. التدريب: الممارسة العشوائية مقابل الاختبارات الحقيقية

لم يعلم الباحثون الذكاء الاصطناعي من خلال إطلاعه على أكواد مشهورة كتبها البشر. بدلاً من ذلك، قاموا بتوليد الملايين من برامج MicroPy العشوائية وغير المفهومة.

التشبيه: الأمر يشبه تعليم طالب لعب الشطرنج من خلال جعله يلعب ضد كمبيوتر يقوم بحركات عشوائية وغير منطقية. يتعلم الطالب قواعد كيفية تحرك القطع وكيفية أسرها، بدلاً من حفظ ألعاب مشهورة محددة.
بمجرد أن تعلم الذكاء الاصطناعي هذه القواعد من الممارسة العشوائية، اختبروه باستخدام برامج حقيقية كتبها بشر تقوم بأشياء فعلية، مثل:
- نسخ وقلب البتات (البيانات الثنائية/Binary).
- جمع وضرب أرقام ثنائية كبيرة.
- حل ألغاز المنطق (مشكلات SAT).

5. النتيجة: الحاسوب العالمي

كانت النتيجة مفاجئة ومثالية.

حقق الذكاء الاصطناعي دقة بنسبة 100% في جميع الاختبارات التي كتبها البشر.
على الرغم من أن البرامج الاختبارية كانت أطول وأكثر تعقيداً من أي شيء رآه الذكاء الاصطناعي أثناء التدريب، إلا أنه تعامل معها بشكل مثالي.
تزعم الورقة البحثية أن هذا يثبت أن نموذج ذكاء اصطناعي قياسي يمكن تدريبه ليعمل كـ حاسوب عالمي. لم يكتفِ بمجرد حفظ الإجابات؛ بل تعلم منطق كيفية تنفيذ التعليمات، مما سمح له بالتعميم على برامج جديدة تماماً لم يسبق له رؤيتها.

الملخص

باختصار، تظهر الورقة البحثية أنه إذا أعطيت ذكاءً اصطناعياً قياسياً لغة مبسطة لتعلمها و"منظف ذاكرة" (PENCIL) لمساعدته في إدارة المهام الطويلة، فيمكنه تعلم العمل كحاسوب عالمي. يمكنه أخذ تعليمات لم يرها من قبل وتنفيذها بدقة، مما يثبت أن هذه النماذج يمكنها حقاً تعلم "التفكير" والحوسبة، وليس مجرد التنبؤ بالكلمة التالية.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدريب نماذج المحولات (Transformers) كحاسوب عالمي".

1. بيان المشكلة

بينما تشير الأعمال النظرية إلى أن نماذج المحولات المعززة بسلسلة الأفكار (Chain-of-Thought - CoT) هي حواسيب عالمية (قادرة على محاكاة آلات تورينج)، إلا أن هناك فجوة كبيرة بين القدرة التعبيرية (ما يمكنها تمثيله نظرياً) والقابلية للتعلم (ما يمكنها تعلمه فعلياً عبر التحسين القائم على التدرج).

تشمل التحديات الحالية ما يلي:

فشل التعميم: تعاني النماذج من صعوبة في التعميم على الطول (مثل إضافة أرقام أطول مما رأت في التدريب) والتعميم التركيبي (حل تركيبات جديدة من العناصر الأولية).
عنق زجاجة السياق: تتطلب سلسلة الأفكار (CoT) القياسية سياقاً بطول $O(T)$ ، حيث $T$ هو التعقيد الزمني للمهمة. وهذا يجعل التدريب والاستدلال على البرامج الطويلة والمعقدة غير ممكن ضمن نوافذ السياق المحدودة.
نقص التعلم العالمي: تعتمد المحاولات السابقة لتدريب المفسرات العصبية على وظائف مصممة مسبقاً أو بنيات متخصصة، وفشلت في إثبات أن نموذج محول قياسي يمكنه تعلم تفسير لغة كاملة تورينج (Turing-complete).

السؤال المركزي الذي تعالجه الورقة هو: هل يمكن تدريب نموذج محول قياسي ليعمل كحاسوب عالمي، بحيث يعمم على برامج وأطوال غير مرئية؟

2. المنهجية

يقترح المؤلفون إطار عمل يجمع بين لغة برمجة جديدة، وسقالة تنفيذ موفرة للذاكرة، ونظام تدريب محدد.

أ. MicroPy: لغة عالمية قابلة للحوسبة

صمم المؤلفون لغة MicroPy، وهي لغة برمجة كائنية التوجه مبسطة ولكنها كاملة تورينج.

الدلالات (Semantics): تعتمد على مجموعة صغيرة ومحدودة من قواعد الاسترجاع وإعادة الكتابة.
- الاسترجاع (Retrieval): البحث عن تعريفات الدوال، أو روابط المتغيرات، أو قيم السمات من السياق (إطارات المكدس أو الحالة).
- إعادة الكتابة (Rewriting): اختزال العناصر الأولية (مثل IF و SEQ و LookupAttr) إلى تعبيرات أبسط بناءً على الحالة الحالية.
البنية: تتكون البرامج من تعريفات الإجراءات والتعبيرات. يتضمن التنفيذ اختزالاً خطوة بخطوة للتعبيرات، مع إدارة الحالة المتغيرة (سمات الكائنات) وإطارات المكدس (للمتغيرات المحلية).
الهدف: من خلال تعلم هذه القواعد المحدودة، يتعلم النموذج تفسير أي برنامج MicroPy، ليعمل فعلياً كمفسر عالمي.

ب. سقالة PENCIL: تنفيذ السياق المحدود

لمعالجة عنق زجاجة طول السياق ( $O(T)$ )، يستخدم المؤلفون PENCIL (من Yang et al., 2025).

الآلية: تقدم PENCIL قاعدة اختزال تستعيد الحسابات الوسيطة المكتملة. عندما تكتمل عملية حسابية فرعية (إطار مكدس)، يتم مسح خطوات الاستدلال الوسيطة والاحتفاظ بالنتيجة النهائية فقط.
التعقيد: هذا يحد من طول السياق بـ $O(S)$ (التعقيد المكاني) بدلاً من $O(T)$ (التعقيد الزمني).
التشبيه: تعمل مثل نظام المكدس (stack discipline) في لغات البرمجة: بمجرد انتهاء دالة ما، يتم حذف إطار المكدس المحلي الخاص بها، مما يحافظ على حجم نافذة السياق قابلاً للإدارة حتى للبرامج طويلة التشغيل.

ج. توليد بيانات التدريب

يتم تدريب النموذج على آثار التنفيذ (execution traces) المتولدة من برامج MicroPy المولدة عشوائياً.

موزعان (Two Samplers):
1. موزع مستوى البرنامج: يولد هياكل نحوية متنوعة عبر قواعد لغوية خالية من السياق احتمالية.
2. موزع المخطط (Plan Sampler): يضمن تغطية التكوينات وقت التشغيل النادرة (هياكل المكدس وأنماط الاسترجاع المحددة) عن طريق أخذ عينة من "مخطط" مستهدف (هيكل المكدس) وتجميع برنامج لتحقيق ذلك.
الإشراف (Supervision): هدف التدريب هو التنبؤ بالرمز التالي (next-token prediction) في آثار التنفيذ خطوة بخطوة. يتنبأ النموذج بخطوة إعادة الكتابة التالية (استرجاع أو اختزال محلي) بناءً على السياق الحالي.
القيود: يتم تحديد برامج التدريب بـ 128 سطراً من الآثار لضمان التنوع دون إثقال كاهل النموذج، بينما تختبر عملية التقييم برامج أطول بكثير.

د. بنية النموذج

البنية: نموذج محول (Transformer) من نوع "المفكك فقط" (decoder-only) يحتوي على 59.5 مليون معلمة، مع استخدام تضمينات الموضع الدوارة (RoPE).
التحسين: يستخدم AdamW للتضمينات و Muon لمعلمات المصفوفة ثنائية الأبعاد.
المدخلات: تعريفات الإجراءات + التعبير المراد تقييمه + الحالة/المكدس الحالي.
المخرات: الخطوة التالية في أثر التنفيذ (رمز تلو الآخر).

3. المساهمات الرئيسية

تصميم لغة MicroPy: ابتكار لغة كاملة تورينج بدلالات تعتمد على مجموعة محدودة من قواعد الاسترجاع وإعادة الكتابة، مما يسهل التعلم التركيبي.
دليل تجريبي على التعلم العالمي: أول عرض لنموذج محول قياسي، تم تدريبه فقط على آثار عشوائية للغة عالمية، يمكنه التعميم لتنفيذ برامج معقدة كتبها بشر ولم يراها من قبل.
تكامل PENCIL: التطبيق الناجح لسقالة PENCIL للسماح للمحول بتنفيذ برامج يصل طول أثرها إلى 60 ضعف تلك التي رآها أثناء التدريب، وذلك ضمن نافذة سياق ثابتة.
التعميم المثالي: تحقيق دقة بنسبة 100% في المهام المحجوزة التي تتضمن معالجة البتات، والحساب، وحل المنطق.

4. النتائج التجريبية

تم تقييم النموذج على برامج MicroPy مكتوبة بشرياً كانت أطول بكثير وذات مغزى دلالي أكثر من بيانات التدريب.

المهام التي تم تقييمها:
- معالجة البتات (Bit Manipulation): نسخ وقلب البتات في القوائم المرتبطة.
- الحساب (Arithmetic): الجمع والضرب الثنائي (باستخدام تمثيلات السلاسل الثنائية).
- المنطق (Logic): التحقق من SAT وحل SAT (باستخدام البحث بالرجوع - backtracking search).
الأداء:
- الدقة: حقق النموذج دقة بنسبة 100% على مستوى الرمز في جميع المهام ضمن نافذة السياق المختبرة.
- التعميم على الطول: نجح النموذج في تنفيذ برامج يصل طول أثرها إلى 7,552 سطراً، رغم أنه تم تدريبه على برامج بحد أقصى 128 سطراً.
- فجوة التوزيع: كان التداخل شبه معدوم بين توزيع برامج التدريب ومجموعة الاختبار، مما يؤكد أن النموذج تعلم قواعد التنفيذ بدلاً من حفظ برامج محددة.
تغطية العمليات: غطى مولد التدريب كل نوع من أنواع العمليات المستخدمة في مجموعة الاختبار (مثل If و LookupVar و TailApp)، مما يضمن رؤية النموذج لجميع العناصر الأولية الضرورية أثناء التدريب.

5. الأهمية والآثار المترتبة

الحوسبة العالمية قابلة للتعلم: توفر الورقة دليلاً تجريبياً قوياً على أن الحوسبة العالمية ليست مجرد خاصية نظرية لنماذج المحولات، بل هي قدرة يمكن اكتسابها من خلال تدريب التنبؤ بالرمز التالي القياسي على لغة مناسبة.
التحيز الاستقرائي للتركيبية: تشير النتائج إلى أن نماذج المحولات، عند اقترانها بسقالة إدارة السياق (مثل PENCIL)، تمتلك تحيزاً استقرائياً مناسباً جداً لـ بنية العبارات والدلالات التركيبية. وهذا يشابه هيكل كل من لغات البرمجة واللغات الطبيعية.
سد الفجوة: يعمل هذا العمل على سد الفجوة بين "الحواسيب العصبية" (التي تتعلم آثار الإدخال والإخراج) والمفسرات الرسمية، مبيناً أن نموذجاً واحداً يمكنه تعلم تنفيذ لغة رسمية كاملة تورينج.
الاتجاهات المستقبلية: يشير المؤلفون إلى أن نفس الآليات التي تمكن من تعلم مفسر لغة برمجة قد تفسر سبب فعالية نماذج المحولات في مهام اللغة الطبيعية، حيث تعتمد كلتاهما على الدلالات التركيبية. يمكن للعمل المستقبلي أن يمتد إلى لغات أغنى والاستدلال بدون آثار تنفيذ صريحة.

باختصار، تثبت هذه الورقة أن نموذج محول قياسي يمكن تدريبه ليعمل كـ حاسوب عالمي، قادر على تنفيذ برامج عشوائية للغة كاملة تورينج بدقة مثالية، بشرما توفر سقالة التنفيذ لإدارة السياق بكفاءة.