🤖 machine learning

Training Language Models via Neural Cellular Automata

تقترح هذه الورقة استخدام الخلايا الآلية العصبية لتوليد بيانات اصطناعية غير لغوية قابلة للتحكم من أجل مرحلة ما قبل ما قبل التدريب للنماذج اللغوية الكبيرة، مما يثبت أن هذا النهج يحسن الأداء في المهام اللاحقة وسرعة التقارب بشكل كبير مع التفوق على التدريب على مجموعات بيانات لغوية طبيعية أكبر بكثير.

المؤلفون الأصليون: Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal

نُشر 2026-03-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dan Lee, Seungwook Han, Akarsh Kumar, Pulkit Agrawal

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طالب عبقري لكنه فارغ الذهن كيف يكتب رواية، أو يحل مسائل رياضية، أو يبرمج لعبة فيديو.

الطريقة القديمة (تدريب الذكاء الاصطناعي الحالي):
تقليديًا، نقوم بتغذية هذا الطالب بملايين الكتب، والمواقع الإلكترونية، ومستودعات الأكواد البرمجية. نقول له: "اقرأ كل ما كتبه البشر على الإطلاق، ثم حاول تخمين الكلمة التالية".

المشكلة: هناك حد أقصى لكمية النصوص البشرية الجيدة المتاحة. كما أنها مليئة بالتحيزات البشرية، والأخطاء، و"الضجيج". بالإضافة إلى ذلك، يقضي الطالب الكثير من الوقت في حفظ الحقائق (مثل "باريس هي عاصمة فرنسا") بدلاً من تعلم كيفية التفكير. الأمر يشبه محاولة تعلم السباحة عن طريق قراءة مليون كتاب عن الماء؛ قد تعرف النظرية، لكنك لم تتعلم الحركة الفعلية.

الفكرة الجديدة (هذه الورقة البحثية):
سأل الباحثون سؤالاً جنونياً: "هل نحتاج حقاً إلى اللغة البشرية لتعليم الآلة كيف تفكر؟"

قرروا تجاوز الكتب لفترة من الوقت وتعليم الطالب باستخدام الخلايا العصبية الآلية (NCA).

ما هي الـ NCA؟ ("مزرعة النمل الرقمية")

تخيل شبكة ضخمة من البكسلات، مثل لوحة الشطرنج، ولكن بدلاً من المربعات السوداء والبيضاء، تكون الخلايا ملونة.

تعطي كل خلية قاعدة بسيطة: "إذا كان جيرانك باللون الأحمر، تحول إلى الأزرق. إذا كنت أخضر، ابقَ أحمر".
تترك هذه الشبكة تتطور بمرور الوقت.
السحر: رغم أن القواعد بسيطة، إلا أن الأنماط التي تظهر تكون معقدة للغاية، وفوضوية، وجميلة. تبدو مثل مجرات دوارة، أو بلورات تنمو، أو مياه متدفقة.

استخدم الباحثون الذكاء الاصطناعي لإنشاء ملايين مجموعات القواعد المختلفة لهذه الشبكات. لم يستخدموا الكلمات؛ استخدموا فقط الأرقام والأنماط.

التجربة: "ما قبل التدريب"

لقد جربوا عملية مكونة من ثلاث خطوات:

الخطوة 1 (النادي الرياضي): قاموا بتدريب نموذج الذكاء الاصطناعي الخاص بهم فقط على مزارع النمل الرقمية هذه (NCA). كان على الذكاء الاصطناعي مشاهدة الأنماط وهي تتطور والتنبؤ بما سيكون عليه الإطار التالي. كان عليه اكتشاف القواعد الخفية التي تحكم هذه الفوضى.
الخطوة 2 (المكتبة): بعد ذلك، أخذوا نفس هذا الذكاء الاصطناعي وأعطوه نظاماً غذائياً قياسياً من النصوص البشرية (كتب، أكواد، رياضيات).
الخطوة 3 (الاختبار): اختبروا الذكاء الاصطناعي في مهام حقيقية مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية.

النتائج المفاجئة

كان الذكاء الاصطناعي الذي خضع لتدريب "مزرعة النمل" أولاً أذكى وأسرع من الذكاء الاصطناعي الذي ذهب مباشرة إلى المكتبة.

الكفاءة: تعلم نفس القدر من مهارات اللغة باستخدام 10 أضعاف أقل من البيانات مقارنة بالطريقة القياسية.
السرعة: تعلم بسرعة أكبر بمقدار 1.6 مرة.
الأداء: تفوق فعلياً على ذكاء اصطناعي تم تدريبه مسبقاً على نصوص بشرية أكثر مما استخدمه الباحثون!

لماذا نجح هذا؟ (التشبيه)

فكر في الأمر كتعلم لعب الشطرنج.

الطريقة القديمة: تحفظ 10,000 مباراة لعبها كبار اللاعبين. تحفظ الحركات، لكنك قد لا تفهم لماذا قاموا بها.
طريقة الـ NCA: تلعب أولاً لعبة حيث يتعين عليك التنبؤ بحركة أشكال مجردة على لوحة بناءً على قواعد فيزيائية خفية. أنت تتعلم التعرف على الأنماط، والتخطيط بعيد المدى، واستنتاج القواعد.

بمجرد أن تتقن منطق التنبؤ بالأنماط المعقدة في مزرعة النمل، يصبح تعلم مفردات الشطرنج (أو اللغة البشرية) أسهل بكثير. أنت تعرف بالفعل كيف تفكر؛ تحتاج فقط إلى تعلم الكلمات.

منطقة "غولديلوكس" (الاعتدال المثالي)

وجد الباحثون أيضاً شيئاً رائعاً: ليست كل مزارع النمل متشابهة.

بالنسبة لـ البرمجة، تعلم الذكاء الاصطناعي بشكل أفضل من مزارع النمل "الأبسط" (القواعد التي يسهل التنبؤ بها).
بالنسبة لـ الرياضيات والكتابة العامة، احتاج الذكاء الاصطناعي إلى مزارع نمل "فوضوية" (قواعد معقدة للغاية وغير متوقعة).

الأمر يشبه الطاهي: إذا كنت تصنع حساءً بسيطاً، فأنت بحاجة إلى وصفة بسيطة. إذا كنت تصنع "سوفليه" معقداً، فأنت بحاجة إلى مجموعة معقدة من المكونات. وجد الباحثون أن بإمكانهم "ضبط" تعقيد مزرعة النمل ليتناسب مع الموضوع المحدد الذي يريدون للذكاء الاصطناعي تعلمه.

الصورة الكبيرة

تشير هذه الورقة البحثية إلى أن الذكاء لا يقتصر فقط على قراءة الكتب. بل يتعلق بتعلم التعرف على الهياكل العميقة والخفية في العالم.

من خلال تدريب الذكاء الاصطناعي على بيانات اصطناعية غير بشرية أولاً، يمكننا بناء نماذج تكون:

أكثر كفاءة (تحتاج بيانات أقل).
أفضل في التفكير المنطقي (تعلموا "المنطق" قبل "اللغة").
قابلة للتخصيص (يمكننا تصميم بيانات التدريب لتناسب وظائف محددة مثل البرمجة أو الرياضيات).

إنه تحول من "تعليم الذكاء الاصطناعي القراءة" إلى "تعليم الذكاء الاصطناعي التفكير"، باستخدام الأنماط الرياضية للكون كفصل دراسي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدريب النماذج اللغوية عبر الخلايا الآلية العصبية (Neural Cellular Automata)."

١. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) بشكل كبير على التدريب المسبق لاكتساب التمثيلات والقدرات. ومع ذلك، يواجه النموذج الحالي ثلاث عقبات حرجة:

ندرة البيانات: البيانات عالية الجودة للغة الطبيعية محدودة وتقترب من الاستنفاد (يُقدر ذلك بحلول عام ٢٠٢٨).
جودة البيانات: تحتوي اللغة الطبيعية على تحيزات بشرية وتتطلب تنقية وتنظيفاً مضنياً.
التشابك: تشتبك اللغة الطبيعية بين المعرفة والاستدلال، مما يجعل من الصعب عزل الأوليات الحسابية المطلوبة للذكاء.

وهذا يثير سؤالاً جوهرياً: هل اللغة الطبيعية هي المسار الوحيد للذكاء؟ تفترض المؤلفة أن ظهور الاستدلال في النماذج اللغوية الكبيرة يعتمد على البنية الأساسية للبيانات (مثل التبعيات طويلة المدى، واستنتاج القواعد) بدلاً من المحتوى الدلالي. لذا، يقترحون أن البيانات الاصطناعية غير اللغوية ذات البنية المكانية والزمانية الغنية يمكن أن تعمل كركيزة "تدريب مسبق-مسبق" (pre-pre-training) متفوقة.

٢. المنهجية

تقدم الورقة إطار عمل "التدريب المسبق-المسبق" حيث يتم تدريب النماذج أولاً على بيانات اصطناعية قبل التدريب المسبق القياسي على اللغة الطبيعية.

أ. الخلايا الآلية العصبية (NCA) كمصدر للبيانات

بدلاً من السلاسل العشوائية أو الخوارزميات البسيطة، يستخدم المؤلفون الخلايا الآلية العصبية (NCA):

الآلية: شبكة ثنائية الأبعاد ( $12 \times 12$ ) حيث تمتلك كل خلية حالة من أبجدية منفصلة ( $n=10$ ). قاعدة التحديث هي شبكة عصبية ( $f_\theta$ ) تقوم برسم خريطة لجوار الخلية ( $3 \times 3$ ) إلى لوغاريتمات الحالة التالية.
التنوع: يتم أخذ قواعد الانتقال ( $\theta$ ) والظروف الأولية عشوائياً لكل تسلسل، مما يضمن توزيعاً متنوعاً من الديناميكيات التي تتراوح من التافهة إلى الفوضوية.
الترميز (Tokenization): يتم ترميز الشبكة باستخدام رقع (patches) غير متداخلة بحجم $2 \times 2$ ، مما ينشئ مفردات مكونة من $10^4$ رمزاً. يتم تسلسل المتواليات كأزمنة متسلسلة من هذه الرقع.

ب. التحكم في التعقيد

الابتكار الرئيسي هو القدرة على ضبط التعقيد بشكل منهجي للبيانات الاصطناعية لتتناسب مع المجالات اللاحقة:

المقياس: يستخدم المؤلفون نسب ضغط gzip كوكيل لتعقيد كولموغوروف (التعقيد المتأصل في التسلسل).
أخذ العينات: يقومون بتصفية مسارات NCA بناءً على نسب الضغط (على سبيل المثال، الاحتفاظ فقط بتلك التي تزيد نسبة ضغطها عن ٥٠٪، مما يشير إلى تعقيد عالٍ/قابلية تنبؤ منخفضة).
حجم الأبجدية: يقومون بتغيير حجم أبجدية الحالة ( $n \in \{2, 10, 15\}$ ) للتحكم في تنوع التفاعلات المحلية.

ج. نموذج التدريب

١. المرحلة ١ (التدريب المسبق-المسبق): تدريب نموذج Transformer (مبني على Llama، بـ ١.٦ مليار معلمة) على مسارات NCA (١٦٤ مليون رمز) باستخدام التنبؤ بالرمز التالي.
٢. المرحلة ٢ (التدريب المسبق): الاستمرار في التدريب على مجموعات بيانات اللغة الطبيعية (OpenWebText, OpenWebMath, CodeParrot). يتم إعادة تهيئة طبقات التضمين (Embedding layers) لمفردات اللغة الطبيعية؛ بينما تُنقل جميع الأوزان الأخرى.
٣. المرحلة ٣ (الضبط الدقيق): التكيف مع مهام محددة لاختبارات الاستدلال.

٣. المساهمات الرئيسية

١. ركيزة التدريب المسبق-المسبق الاصطناعية: أثبتت أن بيانات NCA، رغم كونها غير لغوية، تنتقل بفعالية إلى نمذجة اللغة ومهام الاستدلال.
٢. تصميم البيانات المستهدف للمجال: أظهرت أن التعقيد الأمثل للبيانات الاصطناعية يختلف باختلاف المجال. تستفيد البرمجة (Code) من الديناميكيات الأبسط، بينما تستفيد الرياضيات والنصوص الويب من ديناميكيات أكثر تعقيداً.
٣. الرؤية الآلية: حددت الدراسة أن طبقات الانتباه (Attention layers) هي الناقل الرئيسي للأوليات الحسابية القابلة للنقل (مثل التعلم في السياق، وتتبع التبعيات طويلة المدى)، بينما تشفر طبقات MLP الإحصائيات الخاصة بالمجال والتي قد لا تنتقل إذا اختلفت المجالات.

٤. النتائج الرئيسية

أ. أداء النمذجة اللغوية

مكاسب الارتباك (Perplexity): أدى التدريب المسبق-المسبق على NCA إلى تحسين الارتباك في المهام اللاحقة بنسبة تصل إلى ٦٪ مقارنة بالتدريب من الصفر.
سرعة التقارب: تقاربت النماذج بسرعة ١.٦ مرة للوصول إلى الارتباك النهائي مقارنة بالنموذج المرجعي الذي بدأ من الصفر.
التفوق على اللغة الطبيعية: من المثير للدهشة أن التدريب المسبق-المسبق على ١٦٤ مليون رمز من NCA تفوق على التدريب المسبق-المسبسب على ١.٦ مليار رمز من اللغة الطبيعية (مجموعة بيانات C4)، حتى مع تساوي ميزانيات الحوسبة. هذا يشير إلى أن NCA تعلم "الأوليات الحسابية" بكفاءة أكبر من النصوص الخام في المراحل الأولى من التدريب.

ب. اختبارات الاستدلال

انتقلت المكاسب إلى مهام الاستدلال اللاحقة:

GSM8K (الرياضيات): تحسن pass@1 من ٣.٨٪ إلى ٤.٤٪؛ وتحسن pass@32 من ٣٦.٦٪ إلى ٣٧.٩٪.
HumanEval (البرمجة): تحسن pass@1، رغم أن المكاسب تضاءلت عند قيم $k$ الأعلى (ربما بسبب التداخل الهيكلي بين لغات Dyck والبرمجة).
BigBench-Lite: تحسينات ملحوظة عند قيم $k$ الأعلى (وصل pass@4 إلى ٣٦.٥٪ مقابل ٢٩.٧٪ لنموذج C4 المرجعي).

ج. دراسات الاستئصال (Ablation Studies)

انتقال المكونات: تسبب إعادة تهيئة أوزان الانتباه بعد تدريب NCA في أكبر انخفاض في الأداء، مما يؤكد أن طبقات الانتباه تتعلم الأوليات الأكثر قابلية للنقل. أما إعادة تهيئة MLPs فقد كان لها تأثيرات مختلطة تعتمد على المجال.
مطابقة التعقيد:
- نصوص الويب/الرياضيات: استفادت من قواعد NCA عالية التعقيد (نسبة gzip > ٥٠٪).
- البرمجة: استفادت من تعقيد متوسط (نسبة gzip ٣٠-٤٠٪).
- يتوافق هذا مع التعقيد الجوهري لمجموعات البيانات المستهدفة (البرمجة أكثر قابلية للضغط من نصوص الويب).

٥. الأهمية والآثار المترتبة

الكفاءة: يشير هذا العمل إلى أن البيانات "الأفضل" (المطابقة هيكلياً للمستهدف) هي الأكثر قيمة من البيانات "الأكثر". وهذا يتحدى فرضية قوانين القياس (Scaling Laws) التي تفترض أن مجموعات البيانات الضخمة من اللغة الطبيعية وحدها هي ما يدفع التقدم.
جدوى البيانات الاصطناعية: يثبت البحث أن البيانات الاصطناعية بالكامل وغير اللغوية يمكن أن تغرس قدرات استدلال عامة، مما قد يتجاوز أزمة استنفاد البيانات.
نموذج تدريب جديد: يقترح التحول من التدريب المسبق "الموحد للجميع" إلى "التدريب المسبق الاصطناعي المستهدف للمجال"، حيث يتم ضبط تعقيد المولد الاصطناعي ليتناسب مع الطبيعة الحسابية للمجال المستهدف (مثل تتبع الحالة الصارم للبرمجة، أو التبعيات المعقدة للرياضيات).
الفهم الآلي: يوفر دليلاً على أن آليات الانتباه هي المحرك العالمي للتعلم في السياق واستنتاج القواعد، وهي منفصلة عن المعرفة الخاصة بالمجال المخزنة في طبقات MLP.

في الختام، توضح الورقة أن تدريب النماذج اللغوية الكبيرة على ديناميكيات الخلايا الآلية العصبية يعمل كآلية "تمهيد" (bootstrapping) قوية، حيث تعلم النماذج كيفية استنتاج القواعد الكامنة وتتبع التبعيات بكفاءة أكبر من اللغة الطبيعية وحدها، خاصة في المراحل الأولى من التدريب.