TextNCA: Neural Cellular Automata for Language Modeling via Hierarchical Local Attention

تخيل أنك تحاول تعليم روبوت كيف يكتب قصة. لفترة طويلة، كانت الطريقة الأفضل للقيام بذلك هي بناء ناطحة سحاب ضخمة ومتعددة الطوابق من المنطق. كل طابق في ناطحة السحاب هو "طبقة" مختلفة تنظر إلى القصة بأكملة، وتمر بفهمها إلى الطابق التالي حتى يعرف الروبوت بالضبط ما هي الكلمة التالية. هكذا تعمل معظم نماذج اللغة الحديثة للذكاء الاصطناعي: إنها طويلة، معقدة، وتنظر إلى كل شيء بشكل شمولي.

ولكن ماذا لو حاولنا نهجاً مختلفاً؟ ماذا لو استخدمنا بدلاً من ناطحة السحاب، روبوتاً صغيراً وبسيطاً لا ينظر إلا إلى جيرانه المباشرين؟ هذه هي الفكرة وراء "الأتمتة الخلوية العصبية" (Neural Cellular Automata - NCA). فكر في الأمر كأنها لعبة "الهاتف المكسور" التي تُلعب على شبكة، أو صف من الناس يمررون ملاحظة لبعضهم البعض. كل شخص يرى فقط الشخص الذي بجانبه، ويكتب ملاحظة صغيرة، ثم يمررها. يفعلون ذلك مراراً وتكراراً. إذا اتبعوا جميعاً نفس القواعد البسيطة، يمكن لنمط أو صورة معقدة أن تظهر في النهاية من وسط الفوضى. لقد استخدم العلماء هذا لإنماء نباتات وأنسجة رقمية، لكنهم لم يحاولوا حقاً استخدامه لكتابة الجمل. السؤال الكبير هو: هل يمكن لهذا الروبوت الصغير، المحلي والمتكرر، أن يتعلم فعلياً كتابة قصة، وإذا استطاع، فهل السبب هو كونه محلياً، أم بسبب تكراره، أم بسبب شيء آخر تماماً؟

---

التجربة: روبوت صغير بخطة كبيرة

في هذه الورقة البحثية، بنى الباحثون نوعاً جديداً من نماذج اللغة يسمى TextNCA. بدلاً من ناطحة الساق، بنوا نسخة "هرمية" من ذلك الروبوت الصغير الذي يعتمد على الجيران. لقد أعطوه وصفاً وظيفياً محدداً للغاية: عليه أن ينظر إلى مجموعة صغيرة من الكلمات، ويحدث فهمه، ثم يمرر هذا الفهم المحدث إلى المجموعة التالية.

لجعل هذا يعمل، أقاموا سباق تتابع مكوناً من ثلاث مراحل:

1. المرحلة الأولى (الرؤية الضيقة): ينظر الروبوت إلى 8 كلمات فقط في كل مرة. يكرر هذه العملية 4 مرات، مصقلاً فهمه لذلك الحي الصغير.
2. المرحلة الثانية (الرؤية المتوسطة): ينتقل بعد ذلك إلى نافذة مكونة من 32 كلمة. يكرر العملية مرة أخرى 4 مرات، ليشاهد الآن سياقاً أكبر قليلاً.
3. المرحلة الثالثة (الرؤية الواسعة): أخيراً، ينظر إلى 128 كلمة. يكرر العملية 4 مرات أخرى، ليرى أخيراً هيكل الجملة بالكامل.

يستخدم الروبوت نفس "الدماغ" (الأوزان) لجميع التكرارات الأربعة في كل مرحلة، تماماً مثل الأتمتة الخلوية الحقيقية. قام الباحثون بتدريبه على مجموعة بيانات نصية ضخمة (WikiText-103) وقارنوه بنماذج الذكاء الاصطناعي القياسية.

المفاجأة الكبرى: إنه الجدول الزمني، وليس التكرار

توقع الباحثون أن السحر سيأتي من تكرار الروبوت لخطواته مراراً وتكراراً (التكرار/Iteration) أو من كونه ينظر فقط إلى الجيران المحليين. ولكن عندما أجروا التجارب، وجدوا شيئاً مفاجئاً.

المحرك الرئيسي للنجاح كان جدول "الضيق إلى الواسع" (Narrow-to-Wide).
لقد نجح النموذج بشكل أفضل لأنه بدأ صغيراً ثم توسع تدريجياً. كان الأمر يشبه قراءة كتاب: أنت تفهم أولاً كلمة واحدة، ثم عبارة، ثم جملة، ثم فقرة.

• عندما حافظوا على الجدول الزمني ولكن أوقفوا الروبوت عن تكرار نفسه (جعلوا النموذج يمر بمرحلة واحدة فقط)، ظل أداؤه جيداً تقريباً مثل النموذج الكامل المتكرر. كان الفرق ضئيلاً (حوالي 4 نقاط في مقياس يسمى "الارتباك" أو Perplexity، وهو يقيس مدى حيرة النموذج).
• ومع ذلك، عندما عكسوا الجدول الزمني (بدءاً من الرؤية الواسعة عند 128 كلمة وصولاً إلى الضيقة)، انهار النموذج. أصبح سيئاً جداً في الكتابة، حيث سجل 131.1 مقارنة بالدرجة الجيدة وهي 60.3.
• وحتى لو حافظوا على نفس النوافذ ولكن قاموا بخلط ترتيبها عشوائياً (مثل 8، ثم 128، ثم 32)، فقد عانى النموذج.

هذا يخبرنا أن الأجزاء "المحلية" و"المتكررة" من تصميم الـ NCA لم تكن هي الأبطال الحقيقيين. البطل كان ترتيب العمليات: البدء بضيق ثم التوسع تدريجياً.

ماذا عن التكرار؟

إذاً، هل يساعد تكرار الخطوات على الإطلاق؟ نعم، ولكن قليلاً فقط، وفقط في ظروف محددة للغاية.

• وجد الباحثون أن تكرار الخطوات بالضبط 4 مرات كان هو "النقطة المثالية". إذا كرروا العملية مرتين، كان النموذج مرتبكاً. وإذا كررواها 6 أو 8 مرات، أصبح النموذج في الواقع أسوأ. الأمر يشبه طالباً يدرس فصلاً مرة أو مرتين ويتعلمه جيداً، ولكن إذا درس نفس الفصل 10 مرات، فإنه يبدأ في نسيان ما تعلمه.
• هذا التكرار لم ينجح إلا لأن النموذج كان يمتلك "بوابة" خاصة (بوابة GRU) وتعلم "تضمينات الخطوات" (علامات خاصة تخبر الروبوت في أي خطوة من العملية هو الآن). بدون هذه الميزات، لم يفعل التكرار شيئاً أو حتى جعل الأمور أسوأ.

الحكم النهائي: قراءة منضبطة، وليست بطلاً جديداً

يعترف المؤلفون بصدق بخصوص نتائجهم. فهم يقرون بأن نموذج TextNCA الخاص بهم ليس أفضل من نماذج "ناطحة السحاب" القياسية (Transformers). في الواقع، كانت النماذج القياسية أفضل بكثير في التنبؤ بالكلمة التالية.

• سجل نموذج Transformer القياسي المكون من 6 طبقات 52.8.
• سجل أفضل نموذج TextNCA لديهم 60.3.
• كان نموذج Transformer القياسي المكون من 12 طبقة أفضل حتى عند 44.7.

لذا، فإن هذه ليست ورقة بحثية تقول "لقد بنينا ذكاءً اصطناعياً أفضل". بل هي ورقة تقول: "لقد بنينا تجربة منضبطة لنفهم لماذا تتصرف نماذج الأتمتة الخلوية هذه بهذه الطريقة".

ما تعلمناه (وما لم نتعلمه)

1. قاعدة "من الضيق إلى الواسع" هي الملك: أهم شيء لهذا النوع من النماذج هو البدء برؤية صغيرة ثم التوسع ببطء. إذا لم تفعل ذلك، فسيفشل النموذج.
2. التكرار هو مفتاح خافت الإضاءة، وليس مصباحاً مضيئاً: عملية التكرار (Iteration) تضيف قدرة صغيرة، ولكن فقط إذا توقفت عند العدد الصحيح (4). القيام بالكثير من التكرار يضر بالأداء.
3. الانتباه المحلي له حدود: عندما اختبروا النموذج في مهمة فهم المقروء (SQuAD)، واجه صعوبة في إيجاد الإجابات التي تتطلب النظر بعيداً في النص. هذا يشير إلى أنه بينما تساعد استراتيجية "ابدأ صغيراً، ثم كبّر" في النجاح، إلا أن النموذج لا يزال غير قادر على رؤية الصورة الكاملة كما تفعل النماذج القياسية التي تنظر إلى كل شيء في آن واحد.

تجربة "المقبض"

كان أحد الاكتشافات الجانبية الرائعة هو أنه بإمكانهم تدريب نسخة من النموذج تسمح لك بتغيير عدد التكرارات أثناء التشغيل (في وقت الاستدلال/Inference time). عادةً، إذا غيرت عدد مرات تكرار النموذج بعد تدريبه، فإن ذلك يؤدي إلى تعطل الأداء. ولكن من خلال تدريب النموذج بعدد عشوائي من التكرارات، خلقوا "مقبضاً" يسمح لهم بضبط العمق أثناء العمل. لكن ما الثمن؟ أصبح النموذج أسوأ بكثير (سجل 101 بدلاً من 60.3). الأمر يشبه امتلاك سيارة يمكنها القيادة بأي سرعة تريدها، لكنها تقود بنصف سرعة السيارة العادية.

الخاتمة

لا تقدم هذه الورقة نموذج لغة جديداً فائق القوة. بدلاً من ذلك، تقدم خريطة واضحة لكيفية عمل نماذج "الأتمتة الخلوية" هذه. إنها تثبت أن السحر ليس في التكرار أو القواعد المحلية نفسها، بل في الجدول الهرمي—التوسع التدريجي والمنظم من رؤية ضيقة إلى رؤية واسعة. إنها تذكير بأن الطريقة التي تنظم بها خطواتك قد تكون أهم من الخطوات نفسها.