تخيل أنك تحاول تعليم روبوت كيفية قراءة قصة. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي إعطاء الروبوت "ملصقًا" خاصًا لكل كلمة يقرؤها. إذا رأى الروبوت كلمة "قطة"، سيعرف أنها الكلمة الأولى لأن لديه ملصق "الكلمة الأولى"، وإذا رأى كلمة "كلب" لاحقًا، فسيكون لديه ملصق "الكلمة الخامسة". بدون هذه الملصقات، سيصاب الروبوت بالارتباك، وسيعتقد أن جملة "القط طارد الكلب" هي نفسها "الكلب طارد القط" لأن الكلمات ستكون مجرد كومة مبعثرة من المكونات. تسمى هذه الطريقة في وضع الملصقات على الكلمات "الترميز الموضعي" (positional encoding)، وقد كانت هي القاعدة القياسية لمعظم النماذج اللغوية الذكية التي نستخدمها اليوم.

ولكن ماذا لو لم يكن الروبوت بحاجة إلى ملصقات على الإطلاق؟ ماذا لو استطاع الروبوت، بدلًا من النظر إلى ملصق، أن يشعر بترتيب القصة أثناء قراءتها؟ هذا هو السؤال الكبير الذي تطرحه هذه الورقة البحثية. فهي تستكشف طريقة جديدة لبناء نماذج لغوية لا تعتمد على تلك الملصقات الخارجية. بدلاً من ذلك، تستخدم "حلقة ذاكرة" تُحدث نفسها تلقائيًا أثناء القراءة، وتتذكر ما سبق بشكل طبيعي. هذا الأمر مهم لأنه إذا تمكنا من بناء نماذج تفهم الترتيب دون الحاجة إلى إخبارها صراحةً بمكان كل كلمة، فقد نتمكن من جعلها أكثر ذكاءً، وكفاءة، وقدرة على التعامل مع القصص الطويلة جدًا دون أن تفقد التركيز.

الفكرة الكبرى للورقة: ZetaGPT

يقدم مؤلف هذه الورقة ZetaGPT، وهو نموذج لغوي صغير مفتوح المصدر يحاول القيام بذلك تمامًا: القراءة بدون ملصقات. النتيجة الرئيسية هي أنه من خلال وضع "وحدة حالة فضاء-حالة سببية" (causal state-space module) مباشرة قبل آلية الانتباه الخاصة بالنموذج، يمكن للنموذج أن يتعلم ترتيب الكلمات ضمنيًا من خلال ديناميكياته الداخلية.

فكر في النموذج اللغوي القياسي كطالب يؤدي اختبارًا ويُسمح له بالنظر إلى ورقة مرجعية (الترميز الموضعي) تقول "السؤال 1"، "السؤال 2"، وهكذا. أما ZetaGPT فهو يشبه طالبًا يتعين عليه الاعتماد كليًا على ذاكرته للقصة التي قرأها حتى الآن. بينما يقرأ الطالب كل كلمة، تتغير حالته الداخلية، مما يخلق "بصمة" فريدة لتلك اللحظة في القصة. تشير الورقة إلى أن هذه البصمة الداخلية كافية لإخبار النموذج: "مهلًا، هذه الكلمة تأتي بعد تلك"، دون الحاجة إلى أي مساعدة خارجية.

كيف يعمل: حلقة الذاكرة

لفهم كيف ينجح ZetaGPT في ذلك، تخيل سباق تتابع. في السباق العادي، يتم تمرير العصا، والجميع يركض فقط. أما في نسخة ZetaGPT، فإن العداء (النموذج) يحمل حقيبة ظهر خاصة (وحدة فضاء-الحالة) يتغير شكلها ووزنها بناءً على ما مر به للتو.

1. حقيبة الظهر (وحدة فضاء-الحالة): قبل أن ينظر النموذج إلى الجملة بأكملها لفهم الروابط (عملية تسمى "الانتباه الذاتي" أو self-attention)، فإنه يمرر الكلمات أولاً عبر هذه الحقيبة. حقيبة الظهر هذه هي نظام "متكرر" (recurrent)، مما يعني أنها تتذكر الماضي. ومع دخول كل كلمة جديدة، تقوم الحقيبة بتحديث حالتها الداخلية بناءً على الكلمات السابقة.
2. التطور: توضح الورقة أنه مع تدريب النموذج، تتعلم هذه الحقيبة تطوير "آفاق ذاكرة" مختلفة. بعض أجزاء الحقيبة تتذكر الكلمات القليلة الأخيرة فقط (ذاكرة قصيرة المدى)، بينما تتذكر أجزاء أخرى امتدادًا طويلًا من القصة (ذاكرة طويلة المدى).
3. النتيجة: بحلول الوقت الذي تخرج فيه الكلمة من حقيبة الظهر وتدخل طبقة الانتباه الرئيسية، لم تعد مجرد كلمة خام؛ بل أصبحت كلمة "واعية بالموضع". إنها تحمل تاريخ مكان وجودها في الجملة. تلاحظ الورقة أنه خلال التدريب، يتعلم النموذج بشكل طبيعي استخدام جداول زمنية مختلفة للذاكرة لترميز التسلسل، مما يعوض فعليًا الحاجة إلى "الملصقات" (الترميز الموضعي) التي تستخدمها النماذج الأخرى.

ما تنفيه الورقة وما تجده

تجادل الورقة صراحةً ضد فكرة أننا يجب أن نستخدم ترميزات موضعية صريحة (مثل "الملصقات" المذكورة سابقًا) لبناء نموذج لغوي فعال. إنها ترفض فكرة أن المعلومات الموضعية يجب أن تكون "قدرة مكتسبة معمارياً" يتم حقنها من الخارج. بدلاً من ذلك، تقترح أن هذه المعلومات يمكن أن تكون "خاصية متأصلة" في ديناميكيات النموذج نفسه.

وجد المؤلف أن ZetaGPT يعمل. لقد قاموا بتدريب ثلاث نسخ من النموذج (صغير، متوسط، وكبير) بـ 34.4 مليون، و 159.2 مليون، و 479.9 مليون معلمة (parameter) على التوالي. وأظهروا أن هذه النماذج يمكنها تعلم التنبؤ بالكلمة التالية في الجملة دون أن تُعطى أبدًا ترميزًا موضعيًا.

ومع ذلك، فإن الورقة حذرة بشأن ثقتها. فهي لا تدعي أنها "حلت" مشكلة النمذجة اللغوية أو أن ZetaGPT أفضل من النماذج الضخمة التي تستخدمها شركات التكنولوجيا الكبرى. في الواقع، يعترف المؤلف بأن نماذجهم صغيرة وتم تدريبها على مجموعة بيانات متواضعة نسبيًا (مجموعة بيانات WikiText-103). ويشيرون إلى أنه نظرًا لصغر حجم نماذجهم، فقد تم تدريبها على سياقات قصيرة فقط (256، 512، و 1024 توكن). وتشير الورقة إلى أنه بينما تعمل هذه البنية في هذه المقاييس الصغيرة، فإننا لا نعرف بعد ما إذا كانت ستعمل بنفس الكفاءة للنماذج العملاقة التي تقرأ ملايين الكلمات في وقت واحد.

الرحلة الكاملة: من الصفر إلى الاستنتاج

أحد أكثر الأجزاء إبداعًا واكتمالًا في هذه الورقة هو أنها لا تعرض النموذج فحسب؛ بل تعرض "الوصفة" الكاملة لبنائه. يوفر المؤلف مسارًا كاملاً ومفتوح المصدر يأخذك من النص الخام إلى نموذج يمكنه الاستنتاج.

• المجزئ (The Tokenizer): أولاً، قاموا ببناء "مجزئ" (وهو مترجم يحول النص إلى أرقام) من الصفر، بدءًا من البايتات الخام ودمجها في مفردات مكونة من 50,259 رمزًا.
• التدريب: قاموا بتدريب النموذج مسبقًا، ثم ضبطه بدقة لاتباع التعليمات، وحتى تدريب "نموذج مكافأة" لمساعدة الذكاء الاصطناعي على التعلم من التغذية الراجعة البشرية (RLHF).
• لحظة "وجدتها" (The "Aha" Moment): أخيرًا، استخدموا تقنية تسمى "تحسين السياسة النسبي الجماعي" (GRPO) لتعليم النموذج "سلسلة الأفكار" (Chain-of-Thought) للاستنتاج. هذا هو الجزء الذي يتعلم فيه النموذج التفكير خطوة بخطوة، مثل الإنسان الذي يحل مسألة رياضية، دون أن تُعرض عليه الخطوات صراحةً مسبقًا. تشير الورقة إلى أن قدرة الاستنتاج هذه يمكن أن "تنبثق" مباشرة من خلال التعلم المعزز.

القيود

المؤلف صادق للغاية بشأن حدود عمله. حيث ذكر أن القيود الرئيسية تعود إلى الموارد الحوسبية التي امتلكها، وليس عيبًا في الفكرة نفسها. ولأنهم لم يمتلكوا القدرة على الوصول إلى أجهزة كمبيوتر عملاقة ذات قوة غير محدودة، لم يتمكنوا من التدريب على مجموعات البيانات الضخمة (تريليونات التوكنات) التي تستخدمها الأنظمة العملاقة الحديثة. وبناءً على ذلك، لا تمتلك نماذجهم المعرفة الواسعة بالعالم التي تمتلكها تلك الأنظمة الأكبر.

كما يشيرون إلى أنه نظرًا لعدم قدرتهم على التدريب على نصوص طويلة جدًا، فإنهم لم يختبروا تمامًا ما إذا كان نهج "بلا ملصقات" هذا يعمل مع القصص الطويلة للغاية. وتخلص الورقة إلى أن ZetaGPT هو "نموذج مرجعي مدمج" — أي إثبات مفهوم ومساحة للبحث يمكن للباحثين من خلالها دراسة كيف يمكن تعلم المعلومات الموضعية ضمنيًا، بدلًا من كونها منتجًا نهائيًا جاهزًا لاستبدال أكبر نماذج الذكاء الاصطناعي في العالم.

باخت-اختصار، ZetaGPT هو روبوت صغير بلا ملصقات، يثبت أنه يمكنك تعليم الآلة كيفية فهم ترتيب القصة بمجرد تركها تتذكر الرحلة، كلمة بكلمة. إنها خطوة صغيرة، لكنها تفتح بابًا جديدًا لكيفية بناء الجيل القادم من النماذج اللغوية.