Deterministic multi-hash routing supports long-horizon training in a compact language model

في عالم الذكاء الاصطناعي سريع التطور، يحاول الباحثون باستمرار بناء آلات يمكنها فهم اللغة والاستدلال حول العالم. ولتحقيق ذلك، يقومون بإنشاء أدمغة رقمية تسمى النماذج اللغوية، وهي في الأساس شبكات واسعة من الأرقام التي تتعلم الأنماط من كميات هائلة من النصوص. وتتمثل إحدى الاستراتيجيات الشائعة لجعل هذه النماذج أكثر ذكاءً دون جعلها ضخمة بشكل مستحيل في استخدام تصميم يسمى "خليط الخبراء" (mixture of experts). تخيل مكتبة حيث، بدلاً من أن يقرأ كل كتاب أمين مكتبة واحد، يتم التعامل مع أقسام مختلفة من المكتبة بواسطة متخصصين مختلفين. في نموذج حاسوبي، يعني هذا أنه لأي كلمة معينة، يقوم النظام بتنشيط مجموعة صغيرة ومحددة من المعالجات الداخلية، أو "الخبراء"، بينما يترك البقية في حالة خمول. عادةً، يقرر الحاسوب أي الخبراء سيستخدم من خلال النظر في سياق الجملة، متسائلاً في نفسه: "ما نوع هذه الكلمة، وماذا تحتاج الآن؟". هذه العملية من اتخاذ القرار يتعلمها النموذج نفسه أثناء التدريب، مما يجعله مرناً ولكنه أيضاً معقداً وصعب التنبؤ به.

لقد استكشف باحث يدعى بوريس بيريغوير مساراً مختلفاً، حيث طرح سؤالاً بسيطاً ولكن جريئاً: ماذا لو لم يحتج الحاسوب إلى اتخاذ قرار بشأن أي الخبراء سيستخدم؟ بدلاً من تعلم قاعدة ديناميكية لكل جملة، ماذا لو كان اختيار الخبير ثابتاً ودائماً بناءً على الكلمة نفسها فقط؟ في هذا النهج الجديد، تعمل هوية الكلمة كمفتاح دائم يفتح دائماً نفس البابين، بغض النظر عن المحادثة المحيطة بها. بنى الباحث نموذجاً لغوياً مدمجاً يحتوي على حوالي 201 مليون معلمة (parameter) — وهو مقياس لحجمه وتعقيده — ودربه باستخدام هذا النظام الصارم والمحدد مسبقاً. تعرض النموذج لما يقرب من 130 مليار كلمة خلال مرحلة التعلم الأولية، ثم تم صقله بشكل أكبر باستخدام 32 مليار كلمة أخرى، وأخيراً تم تعليمه كيفية اتباع التعليمات. وأظهرت النتائج أن هذا النظام الثابت يمكنه التعلم بفعالية، منتجاً نموذجاً أدى أداءً جيداً بشكل مفاجئ في اختبارات الاستدلال الفيزيائي والمنطق السليم، بل وتفوق على بعض النماذج الأكبر حجماً والتي تم تدريبها بطرق تقليدية مختلفة.

يكمن جوهر هذه التجربة في كيفية معالجة النموذج للمعلومات. في الإعداد القياسي، يحلل الحاسوب الموقف الحالي لاختيار أفضل الأدوات. أما في نموذج بيريغير، فيتم اختيار الأدوات في اللحظة التي تُرى فيها الكلمة، بناءً على خريطة محسوبة مسبقاً ولا تتغير أبداً. فلكل كلمة في مفردات النموذج، هناك زوج محدد من الخبراء المخصصين لها. تم إنشاء هذه الخريطة قبل بدء التدريب وظلت ثابتة طوال العملية بأكملها. لا يزال النموذج يستخدم مساراً مشتركاً يعالج كل كلمة، مما يضمن فهمه للسياق، لكن قوة المعالجة "المتبقية" (residual) تأتي من أولئك الخبراء المخصصين مسبقاً. يزيل هذا التصميم طبقة من التعقيد: لم يعد النموذج بحاجة إلى تعلم كيفية توجيه المعلومات، مما يوفر الجهد الحسابي ويجعل النظام أسهل في الفحص. ولأن جدول التوجيه عبارة عن قائمة ثابتة من الأعداد الصحيحة، يمكن لأي شخص النظر إلى النموذج ورؤية أي الخبراء سيتم استخدامهم لأي كلمة معينة، دون الحاجة إلى تشغيل الحاسوب عبر جملة أولاً.

كانت عملية التدريب صارمة وشفافة. بدأ النموذج بمرحلة أساسية حيث قرأ مجموعة ضخمة من النصوص، بما في ذلك صفحات الويب، والمواد التعليمية، والبرمجة، والرياضيات. بعد هذا التعرض الأولي، أوقف الباحثون التدريب وأعادوا تشغيله بإعدادات داخلية جديدة، مع إعادة زيارة نفس الكلمات الفريدة لصقل فهم النموذج دون تكرار نفس تسلسل الأحداث بالضبط. أخيراً، خضع النموذج لضبط التعليمات، حيث عُرضت عليه 300,000 مثال من الأسئلة والأجوبة لتعلم كيفية اتباع الأوامر. طوال هذه الرحلة، صمد نظام التوجيه الثابت؛ فلم ينهار النموذج أو يفشل في التعلم، بل تحسنت قدرته باستمرار على حل المشكلات. وبنهاية التدريب، كان النموذج قد تعرض لأكثر من 162 مليار كلمة في المجمل، وهو مقدار كبير من البيانات بالنسبة لحجم نموذجه.

وعند اختباره على قدرته على الاستدال، قدم النموذج نتائج قوية. في اختبار يسمى PIQA، والذي يقيس فهم التفاعلات الفيزيائية، حقق النموذج دقة بلغت 68.01 بالمئة. وفي مجموعة من الأسئلة العلمية المعروفة باسم ARC-Challenge، سجل 27.13 بالمئة. ولعل الأمر الأكثر بروزاً هو أنه عند دمج درجاته في مجموعتين مختلفتين من الأسئلة العلمية، وصل النموذج إلى دقة مجمعة بلغت 47.29 بالمئة. كان هذا الأداء أعلى من عدة نماذج عامة كانت أكبر حجماً بشكل ملحوظ، حيث تحتوي على ما بين 350 مليون و774 مليون معلمة. وقد تم تقييم هذه النماذج الأكبر باستخدام نفس القواعد الصارمة وطرق الاختبار، ومع ذلك لم تضاهِ أداء هذا النموذج الأصغر ذي التوجيه الثابت. يشير هذا إلى أن كفاءة نظام التوجيه الثابت سمحت للنموذل باستغلال حجمه المحدود بشكل أفضل.

ومع ذلك، فإن الباحث حذر من الادعاء بأن هذه الطريقة هي الحل النهائي أو أنها متفوقة بشكل قاطع على جميع الأساليب الأخرى. تنص الدراسة صراحة على أنها لا تتضمن مقارنة كاملة مع نموذج كثيف مطابق أو تكراراً متعدد البذور (multi-seed replication). ومن دون مثل هذه التجربة المنضبطة، من المستحيل التأكد مما إذا كان التوجيه الثابت هو الذي تسبب في الأداء العالي أو ما إذا كانت عوامل أخرى، مثل البيانات المحددة المستخدمة أو جدول التدريب، قد لعبت دوراً أكبر. وتذكر الورقة صراحة أنها لا تثبت أن التوجل الثابت أفضل من التوجيه المرن والمتعلم المستخدم في معظم الأنظمة الحديثة. بدلاً من ذلك، يعد العمل بمثابة "إثبات مفهوم": فهو يوضح أن نموذجاً ذا مسارات ثابتة وغير متغيرة يمكن تدريبه لفترة طويلة، ويمكنه تعلم مهام معقدة، وإنتاج نتيجة عالية الجودة.

تتجاوز أهمية هذا العمل مجرد الأرقام. فمن خلال جعل جدول التوجيه جزءاً ثابتاً وقابلاً للتدقيق من النموذج، أنشأ الباحث نظاماً يسهل فحصه والتحقق منه. في العديد من أنظمة الذكاء الاصطناعي المتقدمة، تكون عملية اتخاذ القرار عبارة عن "صندوق أسود" يتغير مع تعلم النموذج، مما يجعل من الصعب معرفة كيفية اتخاذ قرار معين بالضبط. في هذا النموذج، المسار واضح وغير قابل للتغيير. إذا كنت تريد معرفة الخبراء الذين ستنشطهم كلمة ما، فما عليك سوى البحث عن الكلمة في الجدول. يمكن أن تكون هذه الشفافية ذات قيمة للباحثين الذين يحتاجون إلى فهم كيفية عمل النموذج بالضبط، أو للمطورين الذين يريدون ضمان سلوك النظام بشكل يمكن التنبؤ به. كما أظهر النموذج أنه يمكنه التعامل مع جلسات تدريب طويلة دون أن يصبح نظام التوجيه غير مستقر، وهو أمر كان يثير القلق سابقاً ويجعل التوجيه الثابت يبدو محفوفاً بالمخاطر في التطبيقات واسعة النط scale.

في النهاية، تقدم هذه الورقة منظوراً جديداً حول كيفية بناء نماذج لغوية فعالة. إنها تتحدى الافتراض بأن الحاسوب يجب أن يتعلم باستمرار كيفية اختيار أدواته الخاصة، وتظهر بدلاً من ذلك أن الخيار المحدد مسبقاً والثابت يمكن أن يعمل بشكل جيد، وربما بشكل أفضل من حيث الكفاءة، بالنسبة لنموذج مدمج. إن النموذج الذي أصدره الباحث، إلى جانب كود التدريب وأدوات التقييم الخاصة به، متاح للآخرين لدراسته وتكراره. يتيح هذا الانفتاح للمجتمع العلمي اختبار النتائج بشكل أكبر، ربတ် عبر إجراء نفس التجربة مع بيانات مختلفة أو بمقارنته مباشرة بنموذج قياسي. في الوقت الحالي، تقف هذه الدراسة كدليل على أن نهج التوجيه الأكثر بساطة وجموداً يمكنه الحفاظ على رحلة تدريب طويلة ومثمرة، وإنتاج نموذج لغوي قادر وشفاف يتفوق على حجمه.