تخيل عالم الذكاء الاصطناائي كمكتبة ضخمة وصاخبة، حيث تحاول أجهزة الكمبيوتر تعلم كيفية كتابة القصص، وحل المسائل الرياضية، والدردشة مثل البشر. وللقيام بذلك، يستخدمون هياكل رياضية خاصة تسمى "الشبكات العصبية"، وهي تشبه شبكات هائلة ومتصلة من الخلايا العصبية. داخل هذه الشبكات، تنتقل المعلومات في شكل أرقام، وتتعلم الشبكة من خلال تعديل قوة الروابط بين هذه الخلايا. لفترة طويلة، لاحظ العلماء أن هذه الأرقام يمكن أن تصبح فوضوية؛ فأحياناً تنمو لتصبح ضخمة جداً، وأحياناً تتقلص حتى تتلاشى، ويصبح النظام بأكمله مرتبكاً بشأن الاتجاه الذي يجب أن يسلكه ليصبح أكثر ذكاءً. يشبه هذا إلى حد كبير محاولة الصعود في جبل ضبابي شديد الانحدار بينما تحمل حقيبة ظهر يتغير وزنها باستمرار؛ قد تخطو خطوة للأمام، لتجد نفسك تنزلق للأسفل مباشرة. الهدف من هذا البحث هو إيجاد طريقة أفضل لحمل تلك الحقيبة حتى يتمكن الكمبيوتر من تسلق جبل التعلم بشكل أسرع وأكثر كفاءة.

الورقة البحثية التي أوشكت على قراءتها تأتي من فريق NVIDIA، بقيادة إيليا لوشيلوف وبوريس غينسبورغ. إنهم يعالجون مشكلة محددة: كيف نجعل نماذج الذكاء الاصطناعي هذه تتعلم بشكل أفضل من خلال إجبار جميع أرقامها الداخلية على البقاء على كرة مثالية وغير مرئية. فكر في الأمر كقاعدة تقول: "مهما ابتعدت في مشيك، يجب أن تظل دائماً على بعد ميل واحد بالضبط من مركز المدينة". هذه القاعدة، التي تسمى "التطبيع" (normalization)، تمنع الأرقام من أن تصبح كبيرة جداً أو صغيرة جداً، مما يساعد الكمبيوتر على البقاء مركزاً. لقد بنى المؤلفون على فكرة سابقة تسمى "nGPT" (GPT المُنطّب)، واختبروها على نوع حديث وقوي جداً من الذكاء الاصطناعي يمزج بين تقنيتين مختلفتين: "Mamba-2" (وهي ممتازة في تذكر التسلسلات الطويلة) و"Transformers" (وهي ممتازة في فهم السياق). أرادوا معرفة ما إذا كانت قواعد التدريب الجديدة هذه يمكن أن تجعل هذه النماذج الهجينة تتعلم بشكل أسرع من الطريقة القياسية.

الفكرة الكبرى: وصفة تدريب جديدة

لم يقم المؤلفون بمجرد تعديل شيء واحد؛ بل ابتكروا "وصفة تدريب" كاملة لهذه النماذج. تخيل أنك تعلم روبوتاً كيف يمشي. الطريقة القديمة (باستخدام طريقة قياسية تسمى AdamW) تشبه ترك الروبوت يتعثر، حيث يتخذ أحياناً خطوات ضخمة وخرقاء وأحياناً أخرى خطوات صغيرة ومترددة، آملاً أن يجد الطريق في النهاية. الوصفة الجديدة، التي يسمونها وصفة تدريب nGPT، تشبه وضع الروبوت على جهاز جري (treadmill) مع مجموعة محددة جداً من القواعد لإبقاء خطواته مثالية.

إليك كيف فعلوا ذلك، مقسماً إلى مفاهيم بسيطة من الحياة اليومية:

1. "التحضير المسبق لتدرج اللوجيت" (مقبض التحكم في الصوت)
عندما يحاول الذكاء الاصطناعي تخمين الكلمة التالية في جملة، فإنه ينتج قائمة من الدرجات تسمى "اللوجيتات" (logits). في النظام القديم، كان حجم هذه الدرجات يمكن أن يصبح صاخباً بشكل غريب أو هادئاً بشكل غريب مع استمرار التدريب، مما يربك الروبوت حول مدى قوة دفعه. أضاف المؤلفون "مقبض تحكم في الصوت" خاصاً (متجه مقياس قابل للتعلم) يمكنهم تعديله. لكن الجزء الذكي هنا هو أنهم أدركوا أنه إذا قاموا فقط بتدوير المقبض، فسيؤدي ذلك إلى إفساد ذاكرة الروبوت حول كيفية المشي. لذا، ابتكروا حيلة تسمى التحضير المسبق لتدرج اللوجيت (Logit Gradient Preconditioning). إنها تشبه امتلاك مقبض للتحكم في الصوت يغير الصوت الذي تسمعه، ولكن عندما يحاول الروبوت التعلم من خطأ ما، يقوم النظام تلقائياً بخفض مستوى الصوت إلى المستوى الطبيعي حتى لا يرتبك الروبوت. هذا يحافظ على استقرار عملية التعلم، حتى لو تغيرت "علو" التوقعات.

2. "اضمحلال معدل التعلم اللوغاريتمي" (متسابق السرعة)
عادةً، عند تدريب ذكاء اصطناعي، تبدأ بسرعة تعلم عالية ثم تبطئها ببطء، مثل سائق سيارة سباق يخفف من الضغط على دواسة الوقود. وجد المؤلفون أن الطريقة القياسية للإبطاء (مثل المنحنى الناعم) لم تكن الأفضل لنظام "الكرة" الجديد الخاص بهم. بدلاً من ذلك، استخدموا "اضمحلال معدل التعلم اللوغاريتمي". تخيل سيارة سباق تنطلق من خط البداية، وتبطئ سرعتها بسرعة كبيرة في البداية لتحديد اتجاهاتها، ثم تستمر في رحلة طويلة وثابتة لبقية السباق. هذا الجدول الزمني "المُحمل في المقدمة" يسمح للنموذج بتعلم الأساسيات بسرعة ثم صقل مهاراته على مدى فترة طويلة، وهو ما تبين أنه أكثر كفاءة.

3. "GatedAdamW" (الحارس الذكي)
الطريقة القياسية لتحديث دماغ الروبوت تسمى AdamW. قام المؤلفون بترقية هذا إلى GatedAdamW. فكر في الطريقة القياسية كحارس بوابة يسمح لكل تحديث بالمرور، حتى لو كان التحديث صغيراً وبالكاد يُلاحظ. أحياناً، تكون هذه التحديثات الصغيرة مجرد ضجيج. نظام GatedAdamW الجديد لديه "بوابة ذكية" تنظر في كل تحديث. إذا كان التحديث صغيراً جداً (مثل الهمس)، فإن الحارس يقول بلطف: "ليس اليوم"، ويمنعه. أما إذا كان التحديث صرخة (تغيير كبير)، فإن البوابة تفتح على مصراعيها. هذا يمنع الروبوت من إضاعة الطاقة في تعديلات صغيرة عديمة الفائدة ويساعده على التركيز على التغييرات الكبيرة والمهمة.

4. "سقف الخطوة الزاوية" (مقود الأمان)
بما أن الروبوت يمشي على كرة، فإن اتخاذ خطوة كبيرة جداً قد يجعله يفقد السيطرة أو يقفز إلى الجانب الخاطئ من العالم. أضاف المؤلفون "سقف الخطوة الزاوية" (Angular Step Cap)، وهو يشبه مقود الأمان. إذا حاول الروبوت اتخاذ خطوة كبيرة جداً، فإن المقود يسحبه بلطف للعودة إلى زاوية أصغر وآمنة. هذا يضمن أن الروبوت لن يقوم أبداً بقفزة جامحة وخطيرة، مما يحافظ على رحلته سلسة ومستقرة.

النتائج: التعلم بكفاءة أكبر

اختبر الفريق وصفته الجديدة على سلسلة من نماذج الذكاء الاصطناعي، تتراوح أحجام عقولها (عدد المعلمات) من 1 مليار إلى 14 مليار معلمة. وقارنوا نماذج nGPT الجديدة بنماذج GPT القياسية المدربة بالطرق القديمة.

كانت النتائج مبهرة. حققت نماذج nGPT الجديدة باستمرار معدلات خطأ أقل (تقاس بـ "فقد التحقق" - validation loss) من النماذج القياسية. وتحديداً، وصل نموذج nGPT المكون من 14 مليار معلمة إلى نفس مستوى مهارة النموذج القياسي المكون من 14 مليار معلمة، ولكنه احتاج إلى نصف عدد الرموز التدريبية (tokens) تقريباً (كمية النصوص التي يقرأها النموذج) للوصول إلى هناك. بعبارة أخرى، للوص ج إلى نفس الوجهة، احتاج نموذج nGPT إلى قراءة حوالي نصف كمية النصوص التي احتاج إليها النموذج القياسي.

تشير الورقة البحثية إلى أن هذا التحسن يأتي من الجمع بين كل هذه القواعد الجديدة وهي تعمل معاً، وليس مجرد حيلة واحدة. كما اختبروا إعداداً معيناً لـ "بوابتهم الذكية" (يسمى معامل الحدة $a$) ووجدوا أن البوابة الأكثر ليونة ($a=0.5$) كانت تعمل بشكل أفضل قليلاً من البوابة الصارمة، لكن الفوز الأكبر جاء من نظام التدريب الكامل، وليس من البوابة وحدها.

ماذا يعني هذا؟

يلاحظ المؤلفون بحذر أنهم لم يجربوا كل التغييرات الممكنة لهذه القواعد (أي أنهم لم يجروا "دراسة استئصال كاملة")، لذا قد تكون هناك إعدادات أفضل لم يكتشفوها بعد. ومع ذلك، فإن النتائج التي وجدواها قوية: من خلال إجبار الذكاء الاصطناعي على المشي على كرة مثالية واستخدام طريقة أكثر ذكاءً وتحكماً لاتخاذ الخطوات، يمكننا تعليم هذه النماذج الضخمة لتصبح أكثر ذكاءً باستخدام بيانات ووقت أقل بكثير. إنها وصفة عملية تشير إلى أنه يمكننا بناء ذكاء اصطناعي أفضل دون الحاجة إلى تغذيتهم بكامل الإنترنت، بل فقط بجزء أكثر كفاءة منه.