في عالم الذكاء الاصطناعي الحديث، تشبه النماذج اللغوية الكبيرة مكتبات شاسعة من المعرفة البشرية، قادرة على كتابة القصص، وحل المعادلات، والإجابة على الأسئلة. ومع ذلك، فإن هذه المكتبات ليست منظمة بطبيعتها لتكون مفيدة أو آمنة أو مطيعة للتعليمات البشرية. ولإصلاح ذلك، يستخدم الباحثون عملية تسمى "المحاذاة" (alignment)، والتي تعمل كمرحلة تدريب نهائية لتعليم النموذج كيفية التصرف كـمساعد جيد. وتتضمن الطريقة القياسية لهذا الأمر تقنية تُعرف باسم "التعلم التعزيزي" (reinforcement learning)، حيث يجرب النموذج إجابات مختلفة، ويتلقى درجةً لمدى جودتها، ثم يستخدم رياضيات معقدة لتعديل إعداداته الداخلية للحصول على درجة أفضل في المرة القادلة. هذه العملية قوية، لكنها ثقيلة للغاية؛ فهي تتطلب قدرات حوسبة هائلة، وأجهزة متخصصة، وتواصلاً مستمراً بين العديد من المعالجات، مما يجعلها مكلفة وصعبة التوسع للنماذج الأكبر حجماً.

اقترح فريق من الباحثين من شركة T-Tech وYandex مساراً مختلفاً، يتخطى التعديلات الرياضية الثقيلة تماماً. وقد أطلقوا على طريقتهم الجديدة اسم ESSA، وهي اختصار لـ "الاستراتيجيات التطورية للمحاذاة القابلة للتوسع" (Evolutionary Strategies for Scalable Alignment). وبدلاً من حساب كيفية دفع النموذج في الاتجاه الصحيح، تعامل ESSA النموذج ككائن حي في محاكاة. فهي تنشئ العديد من النسخ المختلفة قليلاً من النموذج، وتختبر جميعها في وقت واحد لمعرفة أي منها هو الأفضل أداءً، ثم تحتفظ بالسمات الأفضل وتتخلص من البقية. يزيل هذا النهج الحاجة إلى الحسابات العكسية المعقدة التي تبطئ الطرق التقليدية. ومن خلال التركيز فقط على جزء صغير ومحدد من إعدادات النموذج واستخدام استراتيجية تحاكي الانتقاء الطبيعي، وجد الباحثون أن بإمكانهم محاذاة النماذج الضخمة بشكل أسرع بكثير وبقدر أقل بكثير من قدرة الحوسبة مقارنة بما سبق.

الفكرة الجوهرية وراء ESSA هي التوقف عن محاولة تعديل كل رقم داخل النموذج. تحتوي النماذج اللغوية الكبيرة على مليارات من هذه الأرقام، وتغييرها جميعاً في وقت واحد يشبه محاولة توجيه ناقلة سوبر عبر تحريك كل مسمار في هيكلها. أدرك الباحثون أنه بعد مرحلة تدريب أولية، يكون النموذج قد تعلم بالفعل كيفية أداء المهمة الأساسية، وما يحتاجه هو "ضبط دقيق" (fine-tuning)، وهو تعديل بسيط لسلوكه. ولتحقيق ذلك، استخدموا تقنية تسمى "التكيف منخفض الرتبة" (Low-Rank Adaptation)، والتي تضيف طبقة صغيرة ومرنة للنموذج، ثم قاموا بتفكيك تلك الطبقة إلى مكوناتها الأكثر جوهرية. لقد قاموا بتجميد اتجاه هذه المكونات وسمحوا فقط لحجم، أو مقدار، عدد قليل من الأرقام الرئيسية بالتغير. أدى هذا إلى تقليص المشكلة من تعديل مليارات المتغيرات إلى تعديل بضعة آلاف فقط، مما خلق مساحة مدمجة يمكن لاستراتيجية البحث أن تعمل فيها بكفاءة.

في هذا الإعداد الجديد، يقوم الكمبيوتر بتوليد "مجتمع" من النماذج المرشحة، حيث يمتلك كل منها إعدادات مختلفة قليلاً لتلك الآلاف القليلة من الأرقام. يتم اختبار كل مرشح في مجموعة من المشكلات، مثل حل المعادلات الرياضية أو اتباع تعليمات صارمة، ويُمنح درجة. ثم ينظر النظام إلى الدرجات ليقرر أي المرشحين كانوا الأكثر نجاحاً. وبدلاً من حساب "التدرجات" (gradients)، وهي منحدرات رياضية معقدة تُستخدم لإيجاد أفضل اتجاه للتحرك، يقوم النظام ببساطة باختيار الفائزين واستخدام إعداداتهم كنقطة انطلاق للجولة التالية من الاختلافات. تتكرر هذه العملية، حيث يتطور المجتمع ببطء نحو أداء أفضل. ولأن النظام يحتاج فقط إلى تشغيل النموذج "للأمام" (forward) للحصول على درجة، فإنه يمكنه العمل على أجهزة كمبيوتر تستخدم تنسيقاً مبسطاً ومنخفض الدقة للأرقام، مما يوفر المزيد من الذاكرة والسرعة.

اختبر الباحثون هذه الطريقة على مجموعة واسعة من المهام، بما في ذلك اتباع التعليمات، والعمل كمساعد مفيد، وحل المسائل الرياضية الصعبة. وقارنوا ESSA بالأساليب الرائدة التي تستخدم النهج الرياضي الثقيل التقليدي. وفي المهام المتعلقة بالاستنتاج الرياضي، كان أداء ESSA مساوياً لأفضل الأساليب الموجودة، وفي بعض الحالات، كان أسرع بشكل ملحوظ. على سبيل المثال، عند تدريب نموذج كبير على مجموعة مكونة من 128 معالج رسومات قوياً، وصلت ESSA إلى مستوى دقة معين أسرع بثماني مرات تقريباً من الطريقة القياسية. لم يأتِ هذا التسريع لأن ESSA احتاجت إلى أمثلة أقل للتعلم، بل لأن كل خطوة من خطوات عمليتها كانت أخف بكثير ويمكن تشغيلها بالتوازي دون الاختناقات التي تبطئ النهج التقليدي.

استكشفت الدراسة أيضاً مدى فعالية هذه الطريقة مع أحجام النماذج المختلفة وأنواع المهام المختلفة. ووجدوا أن ESSA ظلت فعالة حتى عندما تم رفع حجم النموذج إلى 72 مليار معلمة (parameter)، وهو حجم يصعب عادةً محاذاته بكفاءة. في هذه الاختبارات واسعة النطاق، تمكنت الطريقة من العمل مع نموذج مرشح واحد لكل معالج رسومات، وهو أمر مستحيل بالطريقة التقليدية بسبب قيود الذاكرة. كما تحقق الباحثون مما إذا كانت الطريقة ستعمل عندما يتم التدريب الأولي على موضوع مختلف عن الهدف النهائي، مثل التدريب على المحادثة العامة ولكن الاختبار على اتباع قواعد صارمة. صمدت الطريقة جيداً، مما أظهر أن البحث التطوري يمكنه العثور على التعديلات الصحيحة حتى عند البدء من أساس مختلف قليلاً.

كانت إحدى النتائج الأكثر إثارة للدهشة هي أن الطريقة لم تتطلب الإعدادات المعقدة والدقيقة التي تتطلبها الأساليب التقليدية. اختبر الباحثون أحجاماً مختلفة لمجتمع المرشحين ووجدوا أن عدداً متوسطاً كان كافياً عادةً للحصول على نتائج ممتازة. كما اكتشفوا أن الطريقة كانت قوية تجاه التغييرات في مقدار ما يُسمح بتغييره من إعدادات النموذج. يشير هذا الاستقرار إلى أن النهج التطوري أقل حساسية للاختيارات المحددة للمهندس، مما يجعله أسهل في الاستخدام العملي. علاوة على ذلك، عملت الطريقة بشكل جيد حتى عندما استخدم الكمبيوتر دقة أقل في حساباته، حيث فقدت جزءاً ضئيلاً جداً من الدقة مع اكتساب سرعة وكفاءة أكبر في الذاكرة.

تناولت الورقة أيضاً ما يحدث عندما تتم مقارنة الطريقة بطرق أخرى للبحث عن أفضل الإعدادات. اختبر الباحثون أنواعاً مختلفة من الاستراتيجيات التطورية ووجدوا أنه بينما كانت بعضها أفضل قليلاً في النهاية، فإن الاستراتيجية المحددة التي اختاروها كانت الأكثر موثوقية في الحصول على نتائج جيدة بسرعة. كما قارنوا طريقتهم بنسخة حاولت استخدام نفس الإعدادات المبسطة ولكن باستخدام النهج الرياضي التقليدي. تفوقت الطريقة التطورية باستمرار على هذا الهجين، مما يثبت أن الطريقة التي يتم بها إجراء البحث لا تقل أهمية عن الإعدادات التي يتم البحث عنها. وهذا يشير إلى أن الفكرة القديمة لاستخدام الانتقاء الطبيعي لتدريب الآلات ليست مجرد خطة بديلة، بل هي بديل قوي يمكن أن يتفوق على الأدوات القياسية في الظروف المناسبة.

في النهاية، يوضح العمل أن الآلات الثقيلة والمعقدة للمحاذاة الحديثة ليست هي الطريق الوحيد للمضي قدماً. فمن خلال تبسيط المشكلة إلى بحث عن أفضل الإعدادات ضمن مجموعة صغيرة من المرشحين، ومن خلال الاستفادة من قوة الحوسبة المتوازية، أظهر الباحثون أنه يمكن محاذاة النماذج الكبيرة بسرعة وكفاءة. لا تستبدل هذه الطريقة التدريب الأولي الذي يمنح النموذج معرفته الأساسية، ولكنها توفر طريقة جديدة وأخف لتشكيل تلك المعرفة لتصبح مساعداً مفيداً. ومع استمرار نمو النماذج، يقدم هذا النهج مساراً عملياً للحفاظ على محاذاتها دون الحاجة إلى قدر هائل من قدرة الحوسبة، مما يشير إلى أن مستقبل محاذاة الذكاء الاصطناعي قد يكمن في استراتيجيات أبسط وأكثر مباشرة بدلاً من الصيغ الرياضية الأكثر تعقيداً.