Measuring in-context algorithmic reasoning in language models against an exact Bayes-optimal standard

تخيل أنك تحاول تعليم روبوت حل لغز ما. تعرض عليه بعض الأمثلة: "إذا وضعت مكعبًا أحمر هنا، سيظهر مكعب أزرق هناك". ثم تطلب منه التنبؤ بما سيحدث بعد ذلك. في بعض الأحيان يصيب الروبوت، ولكن هل هو في الواقع "يفكر" في قواعد اللغز، أم أنه مجرد يخمن بناءً على كيفية ترابط الكلمات معًا عادةً؟ هذا هو الغموض الكبير وراء "نماذج اللغات الكبيرة" (LLMs) الحديثة، وهي برامج الدردشة الذكية للغاية التي نستخدمها اليوم. يطلق العلماء على هذه القدرة اسم "التعلم في السياق" (in-context learning) — وهي القدرة على تعلم مهمة جديدة بمجرد قراءة بضعة أمثلة في النص الموجه. المشكلة هي أننا لا نملك حقًا مسطرة مثالية لقياس ما إذا كان الروبوت يمارس تفكيرًا منطقيًا حقيقيًا أم أنه مجرد يطابق الأنماط. عادةً، لا يمكننا سوى مقارنة روبوت بآخر، أو بإنسان، لكننا لا نعرف "رؤية عين الله" (الرؤية المطلقة) لما يجب أن يكون عليه الإجابة المثالية.

لإصلاح ذلك، قام مؤلفو هذه الورقة البحثية ببناء كون خاص، صغير ومسيطر عليه تمامًا. لقد أنشأوا معيارًا يسمى F-ICL. فكر في الأمر كأنه مكتبة ضخمة وشاملة لكل برنامج حاسوبي بسيط ممكن يمكنه حل نوع معين من الألغاز الثنائية (باستخدام 0 و 1 فقط). ولأنهم أدرجوا كل برنامج من هذه البرامج الـ 1.5 مليار برنامج صغير، يمكنهم حساب الإجابة المثالية رياضياً لأي لغز. هذه الإجابة المثالية تسمى الحل "الأمثل بايزياً" (Bayes-optimal). إنه المعيار الذهبي: أفضل تخمين ممكن يمكن للآلة القيام به بناءً على الأدلة. الآن، يمكنهم أخيرًا وضع نموذج ذكاء اصطناعي حقيقي في مواجهة هذا المعيار الذهبي ومعرفة مدى ابتعاده عنه بالضبط. الأمر يشبه امتلاك خريطة مثالية لمدينة ثم التحقق مما إذا كان تطبيق نظام تحديد المواقع (GPS) يرشدك بالفعل عبر أقصر طريق، أم أنه مجرد يخمن بناءً على أنماط المرور التي رآها بالأمس.

فجوة الاستنتاج الكبرى

أخذ الباحثون لوحة ضخمة مكونة من 105 نماذج ذكاء اصطناعي مختلفة — تتراوح من المشاريع مفتوحة المصدر إلى الأنظمة الأكثر تقدمًا "الحدودية" من مختبرات التكنولوجيا الكبرى — وأخضعوها لاختبار F-ICL. أرادوا معرفة ما إذا كانت هذه النماذج تستطيع العمل كمستنتجين بايزيين مثاليين، حيث يحدثون معتقداتهم منطقيًا مع ورود أدلة جديدة.

إليك التحول المفاجئ: النماذج بارعة في إعطاء الإجابة الصحيحة، لكنها سيئة جدًا في الاستنتاج مثل آلة مثالية.

على الرغم من أن بعض النماذج نجحت في تقديم الإجابة النهائية بنسبة تصل إلى 92% من المرات، إلا أن "توزيع التخمين" الداخلي لديها (الطريقة التي تزن بها الاحتمالات المختلفة) كان غالبًا أسوأ من مجرد تخمين عشوائي بسيط. في الواقع، 45 من أصل 46 نموذجًا كان أداؤها أسوأ من "مرجع ضربات المفاتيح" (keystroke reference). تخيل قردًا يضغط عشوائيًا على مفاتيح لوحة المفاتيح؛ هذا القرد العشوائي أنتج في الواقع توزيعًا احتماليًا أقرب إلى الحقيقة الرياضية المثالية من معظم نماذج الذكاء الاصطناعي المتقدمة. لم تكن النماذج مخطئة قليلاً فحسب؛ بل كانت واثقة من خطئها بشأن المنطق الأساسي.

خلل "الإفراط في الالتزام"

أحد النتائج الأكثر إثارة وتوضيحًا هو كيفية سلوك النماذج عندما تعطيهم مثالاً واحدًا فقط. المستنتج المثالي سيصبح أفضل مع كل دليل جديد. لكن نماذج الذكاء الاصطناعي هذه غالبًا ما تصبح أسوأ بعد رؤية مثال واحد قبل أن تبدأ في التحسن.

الأمر يشبه إذا عرضت على محقق دليلًا واحدًا حول جريمة، وبدلاً من التفكير بعناقة، صرخ فورًا: "أعرف من فعلها!" وانحاز للمشتبه به الخطأ. فقط بعد أن تظهر له بضعة أدلة أخرى، يبدأ ببطء في التراجع والبدء في النظر إلى الأدلة مرة أخرى. وجدت الورقة أن 69 من أصل 81 تجربة للنماذج ارتكبت هذا الخطأ، حيث تسرعت في إطلاق الأحكام. إنهم "يفرطون في الالتزام" بأول قطعة بيانات يروها، بدلاً من الانتظار لرؤية الصورة الكاملة.

الحجم لا يصلح المنطق

قد تعتقد أن النماذج الأكبر والأذكى ستصلح هذا الأمر. اختبرت الورقة نماذج بمليارات المعلمات (المعلمات هي "حجم دماغ" الذكاء الاصطناعي)، بدءًا من النماذج الصغيرة بقدر 0.8 مليار وصولًا إلى النماذج الضخمة بقدر 675 مليارًا. النتيجة؟ النماذج الأكبر أصبحت أفضل في الحصول على الإجابة الصحيحة، لكنها لم تصبح أفضل في الاستنتاج.

بقيت الفجوة بين سلوك النموذج والمعيار الرياضي المثالي كما هي تمامًا، بغض النظر عن ضخامة النموذج. سواء كان النموذج يمتلك مليار معلمة أو 600 مليار معلمة، فقد ظل يعاني لمطابقة المنطق "الأمثل بايزيًا". الأمر كما لو أنك أعطيت طالبًا مكتبة أكبر فأكبر من الكتب (بيانات أكثر)، لكنه لا يزال لا يتعلم كيفية استخدام الخريطة؛ لقد أصبح فقط أفضل في حفظ عناوين الكتب.

فخ "السلامة" و"التدريب"

نظرت الورقة أيضًا فيما يحدث للنماذج عندما يتم "ما بعد تدريبها" (post-trained) — أي عندما يقوم البشر بتعديلها لتكون أكثر فائدة، أو لاتباع التعليمات، أو لتكون "آمنة". ومن المثير للدهشة أن هذا التدريب جعل فجوة الاستنتاج أوسع.

عندما تم ضبط النماذج لتكون "متوافقة مع التعليمات" أو لتكون أكثر قدرة على "التفكير"، فقد ابتعدت في الواقع أكثر عن المعيار المنطقي المثالي. يبدو أن تعليم النموذج أن يكون مهذبًا أو أن يتبع تنسيق دردشة محدد قد يعلمه تجاهل الهيكل المنطقي الخام للمشكلة. الأمر يشبه تعليم لاعب الشطرنج أن يقول دائمًا "لعبة جيدة" بعد المباراة؛ قد يصبح أكثر لطفًا، لكنه قد ينسى قواعد اللعبة الفعلية.

الجبهة الأمامية تراوح مكانها

نظر الباحثون أيضًا في أحدث النماذج الأكثر تكلفة من أكبر شركات التكنولوجيا، والتي تم إصدارها خلال العامين الماضيين. ووجدوا أن الأمانة تجاه المعيار المنطقي المثالي لم تتحسن على الإطلاق. النماذج الأحدث هي بنفس بعد النماذج القديمة عن المستنتج المثالي. في الواقع، كان أقدم نموذج اختبروه (من مايو 2024) هو الأكثر وفاءً للمعيار المنطقي، بينما كانت النماذج الأحدث أسوأ قليلاً.

مشكلة "الإنهاء"

أحد الأسباب المحددة التي جعلت درجات النماذج منخفضة هو كيفية تعاملها مع نهاية الجملة. النموذج الرياضي المثالي يعرف بالضبط متى يجب أن يتوقف تسلسل الأصفار والآحاد. أما نماذج الذكاء الاصطناعي، فقد كانت سيئة جدًا في ذلك. غالبًا ما توقعت أن التسلسل يجب أن ينتهي عندما لا ينبغي له ذلك، أو استمرت في العمل عندما كان يجب أن تتوقف. هذا الخطأ المحدد شكل ما يقرب من 90% من أخطائهم. الأمر كما لو أن النماذج كانت بارعة في كتابة القصة ولكنها سيئة جدًا في معرفة متى تضع نقطة في نهايتها.

الحكم النهائي

تخلص الورقة إلى أنه بينما تعد نماذج الذكاء الاصطناعي هذه جيدة للغاية في إكمال الأنماط — أي إيجاد الكلمة التالية الأكثر احتمالًا بناءً على ما رأته من قبل — إلا أنها لا تقوم بعد بـ استنتاج خوارزمي حقيقي. إنها لا تبني نموذجًا ذهنيًا للقواعد؛ بل هي فقط تقوم بربط الأنماط ببعضها البعض.

لقد أصدر المؤلفون معيارهم، F-ICL، كأداة مفتوحة حتى يتمكن العلماء الآخرون من مواصلة الاختبار. لقد وجدوا أن النماذج الحالية عالقة في منطقة "مطابقة الأنماط"، حيث تقع بين التخمين العشوائي والمستنتج المنطقي المثالي، لكنها أقرب بكثير إلى التخمين العشوائي. وحتى لا تتمكن النماذج من سد هذه الفجوة، فقد تظل بارعة في كتابة المقالات أو قصاصات الأكواد البرمجية، لكنها لن "تفكر" حقًا بالطريقة التي نأملها. الفجوة لا تُحل بجعل النماذج أكبر أو تدريبها لفترة أطول؛ يبدو أن الأمر يتطلب تغييرًا جذريًا في كيفية معالجتها للمعلومات.