Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
تقدم هذه الورقة معيار تقييم تشبع القيود (CSE) لتوضيح أنه في حين تستطيع النماذج اللغوية الكبيرة اتباع القيود الفردية ببراعة، فإن قدرتها على تلبية قيود متعددة متزامنة تنهار بشكل ضربي بعد تجاوز 5 إلى 6 قيود نتيجة للتراكم المستقل للإخفاقات، مما يؤثر بشكل خاص على الاستدلال الهيكلي على حساب التفاصيل المعجمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول خبز كعكة، ولكن بدلاً من مجرد اتباع وصفة واحدة، تم إعطاؤك قائمة من القواعد: "استخدم بالضبط 200 جرام من الدقيق"، "لا تستخدم أي سكر"، "يجب أن تكون الكعكة زرقاء"، و"يجب أن تكون على شكل نجمة". إذا كان لديك قاعدة واحدة فقط، فالأمر سهل. إذا كان لديك قاعدتان أو ثلاث، فمن المرجح أنك ستتمكن من تدبر الأمر. ولكن ماذا يحدث إذا سلمك شخص ما قائمة من خمسين قاعدة دفعة واحدة؟ هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي برامج الكمبيوتر فائقة الذكاء التي تكتب القصص، وتجيب على الأسئلة، وتحل المشكلات. هذه النماذج تشبه الطهاة الرقميين الذين قرأوا كل كتاب تقريباً في المكتبة. لقد عرف العلماء منذ فترة أن هؤلاء الطهاة بارعون في اتباع تعليمات فردية. لكن لم يكن أحد متأكداً مما يحدث عندما تطلب منهم التوفيق بين عشرات التعليمات في وقت واحد. هل ينخفض أداؤهم قليلاً، مثل عداء يتعب ويتباطأ؟ أم ينهار فجأة، مثل بيت من الورق ينهار عند النفخ فيه؟ هذا السؤال مهم لأننا بينما نبدأ في استخدام هؤلاء الطهاة الاصطناعيين لبناء أدوات في العالم الحقيقي — مثل أنظمة السلامة، أو الوثائق القانونية، أو الأكواد البرمجية المعقدة — نحتاج إلى معرفة بالضبط عدد القواعد التي يمكنهم التعامل معها قبل أن يبدأوا في ارتكاب الأخطاء.
إليك دراسة جديدة تعامل نماذج الذكاء الاصطناعي هذه كأنها تجربة علمية في مطبخ ضخم. قام الباحثون، بقيادة مارييا فاسيليفا، ببناء ساحة اختبار خاصة تسمى تقييم تشبع القيود (CSE). فكر في الأمر كـ "اختبار جهد" لعقل الذكاء الاصطناعي. لم يكتفوا بطلب كتابة قصة من النماذج؛ بل أعطوهم عدداً محدداً من القواعد لاتباعها في وقت واحد، تتراوح من قاعدة واحدة فقط وصولاً إلى اثنتي عشرة قاعدة. كانت هذه القواعد صارمة وغير قابلة للتغيير، مثل "يجب أن يكون ردك مكوناً من 3 فقرات بالضبط"، "يُمنع استخدام حرف الـ 'e'"، أو "يجب أن تبدأ كل جملة بالحرف 'A'". راقب الباحثون بعد ذلك ليروا كم مرة يمكن للذكاء الاصطناعي أن يطبق كل قاعدة بدقة في آن واحد.
كانت النتائج مفاجئة ودرامية بعض الشيء. وجدت الدراسة أن نماذج الذكاء الاصطناعي لا تتعب قليلاً فقط مع إضافة المزيد من القواعد؛ بل تصل إلى نقطة انهيار. تخيل أنك تقوم برص مكعبات فوق بعضها. بالنسبة للمكعبات القليلة الأولى، يكون البرج مستقراً. ولكن بمجرد الوصول إلى ارتفاع معين — حوالي 5 أو 6 قواعد حتى لأذكى النماذج — لا يترنح البرج فحسب، بل ينهار فجأة. اكتشف الباحثون أنه بينما قد ينجح الذكاء الاصطناعي في تنفيذ 40% من القواعد الفردية عندما يكون هناك ثماني قواعد، فإن فرصة تنفيذه لجميع القواعد الثمانية معاً تنخفض إلى أقل من 6%. الأمر يشبه موسيقياً يمكنه عزف نوتة واحدة بدقة، أو حتى اثنتين، ولكن بمجرد أن تطلب منه عزف سيمفونية معقدة تضم اثنتي عشرة آلة موسيقية مختلفة في وقت واحد، فإنه ينسى اللحن تماماً.
عرفت الدراسة أيضاً لماذا يحدث هذا. اتضح أن القواعد لا تتصارع مع بعضها البعض كأعداء في لعبة. بدلاً من ذلك، تعمل مثل تفاعل متسلسل. إذا أخطأ الذكاء الاصطناعي في جزء صغير من الإجابة — لنقل إنه نسي عد الجمل بشكل صحيح — فإن كل قاعدة تعتمد على الجمل ستفشل في نفس الوقت. ليس الأمر أن القواعد تربك بعضها البعض، بل إن "ذاكرة العمل" لدى الذكاء الاصطناعي تتعرض لحمل زائد. وجد الباحثون أن القواعد التي تتطلب من الذكاء الاصطناعي تتبع أشياء بمرور الوقت (مثل عد الكلمات أو الحفاظ على نمط معين) تنهار بسرعة ضعف القواعد البسيطة (مثل "لا تستخدم كلمة محددة").
ربما الجزء الأكثر إثارة للاهتمام هو ما حاول الباحثون إصلاحه. تساءلوا: "هل يمكننا مساعدة الذكاء الاصطناعي من خلال جعله يخطط مسبقاً؟ أو من خلال السماح له بالمحاولة مرة أخرى؟". حاولوا إعطاء الذكاء الاصطناعي "مسودة" للتخطيط لإجابته، أو السماح له بتصحيح أخطائه بنفسه. والنتيجة؟ ساعد ذلك قليلاً، ربما سمح للذككاء الاصطناعي بالتعامل مع قاعدة أو قاعدتين إضافيتين، لكنه لم يوقف الانهيار. تشير الورقة البحثية إلى أن الحل الحقيقي الوحيد هو جعل الذكاء الاصطناعي أفضل في اتباع كل قاعدة على حدٍ. فلا يوجد قدر من التخطيط أو إعادة المحاولة يمكنه إصلاح حقيقة أن رياضيات التوفيق بين الكثير من الأشياء في وقت واحد تؤدي في النهاية إلى انخفاض في الأداء.
في النهاية، ترسم هذه الورقة خطاً واضحاً في الرمل. بالنسبة لأذكى نماذج الذكاء الاصطناعي التي تم اختبارها، فإن الحد الأقصى لاتباع التعليمات المعتمدة على تعدد القيود هو حوالي 5 إلى 6 قيود. بعد ذلك، يصبح النظام غير موثوق، ليس لأن الذكاء الاصطناعي "غبي"، ولكن لأن العدد الهائل من الأشياء التي يتعين عليه الاحتفاظ بها في ذهنه في وقت واحد يخلق انهياراً رياضياً. إنه تذكير بأنه حتى أكثر الطهاة الرقميين تقدماً لديهم حد لقدرتهم على اتباع العديد من الوصفات في وقت واحد، وإذا أردنا منهم القيام بالمزيد، فنحن بحاجة إلى بنائهم بشكل أقوى، وليس فقط إعطائهم المزيد من التعليمات.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.