Reasoning Gets Harder for LLMs Inside A Dialogue
تقدم هذه الورقة البحثية BOULDER، وهو معيار مرجعي ديناميكي جديد يوضح أن النماذج اللغوية الكبيرة تظهر فجوة أداء كبيرة ومتسقة في مهام الاستدلال عندما يتم تأطيرها ضمن حوارات موجهة نحو المهام مقارنة بالإعدادات المنعزلة، ويرجع ذلك أساساً إلى تعقيدات التفاعلات متعددة الأدوار، والاشتراط بالدور، ومتطلبات استخدام الأدوات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "صعوبة التفكير لدى النماذج اللغوية الكبيرة داخل الحوار" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: مشكلة "الامتحان مقابل الحياة الواقعية"
تخيل أنك تقوم بتدريب طالب على اختبار في الرياضيات.
- الامتحان (مهمة معزولة): تعطي الطالب ورقة نظيفة بها مسألة لفظية واحدة: "إذا غادر قطار في الساعة 5:00 مساءً ووصل في الساعة 6:00 مساءً، فكم كانت مدة الرحلة؟" يحل الطالب المسألة ببراعة، ويحصل على درجة امتياز.
- الحياة الواقعية (الحوار): الآن، تضع نفس الطالب في مقهى مزدحم. يرتدي قبعة مكتوب عليها "أنا نادل ودود". إنه يتلاعب بصينية من المشروبات، ويتحدث مع زبون عن حالة الطقيرة، ويحاول في الوقت نفسه الإجابة على مسألة الرياضيات. فجأة، يرتبك الطالب، أو ينسى الأرقام، أو يعطي إجابة خاطئة لمجرد أن يكون مهذباً.
تسأل هذه الورقة البحثية: هل تصبح النماذج اللغوية الكبيرة (LLMs) "غبية" عندما يتعين عليها لعب دور مساعد مفيد في محادثة، حتى لو كانت عبقرية في حل المشكلات بمفردها؟
الإجابة هي نعم مدوية.
التجربة: بناء "BOULDER"
قام الباحثون ببناء اختبار جديد يسمى BOULDER (تقييم مدى فائدة النماذج اللغوية الكبيرة في الاستدلال المدمج بالحوار). فكر في BOULDER كأنه "اختبار جهد" لعقول الذكاء الاصطناائي.
لقد أنشأوا 8 سيناريوهات سفر مختلفة (مثل حجز قطار، أو البحث عن فندق، أو حساب أسعار التذاكر). وفي كل سيناريو، اختبروا الذكاء الاصطناعي بطريقتين:
- وضع "المهمة المعزولة": مجرد مسألة رياضية وبيانات. لا يوجد دردشة، ولا تقمص أدوار.
- وضع "الحوار": يجب على الذكاء الاصطناعي أن يعمل كـ "مرشد سياحي لكامبريدج". عليه أن يدردش مع مستخدم، ويتذكر الرسائل السابقة، ويستخدم "أداة" للبحث عن مواعيد القطارات، ويحافظ على نبرة ودودة، كل ذلك أثناء حل مسألة الرياضيات.
النتيجة: انخفض أداء الذكاء الاصطناعي بشكل كبير في وضع الحوار. كان الأمر أشبه بالطالب في المقهى الذي رسب في الاختبار الذي اجتازه ببراعة في الورقة الهادئة.
لماذا يحدث هذا؟ (الجناة الثلاثة)
لم يكتفِ الباحثون بمعرفة المشكلة فحسب؛ بل لعبوا دور المحقق لمعرفة لماذا يعاني الذكاء الاصطناعي. وقد وجدوا ثلاثة أسباب رئيسية:
1. تشتت "تعدد الأدوار" (المحادثة الطويلة)
- التشبيه: تخيل أنك تحاول حل لغز معقد بينما يقوم شخص ما باستمرار بالنقر على كتفك، وسؤالك: "كيف حالك؟" و"ما اسمك؟".
- النتيجة: كلما طالت المحادثة (تعدد الأدوار)، ساء أداء الذكاء الاصطناعي في الاستدلال. ينصب تركيز الذكاء الاصطناعي على الحفاظ على تدفق الدردشة لدرجة أنه ينسى المنطق الفعلي لمسألة الرياضيات. الأمر يشبه محاولة إجراء حساب التفاضل والتكامل أثناء الغناء؛ فالغناء يستهلك الكثير من طاقة الدماغ.
2. فخ "الدور" (الزي التنكري)
- التشبيه: تخيل ممثلاً بارعاً جداً في لعب دور "النادل المهذب"، لدرجة أنه عندما تطلب منه حل مسألة رياضية، يبدأ بالاعتذار عن الإجابة أو يعطي استجابة قصيرة وغامضة فقط ليكون "لطيفاً".
- النتيجة: عندما يُطلب من الذكاء الاصطناعي: "أنت مساعد سفر متعاون"، فإنه غالباً ما يصبح متعاوناً جداً ومهذباً جداً. إنه يعطي الأولوية لكونه محاوراً جيداً على أن يكون حلالاً ذكياً للمشكلات. قد يعطي إجابة خاطئة بسرعة لمجرد استمرار المحادثة، بدلاً من أخذ الوقت للتفكير بعمق.
3. ارتباك "الأداة" (العمل المزدوج)
- التشبيه: تخيل طباخاً عليه أن يطهو وجبة، وفي الوقت نفسه يقرأ كتاب وصفات معقداً، ويتصل بمورد للحصول على المكونات، ويكتب مراجعة عن الطعام، كل ذلك في آن واحد.
- النتيجة: في إعداد الحوار، يتعين على الذكاء الاصطناعي القيام بشيئين في وقت واحد: التفكير (الاستدلال) والفعل (استخدام أدوات مثل "البحث عن القطارات"). هذا التركيز المنقسم يسبب الأخطاء. غالباً ما يرتبك الذكاء الاصطناعي حول ما إذا كان يتحدث إلى المستخدم أم يتحدث إلى قاعدة البيانات.
التحول المفاجئ: "التفكير" لا يساعد دائماً
حاول الباحثون إصلاح ذلك عبر إخبار الذكاء الاصطنا: "خذ وقتك، فكر خطوة بخطوة، ولا تستعجل".
- النتيجة: ساعد ذلك قليلاً، ولكن ليس بما يكفي. ظل الذكاء الاصطناعي يعاني.
- لماذا؟ لأن الذكاء الاصطناعي يحاول أن يكون "موجزاً" (قصيراً ومفيداً) لأن هذا هو ما يفعله روبوت الدردشة الجيد عادةً. من الصعب أن تطلب من الذكاء الاصطناعي "التفكير بعمق" بينما يملي عليه وصف وظيفته أن يكون "سريعاً وودوداً".
الخلاصة للعالم الحقيقي
هذه الورقة البحثية هي بمثابة جرس إنذار. نحن نبني حالياً مساعدين يعملون بالذكاء الاصطناعي من المفترض أن يكونوا وكلاء سفر، وأطباء، ومستشارين ماليين. نحن نختبرهم على "معايير معزولة" حيث يبدون كعباقرة.
لكن الورقة تحذرنا: مجرد قدرة الذكاء الاصطناعي على حل مسألة رياضية على سبورة بيضاء لا يعني أنه يستطيع حلها أثناء إجراء محادثة معك.
الدرس المستفاف: إذا أردنا للذكاء الاصطناعي أن يكون مفيداً حقاً في الحياة الواقعية، فعلينا التوقف عن اختبارهم في الفصول الدراسية الهادئة والبدء في اختبارهم في العالم الصاخب، الفوضوي، ومتعدد المهام للمحادثات الحقيقية. وإلا، فقد نثق في "عبقري" يضيع في تفاصيل المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.