Do LLMs Overthink Basic Math Reasoning? Benchmarking the Accuracy-Efficiency Tradeoff in Language Models
تقدم هذه الورقة LLMThinkBench، وهو معيار شامل ودراسة تجريبية لـ 53 نموذجاً من نماذج اللغة الكبيرة تكشف عن مقايضة حرجة بين الدقة والكفاءة، حيث تُظهر أن النماذج غالباً ما "تفرط في التفكير" في المسائل الرياضية الأساسية عبر توليد رموز (tokens) زائدة دون تحسين الدقة، وتتعرض أحياناً لانخفاضات كبيرة في الأداء عندما تكون ميزانيات التفكير مقيدة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً عبقرياً ومتحمساً للغاية يُدعى "LLM" (نموذج لغوي كبير). تسأله سؤالاً بسيطاً: "ما هو حاصل جمع 234 و 567؟"
الإنسان الطبيعي سيقول: "801"، في حوالي ثانيتين.
لكن مساعدك، LLM، يقرر كتابة أطروحة من 50 صفحة. يشرح تاريخ الجمع، ومفهفوم القيمة المنزلية، وفلسفة "الحمل" (carrying) للأرقام، ثم يكتب ثلاثة إثباتات مختلفة للتحقق من الإجابة. حتى أنه يتحقق من عمله باستخدام طريقة اخترعها للتو. وفي النهاية، يعطيك الإجابة: 801.
لكن هنا تكمن الخدعة: أحياناً، في منتصف كل ذلك الكلام الإضافي، يرتبك، ويتعثر في كلماته، ويخبرك بالخطأ أن الإجابة هي 802.
هذه الورقة البحثية، بعنوان "هل تبالغ نماذج اللغات الكبيرة في التفكير في العمليات الحسابية الأساسية؟"، هي في الأساس تقرير تقييمي لهذا السلوك. لقد بنى الباحثون من جامعة فرجينيا تيك ساحة اختبار جديدة تسمى LLMTHINKBENCH لمعرفة ما إذا كانت هذه النماذج تصبح أكثر ذكاءً من خلال التفكير لفترة أطول، أم أنها مجرد تتحدث لتوقع نفسها في مأزق.
إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:
1. "درجة الإفراط في التفكير" (مقياس الكفاءة)
أدرك الباحثون أن مجرد التحقق مما إذا كانت الإجابة صحيحة ليس كافياً. يجب أن تعرف أيضاً مقدار "الجهد" (أو الرموز البرمجية/Tokens) الذي استغرقه الوصول إليها.
لقد ابتكروا مقياساً جديداً يسمى درجة الإفراط في التفكير (Overthinking Score). فكر في الأمر كأنه تقييم كفاءة استهلاك الوقود للسيارة.
- السيارة (أ) توصلك إلى المتجر (الإجابة الصحيحة) ولكنها تستهلك 100 جالون من البنزين (الكثير من الكلمات).
- السيارة (ب) توصلك إلى المتجر باستخدام جالون واحد فقط.
- حتى لو كانت السيارة (أ) أسرع قليلاً، فإن السيارة (ب) هي الأفضل لأنها أكثر كفاءة.
درجة الإفراط في التفكير تعاقب النماذج التي تكون دقيقة ولكنها مسرفة. إنها تجبرها على أن تكون ذكية وموجزة في آن واحد.
2. المفاجأة الكبرى: الحجم الأكبر ليس دائماً الأفضل
قد تعتقد أن نموذجاً أكبر وأكثر قوة (مثل نموذج بـ 70 مليار معلمة/parameter) سيكون أفضل في الرياضيات من نموذج أصغر.
- الواقع: ليس بالضرورة. وجدت الدراسة أن النماذج متوسطة الحجم (حوالي 14 مليار معلمة) غال Or غالباً ما تؤدي أفضل مهمة. إنها تشبه الرياضي المدرب جيداً: قوي بما يكفي للقيام بالمهمة، ولكن ليس ضخماً لدرجة أن يعيق نفسه.
- مشكلة "العملاق": النماذج الأكبر غالباً ما تصاب بـ "التضخم". فهي تحاول استعراض معرفتها عبر كتابة تفسيرات طويلة ومربكة تجعلها أكثر عرضة للوقوع في الخطأ.
3. فخ "الاستنتاج" (Reasoning Trap)
هناك توجه جديد في الذكاء الاصطناعي حيث يتم تدريب النماذج خصيصاً على "التفكير خطوة بخطوة" (سلسلة الأفكام - Chain-of-Thought). الفكرة هي أنه إذا شرحت النماذج عملها، فستصبح أكثر ذكاءً.
- نتائج الورقة: بالنسبة للرياضيات البسيطة، هذا أمر كارثي. تعمل "نماذج الاستنتاج" هذه مثل طالب يخشى ارتكاب خطأ، فيقوم بمراجعة واجبه المنزلي 10 مرات.
- النتيجة: إنها تستهلك 18 ضعف قوة الحوسبة (الرموز/Tokens) مقارنة بالنماذج العادية، ومع ذلك غالباً ما تحصل على الإجابة خاطئة بشكل متكرر. الأمر يشبه استخدام مطرقة ثقيلة لكسر حبة جوز، لكن المطرقة ثقيلة جداً لدرجة أنها تحطم الطاولة أيضاً.
4. منحدر "ميزانية الرموز" (Token Budget Cliff)
اختبر الباحثون ما يحدث إذا أخبروا الذكاء الاصطناعي: "لديك 1000 كلمة فقط لحل هذه المسألة".
- النماذج العادية: تصل إلى الهدف بشكل أسرع ببساطة. لا توجد مشكلة كبيرة.
- نماذج الاستنتاج: تنهار. ولأنها مدربة على كتابة مقالات طويلة، فعندما تقطع عدد كلماتها، تصاب بالذعر. تنفد مساحتها قبل أن تنهي "عملية التفكير"، وتنخفض دقتها بنسبة تقارب 36%.
- التشبيه: تخيل عداء ماراثون مدرب على ركض 26 ميلاً. إذا قلت له: "لديك ميل واحد فقط لتركض"، فلن يركض بشكل أسرع فحسب؛ بل سيتعثر ويسقط لأن حركة ساقيه اعتادت على إيقاع مختلف.
5. الطرق الأربع لإضاعة الوقت
نظر الباحثون في آلاف الإجابات من الذكاء الاصطناعي ووجدوا أن الكلمات "المهدورة" تقع عادةً في أربع عادات سيئة:
- التحقق الزائد عن الحاجة: التحقق من الإجابة التي حصل عليها بالفعل بشكل صحيح، ثلاث أو أربع مرات.
- التناقض الذاتي: قول "الإجابة هي 5"، ثم "انتظر، ربما هي 4"، ثم "لا، هي 5 مرة أخرى"، مما يسبب ارتباكاً لنفسه.
- الاستكشاف غير ذي الصلة: الدخول في متاهات لا علاقة لها بالمسألة الرياضية.
- المماطلة: مجرد كتابة حروف عشوائية أو تكرار الكلمات لأن النموذج لا يعرف متى يتوقف.
6. الخلاصة: القليل يعني الكثير
تخلص الورقة إلى أن التفكير الطويل لا يعني بالضرورة تفكيراً أفضل للمهام الأساسية.
- النماذج الأفضل: النماذج الأكثر عملية للمهام اليومية هي غالباً تلك الأصغر حجماً والموجهة بالأوامر (instruction-tuned) والتي تعطي إجابات قصيرة ومباشرة.
- المستقبل: نحن بحاجة لتعليم نماذج الذكاء الاصطناعي متى تتوقف. يجب أن يتعلموا أنه بالنسبة لمسألة رياضية بسيطة، الإجابة القصيرة أفضل من الإجابة الطويلة والمنمقة.
باختصار: تجادل الورقة بأن نماذج الذكاء الاصطناعي الحالية تعاني من "شلل التحليل". إنها متحمسة جداً لإظهار ذكائها لدرجة أنها تتحدث كثيراً، وتستهلك الكثير من الطاقة، وتنسى أحياناً الإجابة الفعلية. الحل ليس في جعلها تفكر بجهد أكبر؛ بل في جعلها تفكر بذكاء أكبر وتتوقف عن الكلام بمجرد انتهاء المهمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.