← أحدث الأبحاث
💬 NLP

Thinking Hard, Not Smart: Reasoning Models Fail to Ration Test-Time Compute Across Questions

تقدم هذه الورقة إطار تقييم يحاكي نمط الامتحانات، يكشف أن نماذج الاستدلال الحالية تفشل في تخصيص ميزانية حوسبة وقت الاختبار المشتركة بشكل استراتيجي عبر أسئلة متعددة، بل تتصرف كحلّالات تسلسلية جشعة تعطي الأولوية لترتيب العرض على حساب صعوبة السؤال أو قيمته.

المؤلفون الأصليون: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

نُشر 2026-08-11
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou, Soheil Feizi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تجلس في مكتبة ضخمة وعالية التقنية، حيث الكتب مكتوبة بواسطة حواسيب فائقة الذكاء تسمى "نماذج الاستدلال". هذه الحواسيب مذهلة في حل الألغاز، لكن لديها سمة غريبة: كلما زادت صعوبة اللغز، زاد مقدار "تفكيرها" قبل الإجابة. عملية التفكير هذه تكلف شيئاً يسمى "الحوسبة" (compute)، وهي تشبه إمداداً محدوداً من الطاقة أو حداً زمنياً صارماً في اختبار ما. لطالما عرف العلماء أنه إذا منحت الحاسوب مزيداً من الوقت للتفكير في مسألة واحدة صعبة، فإنه سيصبح أفضل في حلها. ولكن برز سؤال جديد: ماذا يحدث عندما تعطي الحاسوب مجموعة كاملة من الألغاز المختلفة، ولكن مع حد زمني واحد مشترك للمجموعة بأكملها؟ هل يمكن للحاسوب أن يقرر أي الألغاز تستحق استهلاك طاقته عليها، أم أنه يندفع ببساء عبرها بالترتيب الذي تظهر به، مهدرًا وقته على المسائل السهلة لينفد منه الوقود قبل أن يصل إلى المسائل الصعبة؟ هذا هو اللغز الكبير الذي يحاول الباحثون حله، لأنه إذا لم تتمكن هذه الحواسيب الذكية من إدارة طاقتها الخاصة عبر مجموعة من المهام، فقد تفشل في مواقف العالم الحقيقي حيث تحتاج إلى التوفيق بين العديد من الوظائف في وقت واحد.

هذه الورقة البحثية، التي تحمل عنوان "التفكير بجهد، لا بذكاء"، تغوص في تلك المشكلة تحديداً. قام الباحثون بإعداد "امتحان" رقمي لعدة من أكثر نماذج الاستدلال تقدماً في العالم. وبدلاً من إعطاء كل سؤال حداً زمنياً خاصاً به، أعطوا الامتحان بأكمله ميزانية مشتركة من "رموز التفكير" (tokens) (وهي وحدة من الجهد الحاسوبي). تضمن الامتحان أسئلة متفاوتة الصعوبة، بعضها يستحق نقاطاً أكثر من غيرها، وكان على النماذج معرفة كيفية تقسيم طاقتها المحدودة لتحقيق أعلى درجة إجمالية. كانت النتائج صادمة نوعاً ما: لقد فشلت النماذج في التصرف كطلاب استراتيجيين في الامتحان. فبدلاً من تخطي سؤال صعب ومنخفض النقاط لتوفير الطاقة لسؤال سهل وعالي النقاط، تصرفت مثل طالب جشع يقرأ الأسئلة من الأعلى إلى الأسفل فقط. لقد بذلت جهداً هائلاً في الأسئلة الأولى، وغالباً ما نفدت منها الرموز قبل أن تصل حتى إلى نهاية الورقة، بغض النظر عن عدد النقاط التي قد تكون الأسئلة اللاحقة مستحقة لها.

وجدت الدراسة أن هذه النماذج هي استراتيجيات "عمياء عن الموقع". فهي لا تبدو مهتمة بما إذا كان السؤال مصنفاً كـ "صعب" أو "سهل"، أو ما إذا كان يستحق 20 نقطة أو 5 نقاط. إنها تتبع فقط ترتيب تقديم الأسئلة. إذا كان السؤال هو الأول، فإنها تسكب كل طاقتها فيه؛ وإذا كان الأخير، فإنها غالباً ما تتجاهله تماماً. اختبر الباحثون ذلك عن طريق تغيير ترتيب الأسئلة وتغيير قيم نقاطها، لكن النماذج لم تتكيف. حتى عندما أعطت الأبحاث النماذج أمراً (prompt) خاصاً يطلب منها "التخطيط مسبقاً" و"التخصيص بحكمة"، لم تغير النماذج عاداتها، بل اكتفت بنشر نفس غياب الاستراتيجية بشكل أكثر توازناً. تشير الورقة إلى أنه بينما تتحسن هذه النماذج في "التفكير بجهد" في مسألة واحدة، إلا أنها لم تتعلم بعد كيف "تفكر بذكاء" بشأن المسائل التي تستحق التفكير فيها.

لجعل الأمر أكثر وضوحاً، تخيل أن لديك حقيبة ظهر بحد أقصى للوزن يبلغ 10 أرطال، وأنت في سوق للسلع المستعملة (flea market) يوجد به 20 قطعة. بعض القطع ثقيلة لكنها ذات قيمة عالية (قيمة عالية، تكلفة عالية)، وبعضها خفيف لكن قيمته ضئيلة (قيمة منخفضة، تكلفة منخفضة)، وبعضها ثقيل لكنه بلا قيمة. المتسوق الذكي سينظر إلى القائمة بأكملها، ويختار القطع التي تعطي أفضل "قيمة مقابل كل رطل"، ويملأ حقيبته ليحصل على أكبر قدر من المال. لكن نماذج الذكاء الاصطناعي هذه تصرفت مثل متسوق يلتقط أول قطعة يراها، ثم الثانية، ثم الثالثة، ويحشرها في الحقيبة حتى تصبح ثقيلة جداً بحيث لا يستطيع حملها. وبحلول الوقت الذي وصل فيه إلى نهاية الطابور، لم يعد لديه مساحة لأفضل الصفقات. وجد الباحثون أنه مع زيادة عدد الأسئلة (أو القطع) من 5 إلى 20، ساء أداء النماذج في تغطية القائمة بأكملها. على سبيل المثال، مع 20 سؤالاً، قامت النماذج بعمل جاد على حوالي 4 إلى 8 أسئلة فقط، تاركة البقية دون مساس تماماً.

نظرت الورقة أيضاً فيما إذا كانت النماذج تتفاعل مع صعوبة الأسئلة. وتبين أنها تقضي بالفعل وقتاً أطول في الأسئلة الصعبة، ولكن فقط بعد أن تبدأ فيها بالفعل. فهي لا تنظر إلى سؤال صعب وتقول: "هذا يبدو صعباً، سأتخطاه لأوفر الطاقة لما بعده". بل تغوص فيه، وتدرك أنه صعب، وتستمر في العمل حتى ينفد منها الجهد. وهذا ما يسميه المؤلفون التفكير "الاستجابي" (reactive) بدلاً من التفكير "الاستباقي" (prospective). إنها جيدة في حل المشكلة بمجرد البدء فيها، لكنها سيئة في اتخاذ القرار بشأن أي المشكلات يجب أن تبدأ بها في المقام الأول.

ومن المثير للاهتمام أن الباحثين اختبروا ذلك في كل من المسائل الرياضية ومسائل البرمجة، وكانت النتائج هي نفسها. سواء كانت المهمة حل معادلة أو كتابة برنامج حاسوبي، تصرفت النماذج مثل قطار على مسار ثابت: تتحرك للأمام، سؤالاً تلو الآخر، حتى ينفد الوقود. لم تقفز عن مساراتها للوصول إلى المحطات الأسهل أو الأكثر قيمة. وتخلص الدراسة إلى أن القدرة على إدارة ميزانية مشتركة عبر مهام متعددة هي مهارة متميزة تفتقر إليها النماذج الحالية. إنها تعرف كيف تفكر بجهد، لكنها لم تكتشف بعد كيف توزع تفكيرها بحكمة. هذا ليس مجرد خلل بسيط؛ بل يشير إلى أنه بينما نطلب من هذه النماذج القيام بمهام أكثر تعقيداً ومتعددة الخطوات، فقد نحتاج إلى تعليمها نوعاً جديداً من "ما وراء المعرفة" (metacognition) — أي القدرة على التفكير في طريقة تفكيرها وإدارة مواردها، وليس فقط حل اللغز الذي أمامها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →