Learning When to Think: Adaptive Reasoning for Test-Time Compute Allocation
تقدم هذه الورقة طريقة لتدريب نماذج لغوية استدلالية على تخصيص حوسبة وقت الاختبار بشكل تكيفي من خلال تعلم الاختيار بين أوضاع الاستدلال "بدون تفكير" (NoThink)، و"قصير" (Short)، و"طويل" (Long) عبر تحسين السياسة النسبي المجموعي (Group Relative Policy Optimization)، مما يحقق تقليلاً كبيراً في عدد الرموز (tokens) مع الحفاظ على الدقة أو تحسينها عبر مختلف المعايير المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت النماذج اللغوية الكبيرة ماهرة بشكل ملحوظ في حل المشكلات المعقدة، وغالبًا ما يكون ذلك من خلال تفكيك السؤال إلى سلسلة طويلة من الخطوات الوسيطة، تمامًا مثل الإنسان الذي يعمل على مسألة رياضية صعبة على ورقة. هذا النهج القائم على الخطوة تلو الأخرى، والمعروف باسم "سلسلة التفكير" (chain-of-thought reasoning)، يسمح لهذه الأنظمة بالوصول إلى مستويات عالية من الدقة في المهام المتعلقة بالرياضيات والبرمجة. ومع ذلك، تأتي هذه القدرة مع تكلفة باهظة: إذ غالبًا ما تولد هذه النماذج نصوصًا أكثر بكثير مما هو ضروري، مما يستهلك كميات هائلة من قوة الحوسبة والوقت. فحتى عندما تكون المسألة بسيطة، قد تنتج النماذج شرحًا طويلًا ومسهبًا، مما يهدر الموارد في مهام يمكن حلها فورًا. وقد اشتبه الباحثون منذ فترة طويلة في أن هذه الأنظمة تفتقر إلى القدرة على تقدير مقدار الجهد الذي تتطلبه مسألة معينة بالفعل، مما يؤدي إلى حالة تحصل فيها الأسئلة السهلة على نفس المعالجة الثقيلة التي تحصل عليها الأسئلة الصعبة.
وضع فريق من الباحثين في جامعة "فريجي فيلت في فريجي" (Vrije Universiteit) في أمستردام هدفًا لتعليم النموذج كيفية اتخاذ هذا الحكم بنفسه. لقد عملوا مع نموذج استدلال صغير نسبيًا، يحتوي على 1.5 مليار معلمة (parameter)، وكان قد تم تدريبه على حل المسائل الرياضية. وبدلاً من إجبار النموذج على التفكير دائمًا لفترة زمنية ثابتة، منحوه خيارًا بسيطًا في بداية استجابته مباشرة: كان بإمكانه أن يقرر الإجابة فورًا دون تفكير، أو التفكير لفترة وجيزة، أو الانخراط في استدلال عميق ومطول. تم تدريب النموذج باستخدام طريقة تسمى "التعلم التعزيزي" (reinforcement learning)، حيث يتلقى تغذية راجعة بناءً على ما إذا كانت إجابته صحيحة ومدى كفاءة وصوله إليها. وكان الهدف هو معرفة ما إذا كان بإمكان النموذج تعلم مطابقة جهده مع صعوبة المسألة، مما يوفر الوقت في المهام السهلة مع الاستمرار في تخصيص موارد كافية لحل المهام الصعبة.
صمم الباحثون نظامًا يقوم فيه النموذج بإصدار كلمة واحدة كأول رمز (token) للإشارة إلى نمط التشغيل الذي اختاره. إذا اختار النموذج "NoThink" (لا تفكير)، فإنه يحاول الإجابة مباشرة. وإذا اختار "Short" (قصير)، فيُسمح له بتوليد شرح موجز، ولكن مع حد صارم لعدد الكلمات التي يمكنه استخدامها. أما إذا اختار "Long" (طويل)، فيُسمح له بالاستدلال بإسهاب دون وضع سقف لذلك. ولضمان التزام النموذج بهذه الاختيارات فعليًا، فرض الباحثون حدودًا صارمة على طول الاستجابة للأنماط الأقصر. فإذا حاول النموذج استخدام نمط "Short" ولكنه استمر في الكتابة متجاوزًا الحد المسموح به، فإن النظام سيعتبر المحاولة خاطئة، بغض النظر عما إذا كانت الإجابة النهائية صحيحة أم لا. وقد أجبر هذا النموذج على تعلم أن الملصق الذي يختاره في البداية له عواقب حقيقية على سلوكه.
ولمنع النموذج من تجاهل الاختيار ببساطة واللجوء إلى الخيار الأطول والأكثر أمانًا في كل مرة، قام الباحثون بتعديل المكافآت التي يتلقاها. فقد جعلوا نمطي "NoThink" و"Short" أكثر مكافأة للإجابات القصيرة جدًا، بينما قدم نمط "Long" مكافأة ثابتة بغضًا عن الطول. وقد خلق هذا مشهدًا يعتمد فيه أفضل استراتيجية على المسألة: فبالنسبة للسؤال التافه، كانت الإجابة الأسرع تحقق أعلى درجة، بينما تتطلب المسألة الصعبة الجهد الممتد لنمط "Long" للنجاح. كما أضافوا آلية موازنة تدفع النموذج بلطف لاستخدام جميع الخيارات الثلاثة، مما يضمن عدم انحصاره في استخدام استراتيجية واحدة لكل مسألة.
أظهرت النتائج أن النموذج تعلم بنجاح تصنيف المسائل حسب الصعوبة. ففي مجموعة مكونة من 500 مسألة رياضية محجوزة للاختبار، بدأ النموذج بتوجيه الأسئلة السهلة إلى نمطي "NoThink" أو "Short" والأسئلة الصعبة إلى نمط "Long". وعلى مدار عملية التدريب، ظلت دقة النموذج متطابقة تقريبًا مع النسخة الأصلية غير المعدلة، لكن متوسط طول استجاباته انخفض بشكل كبير. ووجد الباحثون أن السياسة الجديدة قللت متوسط عدد الكلمات المولدة بنسبة 41 بالمائة، مما خفض طول الاستجابة من ما يقرب من 4,800 رمز (token) إلى حوالي 2,800 رمز. وهذا يعني أن النموذج كان يحل نفس عدد المسائل بشكل صحيح مع استخدام أقل من نصف الجهد الحوسبي.
والأهم من ذلك، أن هذه الكفاءة لم تأتِ على حساب الأداء في المسائل التي لم يرها النموذج من قبل. فعند اختبار النموذج على مجموعة مختلفة من المسائل الكلامية الرياضية الابتدائية، وفر النموذج كمية أكبر من النص، حيث قلل عدد الرموز بنسبة 76 بالمائة مع الحفاظ على دقة عالية. وفي مجموعة من مسائل الرياضيات التنافسية شديدة الصعوبة، حيث يتطلب الأمر دائمًا استدلالًا عميقًا، اختار النموذج نمط "Long" بشكل صحيح لكل سؤال تقريبًا، محققًا أداءً يطابق النسخة الأساسية دون إضاعة الوقت في الاختصارات. وتثبت هذه الدراسة أن نموذج الاستدلال يمكن تدريبه على تنظيم جهده ذاتيًا، وتخصيص وقت تفكير أطول فقط عندما تتطلب المسألة ذلك. وهذا يشير إلى مسار للمضي قدمًا لجعل الذكاء الاصطناعي أكثر كفاءة، مما يسمح للأنظمة بأن تكون ذكية واقتصادية في آن واحد، بدلاً من كونها مجرد أنظمة مسهبة في الكلام.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.