Funnel of Thoughts: Efficient Test-Time Scaling via Early Voting and Rollout Pruning

لقد وصلت أنظمة الذكاء الاصطناعي الحديثة إلى نقطة لا تكتفي فيها نماذج الاستدلال الأكثر قوة بتقديم إجابة واحدة لسؤال صعب، بل تولد سلاسل طويلة ومتعرجة من الأفكار، وتستكشف مسارات متعددة للوصول إلى الحل قبل الاستقرار على استنتاج نهائي. تحاكي هذه العملية التداول البشري، لكنها تفرض تحدياً فريداً: فعند سؤال هذه النماذج عن نفس المشكلة مراراً وتكراراً، غالباً ما تنتج إجابات مختلفة، وأحياناً متناقضة. ولضمان الموثوقية، اعتمد المهندسون استراتيجية تتمثل في طلب توليد محاولات عديدة، أو "عمليات تشغيل" (rollouts)، ثم اختيار الإجابة الأكثر شيوعاً من بينها. هذه الطريقة، المعروفة باسم "التصويت بالأغلبية"، تحسن الدقة بشكل كبير في المهام المعقدة مثل الرياضيات المتقدمة. ومع ذلك، فإن هذا يأتي بثمن باهظ؛ فبسبب قدرة هذه السلاسل الاستدلالية على الامتداد لآلاف الكلمات، فإن تشغيل عشرات منها في وقت واحد يستهلك كمية هائلة من القدرة الحوسبية. وتنمو التكلفة بسرعة مع طول السلاسل، مما يعني أن الجزء الأكثر تكلفة في العملية غالباً ما يكون في نهايتها، حيث قد يعلق النموذج في حلقة مفرغة من التصحيح الذاتي غير الضروري أو التردد.

قام فريق من الباحثين في جامعة كوريا بتطوير طريقة جديدة تسمى "قمع الأفكار" (Funnel of Thoughts) لحل عدم الكفاءة هذا دون التضحية بالدقة. يعالج عملهم مشكلة محددة: ففي مجموعة مكونة من اثنتين وثلاثين محاولة استدلال مختلفة، غالباً ما تكون بعض المحاولات غير منتجة. تميل هذه المحاولات المحددة إلى الانزلاق في حلقات تكرارية، حيث تستمر في التشكيك في منطقها الخاص بلا نهاية أو تعلق في حالات "عدم وجود إجابة"، بينما تستهلك الجزء الأكبر من موارد الحوسبة. وقد اكتشف الباحثون أن هذه المحاولات الفاشلة تكشف عن نفسها من خلال نمط بسيط يمكن ملاحظته في النص الذي تولده؛ فهي تستخدم بشكل متكرر علامات تردد محددة — كلمات وعبارات مثل "انتظر"، "في الواقع"، "ربما"، أو "دعني أعيد النظر". ومن خلال حساب عدد مرات ظهور هذه العلامات، يمكن للنظام تحديد مسارات الاستدلال التي يُحتمل فشلها قبل وقت طويل من انتهائها.

تعمل الطريقة الجديدة عن طريق تشغيل جميع المحاولات الاثنتين والثلاثين بالتوازي، كما في السابق، ولكنها تُدخل "قمعاً" يضيق المجال تدريجياً. عند نقاط تفتيش محددة على طول الطريق، يتحقق النظام من أمرين: أولاً، إذا كانت المحاولة قد أنتجت بالفعل إجابة نهائية واضحة، يتم حفظها فوراً في بنك آمن، ويتوقف النظام عن توليد النص لتلك المحاولة المحددة، مما يحافظ على صوت المسار الناجح دون إهدار المزيد من الطاقة. ثانياً، بالنسبة للمحاولات التي لا تزال قيد التشغيل، يحسب النظام كثافة علامات التردد تلك؛ فإذا كانت المحاولة مليئة بعلامات عدم اليقين، يتم تقليمها، أو قطعها، في وقت مبكر. وهذا يسمح للنظام بالتخلص من المسارات الهالكة والمتعثرة مع الحفاظ على المسارات المنتجة التي من المرجح أن تؤدي إلى الحل الصحيح.

النتائج التي حققها هذا النهج جوهرية؛ فباستخدام هذه الطريقة، تمكن الباحثون من خفض إجمالي تكلفة الحوسبة، المقاسة بعمليات الانتباه المطلوبة من النموذج، بنسبة تقارب النصف. وفي الاختبارات الواقعية على بطاقة رسوميات واحدة عالية الأداء، تُرجم ذلك إلى تقليل زمن المعالجة بأكثر من سبعة وثلاثين بالمائة. والأهم من ذلك، أن هذه الكفاءة لم تأتِ على حساب الدقة؛ فقد حافظت الطريقة على نفس المستوى العالي من الصحة كما في النهج التقليدي الذي يشغل جميع المحاولات الاثنتين والثلاثين حتى النهاية. وفي الواقع، في بعض المسائل الصعبة، أدت الطريقة الجديدة إلى تحسين النتيجة النهائية بالفعل؛ وذلك لأن النهج التقليدي يسمح أحياناً لبعض المحاولات غير المنتجة والمتكررة بالهيمنة على التصويت النهائي لمجرد أنها الوحيدة التي اكتملت، بينما قامت الطريقة الجديدة بإزالة تلك المشتتات مبكراً، مما سمح للإجابة الصحيحة بالظهور بوضوح أكبر.

اختبر الباحثون هذه التقنية عبر ستة نماذج استدلال ضخمة مختلفة وعلى مجموعة متنوعة من اختبارات الرياضيات الصعبة. ووجدوا أن إشارة علامات التردد كانت ثابتة عبر جميع النماذج، بغض النظر عن بنيتها الداخلية أو حجمها. كما أثبتت الطريقة متانتها عند تطبيقها على مهام خارج نطاق الرياضيات، مثل الإجابة على أسئلة علمية معقدة أو توليد الكود البرمجي، بشرماً أن يتمكن النظام من تحديد متى تم الوصول إلى إجابة نهائية. والمفتاح هنا هو أن النظام لا يحتاج إلى فهم محتوى الاستدلال لمعرفة متى يتوقف؛ بل يحتاج فقط إلى التعرف على نمط التردد. وهذا يسمح للطريقة بالعمل دون أي تدريب إضافي أو أدوات خارجية معقدة، بالاعتماد فقط على النص الذي ينتجه النموذج بالفعل.

يشير هذا العمل إلى أن الجزء الأكثر تكلفة في استدلال الذكاء الاصطناعي هو غالباً الجزء الأقل إنتاجية. ومن خلال تعلم كيفية التعرف على العلامات المبكرة لتعثر النموذج، يمكننا منعه من إهدار الموارد في مسارات لن تؤدي إلى أي مكان. يوضح "قمع الأفكار" أنه من الممكن جعل هذه الأنظمة القوية أسرع وأرخص في التشغيل مع الحفاظ على ذكائها ذاته. إنه يقدم وسيلة عملية لتوسيع نطاق استخدام نماذج الاستدلال المتقدمة، مما يجعلها أكثر قابلية للتطبيق في العالم الحقيقي حيث تعد السرعة والتكلفة عوامل حاسمة. وتشير النتائج إلى أن مستقبل كفاءة الذكاء الاصطناعي قد لا يكمن في بناء نماذج أكبر، بل في طرق أكثر ذكاءً لإدارة النماذج التي نمتلكها بالفعل.