تقدم هذه الورقة إطاراً موحداً لثلاث عمليات استدلال تكرارية (GROW وPRUNE وBRANCH)، وتثبت من خلال تقييم مكثف أن التفرع المتكرر يتفوق باستمرار على طرق الاستدلال الأخرى في وقت الاختبار عبر نماذج ومعايير متنوعة، مع تسليط الضوء أيضاً على الأهمية البالغة لبروتوكولات التقييم المقترنة لتجنب الاستنتاجات المقارنة المضللة.
عندما يحاول برنامج حاسوبي حل مشكلة صعبة، فإنه غالباً ما ينتج خطاً واحداً من التفكير، وهو تسلسل من الكلمات يؤدي إلى إجابة. لسنوات، تساءل الباحثون عما إذا كان منح هذه البرامج مزيداً من الوقت ومزيداً من المحاولات سيجعلها أكثر ذكاءً. فبدلاً من قبول تلك الإجابة الأولى، هل يمكن مطالبة الحاسوب بالمحاولة مرة أخرى، أو تقسيم المشكلة إلى أجزاء أصغر، أو توليد عدة حلول مختلفة واختيار الأفضل من بينها؟ يقع هذا السؤال في قلب أبحاث الذكاء الاصطناعي الحديثة. المجال حالياً مليء باستراتيجيات مختلفة لاستغلال قوة حوسبة إضافية لتحسين الاستنتاج. تطلب بعض الأساليب من النموذج صقل إجابته الخاصة، ويطلب البعض الآخر منه تفكيك مهمة معقدة إلى سلسلة من الخطوات الأبسط، بينما تطلب أساليب أخرى منه توليد محاولات مستقلة عديدة والتصويت على النتيجة. ولأن كل نهج من هذه المناهج قد تم اختباره بشكل منعزل، باستخدام أسئلة اختبار وقواعد تقييم مختلفة، فقد كان من المستحيل معرفة أي استراتيجية تعمل بشكل أفضل فعلياً عندما تكون ميزانية الحوسبة هي نفسها.
لقد وضع فريق من الباحثين هدفاً لتسوية هذا الجدل عبر معاملة هذه الاستراتيجيات المختلفة كمتغيرات لعملية واحدة: التكرار (recursion)، أو فعل قيام النظام باستدعاء نفسه لحل مشكلة ما. وقد حددوا ثلاث طرق متميزة يمكن للحاسوب القيام بها. الطريقة الأولى، التي أطلقوا عليها اسم "النمو" (grow)، تضمنت أخذ خط واحد من الاستنتاج ومطالبة الحاسوب بتمديده، أي صقل المسار نفسه مراراً وتكراراً. أما الطريقة الثانية، "التقليم" (prune)، فتضمنت مطالبة الحاسوب بتفكيك مشكلة صعبة إلى قائمة من الأسئلة الأصغر والمرتبة، وحلها واحداً تلو الآخر، ثم ربط الإجابات ببعضها البعض. والثالثة، "التفرع" (branch)، تضمنت مطالبة الحاسوب بتوليد خمسة حلول مختلفة تماماً في آن واحد، ثم اختيار الحل الذي ظهر أكثر من غيره بينهم. ولضمان مقارنة عادلة، قام الباحثون بتشغيل الطرق الثلاث، جنباً إلى جنب مع محاولة قياسية لمرة واحدة، على نفس مجموعة المشكلات تماماً وباستخدام نفس النماذج الحاسوبية. لقد اختبروا هذه الأساليب عبر خمسة أنواع مختلفة من التحديات، تتراوح من الألغاز المنطقية المعقدة متعددة الخطوات إلى الأسئلة الأكاديمية بمستوى الدراسات العليا، باستخدام ثلاثة من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة.
كانت نتائج هذه التجربة المنضبطة واضحة ومفاجئة نوعاً ما. فاستراتيجية توليد حلول متعددة والتصويت على الأفضل، وهي طريقة "التفرع"، حسنت دقة الإجابات في كل حالة اختبار أجروها. وفي المتوسط، رفعت هذه الطريقة معدل الإجابات الصحيحة بنسبة تقارب ست نقاط مئوية مقارنة بالمحاولة القياسية الواحدة. وفي المقابل، كانت الطريقتان الأخريان غير متسقتين؛ فطريقة "النمو"، التي تعمق مساراً واحداً، حسنت الأداء في معظم الحالات، لكنها جعلت الحاسوب أسوأ في حل أنواع معينة من الأسئلة الصعبة. أما طريقة "التقليم"، التي تفكك المشكلات، فقد أظهرت تحسناً طفيفاً لا يكاد يُذكر وغالباً ما يكون غير قابل للتمييز عن الضجيج العشوائي. أشارت البيانات إلى أنه لا توجد حاجة لنظام معقد لتقرير أي طريقة يجب استخدامها لأي مشكلة؛ فالطريقة التي تكتفي ببساطة بتجربة مسارات متعددة واختيار الفائز بالإجماع كانت هي الخيار المتفوق في جميع المجالات.
تعمق الباحثون لفهم سبب نجاح طريقة التصويت هذه بهذا الشكل الجيد، واكتشفوا أن السبب لم يكن كما توقع معظم الناس. كان الاعتقاد الشائع هو أن توليد إجابات متعددة يساعد لأن الحاسوب يتمكن من استكشاف العديد من المسارات المنطقية المختلفة وإيجاد المسار الصحيح من بينها. ومع ذلك، أظهرت البيانات أن الفائدة الرئيسية جاءت من مصدر مختلف: التعافي من الفشل. فعندما تُطالب هذه النماذج الحاسوبية المتقدمة بالتفكير لفترة طويلة، فإنها غال often تنفد منها مساحة الذاكرة المخصصة لها قبل أن تتمكن من إنهاء كتابة إجابتها. وفي المحاولة الواحدة، يؤدي هذا إلى استجابة فارغة، والتي تُحتسب كإجابة خاطئة. ولكن عندما يُطلب من الحاسوب المحاولة خمس مرات، فإن احتمالات فشل المحاولات الخمس جميعها في اللحظة ذاتها هي احتمالات ضئيلة جداً. فنظام التصويت يستبعد تلقائياً الإجابات الفارغة ويختار إجابة صالحة من المحاولات الناجحة. ووجد الباحثون ارتباطاً قوياً بين عدد المرات التي فشلت فيها الطريقة القياسية في إنتاج إجابة وبين مقدار التحسن في النتيجة بفضل طريقة التصويت. وفي أصعب الاختبارات، خفضت طريقة التصويت معدل الإجابات الفارغة والفاشلة إلى النصف.
يغير هذا الاكتشاف طريقة تفكيرنا في جعل الذكاء الاصطناعي أكثر ذكاءً. فهو يشير إلى أن جزءاً كبيراً من الفائدة الناتجة عن مطالبة الحاسوب بالمحاولة عدة مرات هو مجرد استعادة الإجابات التي كانت ستُفقد لولا القيود التقنية. كما سلط الباحثون الضوء على درس بالغ الأهمية للدراسات المستقبلية: كيفية حساب النتائج تهم للغاية. ففي تحليلهم الأولي، وجدوا أنه إذا تم احتساب انقطاعات الاتصال بالشبكة أو انتهاء المهلة الزمنية كإجابات خاطئة، فإن طريقة التصويت تبدو أسوأ في بعض المهام. وكان ذلك لأن طريقة التصويت تجري محاولات أكثر، وبالتالي لديها فرص أكثر للتعرض لخلل تقني. ومن خلال مقارنة الأساليب بصرامة فقط بناءً على الأسئلة التي أجابت عليها جميع الطرق بنجاح، كشف الباحثون عن الأداء الحقيقي. يثبت عملهم أنه بالنسبة للنماذج الأكثر قدرة المتاحة اليوم، فإن الاستراتيجية الأبسط المتمثلة في المحاولة عدة مرات واختيار الإجماع هي الطريقة الأكثر موثوقية للحصول على إجابات أفضل، وأن المكاسب تأتي في المقام الأول من ضمان إنهاء الحاسوب لأفكاره بدلاً من إيجاد مسار أكثر ذكاءً للوصول إلى الحل.
تزايدت في الآونة الأخيرة الأبحاث المتعلقة بالاستدلال في وقت الاختبار (test-time reasoning) للنماذج اللغوية الكبيرة (LLMs)، وتفرعت إلى برامج بحثية متميزة تشمل التحسين التكراري (iterative refinement)، وتفكيك المشكلات (problem decomposition)، وأخذ العينات المتكرر (repeated sampling). ومع ذلك، تُدرس هذه الطرق عادةً بمعزل عن بعضها البعض، حيث يستخدم كل منها معايير قياس مختلفة، ونماذج أساسية، ومنطق استخراج الإجابات، وأكواد تقييم مختلفة. هذا التجزؤ يمنع الممارسين من إجراء مقارنات عادلة: فمن غير الواضح أي طريقة تحقق أفضل دقة مقابل ميزانية استدلال محددة، أو ما إذا كان الأداء يعتمد على نموذج أو مهمة معينة، أو ما إذا كانت المكاسب المسجلة قابلة للمقارنة. علاوة على ذلك، تعاني التقييمات الحالية غالبًا من مخاطر منهجية، مثل التقييم غير المقترن (مقارنة الطرق على مجموعات فرعية مختلفة من العناصر بسبب تباين معدلات الفشل) وتصنيف إخفاقات البنية التحتية (مثل انتهاء المهلة الزمنية/timeouts) خطأً على أنها أخطاء في النموذج، مما يضر بالأساليب التي تجري المزيد من استدعاءات واجهة برمجة التطبيقات (API calls).
المنهجية
أعاد المؤلفون صياغة استراتيجيات الاستدلال المتنوعة هذه كـثلاثة عوامل تكرارية (recursion operators) مختلفة تعمل على مسار استدلال الوكيل، ويتم تقييمها ضمن إطار تجريبي موحد.
1. العوامل (The Operators)
تعتمد جميع العوامل على وحدة حل مشتركة، solve(x, c)، والتي تقوم باستدعاء النموذج مع سياق اختياري. ومن الأهمية بمكان أن تتضمن هذه الوحدة آلية استرداد الانقطاع (truncation recovery mechanism): إذا استنفد النموذج ميزانية الرموز (tokens) الخاصة به أثناء تدفق التفكير الخفي (مما يؤدي إلى إرجاع محتوى فارغ)، يقوم النظام بإعادة توجيه المطالبة للنموذج مع استدلاله المبتور لإجباره على تقديم إجابة نهائية، بدلاً من اعتبار العنصر فشلاً وإهماله.
تُعرف العوامل الثلاثة كما يلي:
GROW (التكرار الإضافي - Additive Recursion): يعمل على تعميق مسار استدلال واحد. يقوم بحل المشكلة مرة أخرى مع تضمين المحاولة السابقة في السياق. يتوقف عند استقرار الإجابة المستخرجة (إنتاج إجابتين متتاليتين بنفس الإجابة المعيارية).
PRUNE (التكرار الاختزالي - Reductive Recursion): يقوم بتفكيك مشكلة معقدة إلى قائمة مرتبة من الأسئلة الفرعية. يتم حل كل سؤال فرعي مع تضمين إجابات الأسئلة الفرعية السابقة في السياق، ثم يقوم استدعاء نهائي بتركيب الإجابات. إذا اقترح النموذج سؤالاً فرعياً واحداً فقط، فإنه يتراجع إلى عملية حل مباشرة لتجنب الهدر.
BRANCH (التكرار القائم على البحث - Search-based Recursion): يأخذ عينات لـ N=5 من الحلول المستقلة عند درجة حرارة (temperature) قدرها 0.7. يقوم بمعايرة الإجابات المستخرجة ويعيد مفتاح الأكثرية (majority vote). العينات التي تعيد محتويات فارغة يتم استبعادها هيكلياً لأنها لا يمكن أن تفوز بالتصويت إلا إذا كانت جميع العينات فارغة.
2. الإعداد التجريبي
النماذج: ثلاثة نماذج استدلال رائدة: DeepSeek-V4-Pro، وMiniMax-M3، وQwen3.6-plus.
معايير القياس (Benchmarks): خمسة معايير متنوعة تغطي الاستدلال متعدد الخطوات (MuSique)، والأسئلة الأكاديمية بمستوى الخبراء (HLE)، والاستدلال العام (BBEH)، والمعرفة الجامعية (SuperGPQA)، ورياضيات الأولمبياد (Omni-MATH).
البروتوكول: يتم فرض بروتوكول تقييم مقترن (paired evaluation protocol) بصرامة. ضمن كل خلية (نموذج × معيار قياس)، تُحسب الدقة فقط على تقاطع العناصر التي نجحت جميع العوامل في حلها. يتم استبعاد حالات فشل النقل غير القابلة للاسترداد (مثل انتهاء المهلة أو حدود المعدل) بدلاً من تسجيلها كأخطاء، وذلك لمنع معاقبة العوامل المكلفة.
النطاق: تغطي الدراسة 14 خلية (نموذج × معيار قياس)، و49,327 عنصراً تم تقييمه، و151,876 استدعاءً للنموذج.
المساهمات الرئيسية
صياغة موحدة للعوامل: يصيغ البحث استراتيجيات التكرار (الإضافي، والاختزالي، والقائم على البحث) كعوامل فوق وحدة أولية مشتركة، مما يسمح بمقارنة مضبوطة ومباشرة ("تفاحة مقابل تفاحة").
دراسة مقارنة مضبوطة: تقدم الدراسة تقييماً مقترناً واسع النطاق عبر 14 خلية، وتثبت أن BRANCH (أخذ العينات المتكرر مع التصويت) هو العامل الأفضل بشكل مطلق في 12 خلية من أصل 14، محققاً تحسناً في الدقة في جميع الخلايا الـ 14.
الرؤية الآلية (استرداد الانقطاع): يتحدى البحث التفسير التقليدي بأن مكاسب أخذ العينات المتكرر تأتي أساساً من تهميش مسارات الاستدلال. بدلاً من ذلك، يوضح البحث أن جزءاً كبيراً من مكاسب BRANCH يأتي من استرداد الانقطاع (truncation recovery). ترتبط المكاسب بقوة (r=0.72) بمعدل المخرجات الفارغة (الناتجة عن استنفاد ميزانية الرموز) في النموذج الأساسي. يعمل BRANCH بفعالية على استرداد الإجابات التي لم يقم النموذج بإصدارها في المرة الأولى لأن ميزانية الرموز نفدت أثناء التفكير الخفي.
نتائج سلبية حول التوجيه (Routing): لا تدعم البيانات "فرضية التوجيه" (أن الموجه التكيفي يجب أن يختار عوامل مختلفة بناءً على المهمة). بما أن BRANCH يهيمن في كل مكان تقريباً، فإن الموجه المتعلم سيتعلم سياسة ثابتة تقريباً.
تحذير منهجي: يوثق المؤلفون كيف يمكن للتقييم غير المقترن ومعاملة إخفاقات البنية التحتية كأخطاء في النموذج أن يؤدي إلى عكس النتائج (على سبيل المثال، إظهار تراجع في الأداء بينما لا يوجد تراجع فعلي)، ويدعون إلى اعتماد البروتوكولات المقترنة كممارسة قياسية.
النتائج
الأداء: يحسن BRANCH الدقة في جميع الخلايا الـ 14 بمتوسط زيادة قدره +5.98 نقطة (الوسيط +6.47). وهو العامل الأفضل في 12 خلية.
عدم اتساق الآخرين: يحقق GROW متوسط زيادة قدره +2.18 نقطة، لكنه يسجل نتائج سالبة في خليتين (DeepSeek على MuSique وBBEH). أما PRUNE فيحقق متوسط +0.94 نقطة مع نطاق يتراوح بين -2.17 و+4.00، مما يظهر مكاسب غير متسقة وغالباً ما تكون ضئيلة.
الكفاءة مقابل الدقة: بينما يعد GROW أكثر كفاءة في استهلاك الرموز لكل استدعاء (+1.77 نقطة لكل استدعاء إضافي مقابل +1.55 لـ BRANCH)، إلا أن BRANCH يحقق أعلى سقف للدقة المطلقة. أما PRU de فهو مهزوم في كلا المحورين.
ديناميكيات الانقطاع: في المعايير التي يصل فيها النموذج الأساسي تكراراً إلى حدود الرموز (مثل HLE مع DeepSeek)، ينخفض معدل المخرجات الفارغة بشكل كبير تحت تأثير BRANCH (على سبيل المثال، من 51.2% إلى 32.2%)، مما يدفع مباشرة لزيادة الدقة. النموذج الذي لم ينقطع أبداً (Qwen3.6-plus) أظهر أقل مكاسب من BRANCH.
الأهمية والادعاءات
يجادل البحث بأن تركيز المجال على برامج بحثية متميزة يحجب الواقع التجريبي المتمثل في أن أخذ العينات والتصويت (BRANCH) هو الاستراتيجية الأكثر قوة في ظروف الوقت الحالي. تكمن الأهمية ليس في حداثة الخوارزميات (فهي تنويعات على Self-Consistency وSelf-Refine وLeast-to-Most)، بل في المقارنة المضبوطة التي كشفت أن:
هيمنة أخذ العينات: عند مستوى هذه العوامل، تهيمن طريقة واحدة (BRANCH) في كل مكان تقريباً، مما يجعل التوجيه التكيفي (adaptive routing) غير ضروري لهذه المهام المحددة.
دور استنفاد الميزانية: أحد المصادر الرئيسية (والتي لم يتم تقديرها كمياً من قبل) للخطأ في نماذج الاستدلال الطويل هو استنفاد ميزانية الرموز أثناء التفكير الخفي. يعمل أخذ العينات المتكرر كآلية استرداد لهذا النوع من الفشل، وليس مجرد تقنية لتهميش المسارات.
صرامة التقييم: تسلط الدراسة الضوء على كيف يمكن لإخفاقات البنية التحتية والتقييم غير المقترن أن ينتج نتائج زائفة كبيرة بما يكفي لعكس الاستنتاجات، وتحث المجتمع العلمي على اعتماد البروتوكولات المقترنة والفصل الصريح بين أخطاء البنية التحتية وأخطاء النموذج.
يخلص المؤلفون إلى أنه بينما تعد قاعدة "خذ عينات أكثر" (sample more) قاعدة صالحة، فإن الآلية المحددة للاسترداد من استنفاد الميزانية تشير إلى أن عمليات الإنهاء المستهدفة (targeted finalization passes) للمخرات المبتورة قد توفر بديلاً أرخص لأخذ العينات المتكرر الكامل في بعض السيناريوهات.