Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
تُثبت هذه الورقة تجريبياً أنه بالنسبة للنماذج ذات الأوزان المفتوحة والمضبوطة للتعليمات ذات الحجم الصغير (3.8-8 مليار معلمة) والتي تحل مسائل الرياضيات المدرسية، فإن التلقين بسلسلة الأفكى (Chain-of-Thought) متعدد الأمثلة يتفوق بشكل كبير على خطوط الأساس صفرية الأمثلة، بينما تفشل استراتيجيات التداول الأكثر تعقيداً مثل الاتساق الذاتي (self-consistency) وشجرة الأفكار (tree-of-thought) في تقديم تحسينات دقيقة إحصائياً في الدقة مقارنة بالطرق الأبسط.
في عالم الذكاء الاصطناي المتطور بسرعة، سعى الباحثون منذ فترة طويلة لإيجاد وسيلة تجعل البرامج الحاسوبية تفكر بشكل يشبه البشر، لا سيما عند حل المشكلات التي تتطلب تسلسلاً من الخطوات المنطقية. لسنوات، اعتمد النهج المعياري على تزويد هذه الأنظمة بسؤال مباشر وانتظار الإجابة، لكن هذا غالباً ما أدى إلى وقوع أخطاء في الحساب والمنطق. حدث اختراق علمي عندما أدرك العلماء أنه إذا طلبوا من النماذج كتابة عملية التفكير الخاصة بها أولاً — أي إظهار خطوات العمل قبل ذكر الاستنتاج — فإن دقتها ستتحسن بشكل كبير. هذا الأسلوب، المعروف باسم "سلسلة الأفك-المنطق" (chain-of-thought prompting)، أصبح حجر الزاوية لجعل الآلات قادرة على التفكير المنطقي. ومع ذلك، ومع انتقال هذه الأدوات من الحواسيب الفائقة الضخمة والمكلفة إلى نسخ أصغر وأكثر توفيراً يمكن للأفراد والشركات تشغيلها على أجهزتهم الخاصة، برز سؤال جوهري: هل لا تزال حيل التفكير الأكثر تعقيداً واستهلاكاً للموارد فعالة، أم أنها مجرد تكلفة إضافية لا ضرورية دون تحسين النتيجة؟
وضعت دراسة حديثة هدفها للإجابة على هذا السؤال عبر وضع أربع استراتيجيات تفكير مختلفة قيد الاختبار على ثلاثة نماذج لغوية شائعة وصغيرة الحجم. ركز الباحثون على معيار مرجعي يتكون من مائة مسألة لفظية في الرياضيات لطلاب المدارس الابتدائية، وهي مجموعة من الألغاز المصممة لتكون بسيطة للبشر ولكنها مخادعة للحواسيب التي تتخطى الخطوات. أرادوا معرفة ما إذا كان أداء النماذج سيتحسن عندما يُطلب منها ببساطة التفكير خطوة بخلى خطوة، أو عندما تُعرض عليها بضعة أمثلة لكيفية حل مشكلات مماثلة، أو عندما يُطلب منها توليد إجابات متعددة محتملة والتصويت على الأفضل بينها، أو عندما تُجبر على استكشاف "شجرة" متفرعة من الأفكار المختلفة قبل الاستقرار على حل. كان الهدف هو تحديد أي طريقة تقدم أفضل توازن بين الدقة والكفاءة لأنواع النماذج التي أصبحت شائعة في التطبيقات اليومية.
كشف التحقيق عن تسلسل هرمي واضح ومثير للدهشة في الفعالية. فقد تبين أن الأداة الأكثر قوة هي أبسط أشكال عرض الأمثلة. فعندما زُودت النماذج ببعض المسائل المحلولة لدراستها قبل محاولة حل أسئلة الاختبار، قفزت دقتها بشكل كبير مقارنة بالحالة التي كانت تُعطى فيها مجرد أمر بالتفكير بعناية. كان هذا التحسن ثابتاً عبر جميع النماذج الثلاثة المختبرة، حيث ارتفعت معدلات النجاح بنسبة تصل إلى أربعين نقطة مئوية في بعض الحالات. وأظهرت البيانات أن رؤية مثال ملموس لكيفية تفكيك المسألة كانت أكثر قيمة بكثير من أي قدر من التعليمات المجردة أو التأمل الداخلي.
في المقابل، لم تحقق الاستراتيجيات الأكثر تعقيداً التي تتضمن توليد مسارات متعددة من التفكير الفوائد المتوقعة. فأحد الأساليب، الذي يطلب من النموذج توليد ثلاثة حلول مختلفة واختيار الإجابة الأكثر شيوعاً، فشل في التفوق على طريقة المثال الواحد. وبينما تُعرف هذه التقنية بقدرتها على مساعدة النماذج الأكبر والأقوى، وجدت الدراسة أنه بالنسبة لهذه الأنظمة الأصغر، فإن الجهد الإضافي لتوليد إجابات متعددة لم يترجم إلى تحسن موثوق إحصائياً في الصحة. وأشار الباحثون إلى أن النماذج لم ترتكب أخطاء متنوعة بما يكفي ليتمكن التصويت من تصحيحها، مما يعني أن قوة الحوسبة الإضافية المستهلكة في هذه الطريقة كانت ضائعة إلى حد كبير.
والأمر الأكثر إثارة للدهشة كان أداء استراتيجية "شجرة الأفكار" (tree-of-thought)، وهي طريقة معقدة يتم فيها تشجيع النموذج على استكشاف فروع مختلفة من التفكير، وتقييمها، والعودة إلى الوراء إذا أدى مسار ما إلى طريق مسدود. كانت هذه التقنية قد أظهرت سابقاً وعوداً كبيرة للألغاز الصعبة التي تتطلب التطلع إلى الأمام أو تجربة احتمالات متعددة. ومع ذلك، في هذه المسائل الحسابية البسيطة، لم يكن أداؤها أفضل من الطريقة الأساسية المتمثلة في مجرد الطلب من النموذج التفكير خطوة بخطوة دون أي أمثلة. وفي نموذجين من أصل ثلاثة تم اختبارهم، كان أداء هذه الطريقة البحثية المعقدة أسوأ من النهج القائم على الأمثلة البسيطة. وتشير الدراسة إلى أنه بالنسبة للمسائل الرياضية القصيرة والخطيّة، فإن العبء الناتج عن استكشاف فروع متعددة هو عبء لا تستطيع النماذج تبريره، حيث إن المسائل لا تتطلب نوع الاستكشاف العميق الذي توفره هذه الاستراتيجية.
تقدم هذه النتائج دليلاً عملياً لمستخدمي هذه التقنيات. إذ يشير البحث إلى أنه بالنسبة للنماذج الصغيرة مفتوحة المصدر التي تتعامل مع الحسابات القياسية، فإن المسار الأكثر فعالية ليس إضافة آليات تفكير أكثر تعقيداً أو إجبار النموذج على التفكير في اتجاهات متعددة. بدلاً من ذلك، فإن الطريقة الأكثر موثوقية لتعزيز الأداء هي استثمار الوقت في صياغة بضعة أمثلة عالية الجودة توضح الطريقة الصحيحة لحل المسألة. وبينما قد تبدو الأساليب الأكثر تطوراً وسيلة للحصول على نتائج أذكى، إلا أن البيانات تشير إلى أنها تضيف تكلفة ووقتاً كبيرين دون تقديم مكاسب مقابلة في الدقة لهذا النوع المحدد من المهام. وبالنسبة للممارسين الذين يتطلعون إلى نشر هذه النماذج بكفاءة، تخلص الدراسة إلى أن مثالاً واحداً جرى بناؤه جيداً يستحق أكثر بكثير من خوارزمية بحث معقدة.
ملخص تقني: هل يساعد المزيد من التداول؟
بيان المشكلة
بينما أظهرت تقنية "سلسلة الأفكار" (Chain-of-Thought - CoT) وتحسيناتها (zero-shot CoT، وfew-shot CoT، وself-consistency، وtree-of-thought) تحسينات كبيرة في القدرة على الاستنتاج في النماذج اللغوية الكبيرة (LLMs) ذات الأوزان المفتوحة والبارزة، إلا أن هناك نقصًا في الأدلة التجريبية المنضبطة فيما يتعلق بفعاليتها على النماذج الأصغر (3.8 إلى 8 مليار معلمة) ذات الأوزان المفتوحة والمضبوطة للتعليمات. ويسعى الممارسون بشكل متزايد لنشر هذه النماذج الأصغر لأسباب تتعلق بالتكلفة، وزمن الاستجابة، والخصوصية، ومع ذلك يظل من غير الواضح ما إذا كانت استراتيجيات التداول القائمة على البحث المعقدة (مثل self-consistency وtree-of-thought) تحتفظ بمزاياها مقارنة بطرق التلقين (prompting) الأبسط في هذه الفئة المحددة من النماذج. تعالج هذه الورقة هذه الفجوة من خلال تحديد ما إذا كان نموذج "المزيد من التداول" يترجم إلى مكاسب دقة ذات دلالة إحصائية للنماذج الصغيرة ذات الأوزان المفتوحة في مسائل الاستدلال الحسابي للمرحلة الابتدوية.
المنهجية
أجرى البحث مقارنة مضبوطة ومباشرة بين أربع استراتيجيات تلقين عبر ثلاثة نماذج شائعة الاستخدام من النماذج ذات الأوزان المفتوحة والمضبوطة للتعليمات: Mistral-7B-Instruct-v0.2، و Phi-3-mini-4k-instruct، و Meta-Llama-3-8B-Instruct.
مجموعة البيانات: مجموعة فرعية ثابتة ومختارة عشوائيًا مكونة من 100 سؤال من معيار GSM8K (مسائل لفظية حسابية للمرحلة الابتدوية). تم استخدام نفس الـ 100 عنصر لجميع مجموعات (النموذج-الاستراتيجية) لضمان النتوة المقترنة.
استراتيجيات التلقين:
Zero-shot CoT: إكمال جشع واحد (greedy completion) يتم تحفيزه بواسطة عبارة "Let's think step by step" دون أمثلة.
Few-shot CoT: إكمال جشع واحد مسبوق بمجموعة ثابتة من الأمثلة المكتوبة يدويًا والتي تتضمن حلولاً خطوة بخطوة.
Self-Consistency: مسارات استدلال مستقلة متعددة (k=3) يتم أخذ عينات منها باستخدام درجة حرارة (temperature) غير صفرية باستخدام تنبيه الـ few-shot، مع تحديد الإجابة النهائية عن طريق التصويت بالأغلبية.
Tree-of-Thought (ToT): يتم تفكيك المشكلة إلى خطوات وسيطة، مع توليد k=3 من فروع الاستدلال المرشحة التي يتم تجميعها عبر التصويت بالأغلبية، مما يحاكي هيكل البحث.
بروتوكول التقييم:
التسجيل: مطابقة عددية دقيقة مع الإجابة الذهبية لـ GSM8K.
التحليل الإحصائي: تم الإبلاغ عن الدقة مع فترات ثقة 95% (تقريب Wald). تم اختبار الفروق الزوجية باستخدام اختبار McNemar الدقيق على جداول النتائج المتضاربة لكل نموذج، وهو ما يعد مناسبًا لمقارنة الاستراتيجيات على نفس مجموعة الأسئلة.
عتبة الدلالة:α=0.05 (غير مصححة للمقارنات المتعددة، رغم ملاحظة استخدام تصحيحات Bonferroni المحافظة في القيود).
المساهمات الرئيسية
مقارنة منهجية: توفر أول مقارنة مضبوطة ومختبرة إحصائيًا لـ zero-shot CoT، وfew-shot CoT، وself-consistency، وToT تحديدًا على النماذج الصغيرة (3.8-8 مليار معلمة) ذات الأوزان المفتوحة والمضبوطة للتعليمات.
الدقة الإحصائية: تتجاوز مجرد تقدير الدقة النقطي عبر حساب فترات ثقة 95% وتطبيق اختبار McNemar الدقيق للتحقق من الفروق الزوجية، مما يعالج قيود الدراسات السابقة التي غالبًا ما اعتمدت على اختبارات غير مقترنة أو تقييمات أحادية النموذج.
تحليل مقايضة التكلفة والدقة: تقييم ما إذا كانت زيادة تكلفة الاستدلال للاستراتيجيات العشوائية (self-consistency وToT) تحقق مكاسب دقة موثوقة إحصائيًا مقارنة بالنماذج المرجعية الأبسط في سياق المسائل الحسابية القصيرة ذات المسار الواحد.
Few-Shot مقابل Zero-Shot: تفوقت استراتيجية few-shot CoT بشكل كبير على zero-shot CoT عبر جميع النماذج الثلاثة، حيث تراوحت مكاسب الدقة بين 12 إلى 39 نقطة مئوية (جميعها p<0.05). على سبيل المثال، تحسن نموذج Phi-3-mini من 46.0% (zero-shot) إلى 85.0% (few-shot).
Self-Consistency مقابل Few-Shot:لم توفر استراتيجية self-consistency مع k=3 من المسارات المأخوذة عينة أي تحسن ذي دلالة إحصائية مقارنة بـ single-sample few-shot CoT في أي نموذج (جميعها p≥0.83). كانت مكاسب الدقة ضئيلة (على سبيل المثال، 85.0% مقابل 86.0% لنموذج Phi-3-mini).
أداء Tree-of-Thought: أدى ToT أداءً أسوأ بكثير من few-shot CoT في نموذجين من النماذج الثلاثة (Phi-3-mini و Llama-3-8B، حيث p<0.0001) وكان لا يمكن تمييزه إحصائيًا عن نموذج zero-shot الأرخص بكثير في جميع النماذج الثلاثة. كانت دقات ToT (47.0%–54.0%) أقرب باستمرار إلى zero-shot CoT منها إلى few-shot CoT.
تباين النماذج: حقق Phi-3-mini-4k-instruct أعلى دقة مطلقة (85.0%–86.0% مع few-shot/self-consistency)، متفوقًا على نماذج أكبر مثل Llama-3-8B و Mistral-7B، مما يشير إلى أن جودة ضبط التعليمات وتنسيق البيانات قد تفوق عدد المعلمات في هذا النطاق.
الأهمية والادعاءات
تخلص الورقة إلى أنه بالنسبة لمهام الاستدلال الحسابي القصيرة ذات المسار الواحد على النماذج الصغيرة ذات الأوزان المفتوحة:
الأمثلة هي المهيمنة: وجود الأمثلة المشروحة (few-shot CoT) هو المحرك الأساسي لمكاسب الدقة. إن فائدة "التفكير خطوة بخطوة" وحدها (zero-shot) أقل بكثير من تقديم الأمثلة.
تكاليف التداول تفوق الفوائد: استراتيجيات التداول القائمة على البحث (ToT) وself-consistency ذات العينات المنخفضة (k=3) تضيف تكلفة استدلال كبيرة (توليدات متعددة لكل إجابة) دون تحقيق فائدة مقابلة وموثوقة إحصائيًا في الدقة.
عدم التوافق بين المهمة والاستراتيجية: يشير فشل ToT إلى أن آليات البحث الهيكلي والتراجع (backtracking) الخاصة به غير ملائمة للمسائل الحسابية الخطية التي لا تتطلب بطبيعتها استكشاف مسارات حل بديلة.
يؤكد المؤلف أنه بالنسبة للممارسين الذين ينشرون نماذج بـ 4-8 مليار معلمة لمهام الاستدلال المباشرة، فإن استثمار الجهد في بناء أمثلة few-shot عالية الجودة يوفر مقايضة أفضل للدقة مقابل التكلفة مقارنة بتنفيذ آليات معقدة وقت التوليد (decoding-time) مثل self-consistency أو tree-of-thought.
القيود
يقر المؤلف بوجود بعض القيود:
حجم العينة: يؤدي استخدام 100 عنصر إلى فترات ثقة واسعة واحتمالية اكتشاف تأثيرات أصغر قد تكون منخفضة، خاصة في نموذج Mistral-7B.
عدد العينات: استخدمت تجارب self-consistency وToT قيمة k=3، وهي أقل من الـ 10-40 مسارًا المستخدمة عادة في الأدبيات لتحقيق المكاسب المسجلة؛ وبالتالي فإن النتيجة الصفرية لـ self-consistency محددة بميزانية أخذ العينات المتواضعة هذه.
خصوصية المجال: تقتقت النتائج بـ GSM8K الحسابي. قد يظل ToT مفيدًا في المجالات التي تتطلب بحثًا حقيقيًا أو تراجعًا (مثل التخطيط أو الألغاز التوليفية).
حساب التكلفة: لا تحدد الدراسة تكاليف الرموز (tokens) أو زمن الاستجابة، رغم أنها تشير إلى أن الاستراتيجيات العشوائية هي بطبيعتها أكثر تكلفة.