When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning
تتحدى هذه الدراسة التجريبية الافتراض القائل بأن التلقين بسلسلة الأفكار (CoT) يعزز قدرات الاستنتاج في النماذج اللغوية الكبيرة بشكل عالمي، مظهرةً بدلاً من ذلك أن فاعليته تتحدد بـ "عنق زجاجة العمق التسلسلي"، حيث يعمل التلقين بسلسلة الأفكار على استعادة الأداء بشكل كبير في المهام ذات العمق العالي عبر تجاوز حدود السعة أحادية الممر، بينما لا يقدم فائدة تذكر أو أي فائدة للمهام الضحلة التي تندرج بالفعل ضمن تلك السعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول حل أحجية صور مقطوعة (jigsaw puzzle) ضخمة، لكن لا يُسمح لك إلا بالنظر إلى مربع صغير جداً من الطاولة في كل مرة. إذا كانت الأحجية بسيطة، مثل فرز مكعبات حمراء وزرقاء، يمكنك القيام بذلك بسهولة. ولكن إذا كانت الأحجية تتطلب تذكر سلسلة طويلة من الأدلة -مثل "المكعب الأحمر يوضع هنا، مما يعني أن المكعب الأزرق يوضع هناك، مما يعني أن المكটে الملون يوضع هنا"- فقد تضيع. هذه هي المعاناة اليومية للذكاء الاصطناعي الحديث، وتحديداً نوع يسمى نماذج اللغات الكبيرة (LLMs). هذه العقول الاصطناعية ذكية للغاية، لكن لديها قصور غريب: عندما تحاول حل مشكلة ما، فإنها تحاول عادةً إخراج الإجابة النهائية في دفعة واحدة ضخمة وفورية، دون كتابة خطوات تفكيرها.
لطالما تساءل العلماء عما إذا كان جعل هذا الذكاء الاصطناعي "يفكر بصوت عالٍ" (تقنية تسمى "سلسلة الأفكار" أو Chain-of-Thought) يساعده في حل الألغاز الأكثر صعوبة. السؤال الكبير هو: هل يساعد التحدث عبر الخطوات في حل كل المشكلات، أم فقط المشكلات المعقدة حقاً؟ لفهم ذلك، نحتاج إلى معرفة شيئين. أولاً، تمتلك نماذج الذكاء الاصطناعي "عرض نطاق ترددي للذاكرة" (memory bandwidth)، وهو يشبه ممرًا ضيقًا يجب عليهم نقل المعلومات من خلاله. إذا كانت المشكلة طويلة ومعقدة للغاية، ينسد الممر وينسى الذكاء الاصطناعي الخطوات الوسطى. ثانياً، "سلسلة الأفكار" تشبه إعطاء الذكاء الاصطناعي ورقة مسودة. بدلاً من محاولة الاحتفاظ بالأحجية بأكملها في رأسه، فإنه يكتب كل خطوة، ويقرأها مرة أخرى، ثم يواصل العمل. يبحث هذا البحث فيما إذا كانت ورقة المسودة هذه هي عصا سحرية تصلح كل شيء، أم أنها مجرد أداة لمهام محددة وشاقة.
قرر الباحث وراء هذه الدراسة اختبار فكرة شائعة: وهي أن إعطاء الذكاء الاصطناعي "دفتر ملاحظات" (سلسلة الأفكار) يجب أن يساعده في حل المسائل الرياضية الصعبة متعددة الخطوات، ولكنه قد يكون عديم الفائدة أو حتى مزعجاً للأسئلة البسيطة القائمة على الحقائق. لقد عاملوا نماذج الذكاء الاصطناعي كعدائين في سباق، حيث أعطوهم طريقتين مختلفتين للجري: إحداهما حيث يتعين عليهم الركض مباشرة نحو خط النهاية دون توقف (بدون ورقة مسودة)، والأخرى حيث يمكنهم التوقف، وكتابة الملاحظات، ثم الجري (سلسلة الأفكوت). اختبروا ذلك على ثلاثة نماذج مختلفة من الذكاء الاصطناعي بأحجام متفاوتة وخمسة أنواع من التحديات، تتراوح من المعادلات الرياضية المعقدة إلى اختبارات المعرفة العامة ومهام البرمجة.
ما وجدوه كان انقساماً مثيراً للاهتمام في النتائج. بالنسبة للمسائل الرياضية الصعبة متعددة الخطوات (مثل تلك الموجودة في معايير GSM8K و MATH)، كانت "ورقة المسودة" بمثابة منقذ للحياة. عندما أُجبر الذكاء الاصطناعي على التفكير خطوة بخطوة، ارتفعت دقة إجاباته بشكل هائل. على سبيل المثال، في أحد الاختبارات الرياضية، قفز أصغر نموذج من الحصول على 16.8% فقط من الإجابات الصحيحة إلى 84.3% صحيحة بمجرد السماح له بكتابة أفكاره. هذا تحسن هائل، مما يشير إلى أنه بالنسبة للتفكير العميق والمعقد، يحتاج الذكاء الاصطناعي حقاً إلى تلك المساحة الإضافية للعمل.
ومع ذلك، كانت القصة مختلفة تماماً بالنسبة للأسئلة البسيطة القائمة على الحقائق (مثل تلك الموجودة في معايير MMLU و ARC). هنا، وجد الباحث أن إجبار الذكاء الاصطناعي على "التفكير بصوت عالٍ" لم يساعد على الإطلاق. أدى الذكاء الاصطناعي أداءً متماثلاً تقريباً سواء سُمح له بكتابة الملاحظات أم لا. وفي بعض الحالات، كان التحسن ضئيلاً جداً (أقل من 5%) لدرجة أنه كان صفراً تقريباً. هذا يشير إلى أنه بالنسبة للأسئلة التي تعتمد على الذاكرة أو الحقائق البسيطة، لا يحتاج الذكاء الاصطناعي إلى ورقة مسودة؛ فهو يمتلك بالفعل ما يكفي من القدرة الذهنية لحلها في خطوة واحدة. كما تم اختبار فكرة أن "التفكير بصوت عالٍ" قد يضر بالأداء في المهام البسيطة، لكن البيانات أظهرت أنه لم يضر حقاً؛ بل لم يحدث فرقاً فحسب.
كان هناك التواء مثير للاهتمام يتعلق بمهام البرمجة (HumanEval). النتائج هنا اعتمدت كلياً على مدى "كبر" حجم الذكاء الاصطناعي. حصل أكبر نموذج ذكاء اصطناعي على دفعة هائلة من استخدام ورقة المسودة، حيث زادت نسبة إجاباته الصحيحة بنسبة 23.2%. وحصل النموذج متوسط الحجم على دفعة صغيرة. لكن أصغر نموذج أصبح في الواقع أسوأ عند إجباره على التفكير بصوت عالٍ، حيث انخفضت دقته بنسبة تقارب 29%. هذا يشير إلى أنه بالنسبة لعقول الذكاء الاصطناعي الصغيرة جداً، قد يكون محاولة كتابة الخطوات عملاً شاقاً للغاية، مما يؤدي إلى تعثرهم في خطواتهم.
تحقق الباحث أيضاً مما إذا كان الذكاء الاصطناعي يقوم فقط بـ "الاستدعاء" عن طريق حفظ الإجابات من بيانات تدريبه. لقد اختبروا ذلك عن طريق استبدال الأرقام في المسائل الرياضية بأسماء ورموز وهمية. وحتى مع هذه التغييرات، ظل الذكاء الاصطناعي بحاجة إلى ورقة المسودة لحل المسائل بشكل صحيح، مما يثبت أنه كان يقوم بعمليات حسابية فعلاً وليس مجرد استدعاء إجابة محفوظة.
في النهاية، يخبرنا هذا البحث أن "سلسلة الأفكار" ليست علاجاً سحرياً لكل شيء. إنها أداة متخصصة. فهي تعمل كـ "تجاوز لعرض النطاق الترددي"، مما يسمح للذكاء الاصطناعي بحل المشكلات التي تكون أعمق وأكثر تعقيداً من عقله الذي يعمل بمسار واحد. ولكن بالنسبة للمشكلات التي هي بالفعل سطحية أو بسيطة، فإن هذه الأداة زائدة عن الحاجة. ويخلص الباحث إلى أننا لا ينبغي أن نفترض أن الذكاء الاصطناعي يحتاج إلى "التفكير" في كل سؤال؛ فأحياناً، يكون من الأفضل تركه يجيب مباشرة، وفي أحيان أخرى، يكون إعطاؤه ورقة مسودة هو السبيل الوحيد للحصول على الإجابة الصحيحة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.