Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
تجادل الورقة البحثية بأنه مع تحسن النماذج اللغوية الكبيرة، غالبًا ما يؤدي أسلوب "سلسلة الأفكار" (Chain-of-Thought) القائم على التلقين بلقطات قليلة (few-shot) إلى إعاقة الأداء من خلال فرض قيود تشتت الانتباه تتعلق بالتنسيق والأسلوب، مما يجعل أساليب "الصفر لقطة" (zero-shot) البسيطة أكثر فعالية في مهام الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيفية حل لغز. لفترة طويلة، كانت الطريقة المثلى للقيام بذلك هي عرض مجموعة من الأمثلة على الروبوت حيث يكتب الإنسان كل خطوة من خطوات تفكيره، مثل وصفة مفصلة. هذه الطريقة، التي تسمى "سلسلة الأفكام" (Chain-of-Thought prompting)، كانت تشبه إعطاء الروبوت دليلاً تدريبياً يقول: "أولاً، افعل هذا. ثم، افعل ذاك. وأخيراً، إليك الإجابة". لقد حققت هذه الطريقة نتائج مذهلة مع الروبوتات الأقدم والأبسط التي كانت تميل إلى تخمين الإجابة دون تفكير.
لكن الآن، قمنا ببناء روبوتات أكثر ذكاءً وتطوراً. هذه النماذج الجديدة قد قرأت الكثير من الكتب وحلت الكثير من الألغاز بمفردها، لذا بدأت تفكر بشكل طبيعي خطوة بخدوه، حتى لو لم تعطِها دليلاً. لديها بوصلة داخلية للمنطق. السؤال الكبير الذي يسأله العلماء هو: إذا كان الروبوت يعرف بالفعل كيف يفكر، فهل لا يزال بحاجة إلينا لنمسك بيده عبر وصفة مفصلة؟ أم أن تلك الوصفة في الواقع تعيقه وتشتت ذهنه بكثرة القواعد حول كيفية كتابة أفكاره؟ يبحث هذا البحث في هذا السؤال تحديداً ليرى ما إذا كانت طرق التدريس القديمة لدينا تعيق طلابنا الجدد والأكثر ذكاءً الآن.
الروبوت "المُوجَّه أكثر من اللازم": عندما يضر الكثير من المساعدة
في هذه الدراسة، قرر الباحثون اختبار بعض أذكى روبوتات حل الرياضيات المتاحة حالياً. أرادوا معرفة ما إذا كانت الطريقة القديمة المتمثلة في عرض الأمثلة (التحفيز بعدد قليل من الأمثلة - few-shot prompting) لا تزال هي الطريقة الأفضل للحصول على إجابات جيدة، أم أنها في الواقع تجعل أداء الروبوتات أسوأ.
فكر في الأمر بهذه الطريقة: تخيل أنك طاهٍ ماهر طبخ لسنوات عديدة. أنت تعرف تماماً كيف تصنع "سوفليه" مثالياً دون وصفة. الآن، تخيل أن شخصاً ما سلمك ملاحظة لاصقة تقول: "أولاً، اكسر البيض. ثم، اخفقه. ثم، اخبزه عند درجة حرارة 350"، وأصر على أن تتبعها بدقة. قد تشعر بالانزعاج، أو قد تركز بشدة على اتباع الملاحظة بدقة لدرجة أنك تنسى غرائزك في الطبخ. قد تفسد الطبخة حتى بسبب انشغالك بالتعليمات.
وجد الباحثون أن هذا هو بالضبط ما يحدث مع الذكاء الاصطناعي الحديث. فعندما طلبوا من هذه النماذج المتقدمة "المتخصصة في التفكير المنطقي" حل مسائل رياضية باستخدام الطريقة القياسية — أي عرض بعض الأمثلة لكيفية حل البشر لمسائل مشابهة — كان أداء النماذج أسوأ.
على سبيل المثال، لنأخذ نموذجاً يسمى Mathstral. عندما ترك الباحثون النموذج يحل المسائل بمفرده دون أي أمثلة (منهج "الصفر محاولة" أو zero-shot)، نجح في حل حوالي 83.8% من الإجابات بشكل صحيح. ولكن عندما أعطوه "الدليل التدريبي" القياسي الذي يحتوي على أمثلة كتبها البشر، انخفضت درجته إلى حوالي 74.2%. هذا فرق هائل! يبدو الأمر وكأن الروبوت كان مشغولاً جداً بمحاولة تقليد أسلوب وتنسيق الأمثلة لدرجة أنه نسي القيام بالرياضيات فعلياً.
يشير البحث إلى أن هذا يحدث لأن الأمثلة القياسية تجبر الروبوت على تكييف أسلوبه ليتناسب مع أمثلة البشر. عليه أن يهتم بالتنسيق، واتباع هياكل جمل محددة، والاندراج داخل قالب لم يُصمم له. هذا يخلق مقايضة بين "التوجيه والتشتت". فالتوجيه (الأمثلة) من المفترض أن يساعد، ولكنه بالنسبة لهذه النماذج فائقة الذكاء، يصبح تشتتاً يسحب تركيزهم بعيداً عن المهمة الأساسية وهي حل المشكلة.
خدعة "دعنا نفكر": لا تزال مفيدة، لكن سحرها قلّ
اختبر الباحثون أيضاً خدعة أبسط تسمى "Zero-Shot CoT". وهي حيث لا تعرض أي أمثلة على الإطلاق، بل تكتفي بإضافة عبارة "دعنا نفكر خطوة بخطوة" إلى السؤال.
بالنسبة للروبوتات الأقدم ذات الأغراض العامة (مثل نموذج Llama)، كانت هذه الخدعة مفيدة جداً، حيث عززت درجاتهم بشكل كبير، وكأنها دفعة لطيفة لإيقاظ مهارات التفكير لديهم. ومع ذلك، بالنسبة للنماذج المتخصصة في التفكير المنطقي، أعطت هذه الخدعة دفعة بسيطة فقط. فقد ارتفعت نسبة Mathstral من 83.8% إلى 86.1%.
يجادل المؤلفون بأن هذا بسبب أن هذه النماذج بارعة بالفعل في التفكير خطوة بخطوة، لذا فهي لا تحتاج إلى تلك الدفعة كما في السابق. هم يشبهون ذلك بالأيام الأولى لعلوم الحاسوب، حيث كان المهندسون مضطرين لتصميم كل ميزة في البرنامج يدوياً. وفي النهاية، أصبحت الحواسيب ذكية بما يكفي لتعلم تلك الميزات بنفسها، مما جعل التصميم اليدوي غير ضروري. يشير البحث إلى أن عبارة "دعنا نفكر خطوة بخطوة" أصبحت تشبه تلك الميزات اليدوية القديمة: كانت أساسية في السابق، لكنها الآن مجرد إضافة صغيرة لا تغير الكثير.
لماذا تفشل الطريقة القديمة
كانت واحدة من أكثر النتائج إثارة للدهشة هي أنه حتى عندما حاول الباحثون حل المشكلة باستخدام أمثلة أنشأتها النماذج نفسها (بحيث يتطابق الأسلوب)، لم يتفوق ذلك على منهج "لا أمثلة" البسيط بالنسبة لأذكى النماذج.
لقد تبين أن المشكلة ليست فقط في كون الأمثلة من صنع البشر؛ بل تتعلق بـ هيكل الأمثلة. فمن خلال إجبار النموذج على اتباع نمط معين، أنت تقيد قدرته الطبيعية على حل المشكلة بالطريقة التي تناسبه. ينفي البحث صراحة فكرة أن تقديم المزيد من الأمثلة أو اختيار أمثلة "أفضل" سيحل هذه المشكلة للنماذج المتخصصة في التفكير المنطقي. في الواقع، وجدوا أنه بالنسبة لأكثر النماذج تقدماً، كلما حاولت توجيههم بالأمثلة، زاد احتمال حرمانهم من قدراتهم.
الخلاصة: ثق بغرائز الروبوت
إذن، ماذا يعني هذا لمستقبل اختبار الذكاء الاصطناعي؟ يقترح المؤلفون أننا بحاجة إلى تغيير كيفية قياس هذه النماذج. لفترة طويلة، كان الاختبار القياسي هو عرض بضعة أمثلة على النموذج ورؤية مدى قدرته على تقليدها. لكن هذا البحث يظهر أنه بالنسبة لأحدث النماذج وأكثرها ذكاءً، فإن هذا الاختبار غير عادل. إنه يشبه اختبار سائق سيارة سباق بجعله يقود في منطقة مدرسية ذات سرعة محددة؛ فهذا لا يظهر سرعته الحقيقية.
بدلاً من ذلك، يجادل الباحثون بأنه يجب علينا فقط طرح الأسئلة على النماذج مباشرة، دون أي أمثلة أو تعليمات خاصة، ورؤية ما ستنتجه بمفردها. هذا المنهج (الصفر محاولة) يعطي صورة حقيقية لما يمكن للنموذج فعله حقاً.
لا يدعي البحث أن "سلسلة الأفكام" قد ماتت للأبد. فقد تظل مفيدة للنماذج الأبسط أو لمهام محددة يحتاج فيها النموذج إلى القليل من المساعدة. ولكن بالنسبة للعمالقة — النماذج المصممة خصيصاً للتفكير المنطقي — فإن الطريقة القديمة في تعليمهم أصبحت تشتيتاً. ومع زيادة ذكاء هذه النماذج، فإنها تحتاج إلى توجيه أقل وحرية أكبر للتفكير بأنفسها. إن أفضل طريقة لمعرفة مدى ذكائهم الحقيقي قد تكون ببساطة في التوقف عن إمساك أيديهم وتركهم يحلون اللغز بطريقتهم الخاصة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.