Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B
تُثبت هذه الورقة أنه عبر مختلف النماذج مفتوحة المصدر (من 1.5 إلى 7 مليارات معلمة) واختبارات الرياضيات المرجعية، يتفوق أخذ العينات المتكرر باستمرار على أساليب الصقل الذاتي والتفكير المعقد أو يضاهيها عند تقييمها بتكلفة رموز متساوية، مما يكشف أن المكاسب الظاهرية للأخيرة تنبع غالباً من زيادة حجم التوليد بدلاً من استراتيجيات التفكير المتفوقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تجربة تعزيز ذكاء الـ AI العظيم
تخيل أن لديك طالباً ذكياً جداً ولكنه مشتت الذهن قليلاً. تعطيه مسألة رياضية صعبة، فيحاول حلها. أحياناً يصيب، وأحياناً يخطئ. في عالم الذكاء الاصطناعي، يحاول الباحثون اكتشاف كيفية جعل هؤلاء "الطلاب" (الذين يُطلق عليهم نماذج اللغات الكبيرة) يفكرون بشكل أفضل دون إعادة بنائهم من الصفر. الفكرة الشائعة هي أن تطلب من الذكاء الاصطناعي أن "يفكر بجهد أكبر". وهذا يعني مطالبته بالتخطيط لخطواته، أو مجادلة نفسه، أو نقد أخطائه، أو إعادة كتابة إجاباته قبل تسليمها. الأمر يشبه قولك لطالب: "لا تكتب الإجابة فحسب؛ بل اكتب مقالاً كاملاً عن سبب اعتقادك بأن هذه الإجابة صحيحة، وراجع عملك، وربما حاول مرة أخرى".
السؤال الكبير هو: هل كل ذلك التفكير الإضافي يساعد حقاً، أم أنه مجرد إضاعة للوقت؟ المفهوم الأساسي هنا هو الرموز (Tokens). فكر في الرموز كأنها "الكلمات" أو "وحدات الجهد" التي يبذلها الذكاء الاصطناعي. في كل مرة يكتب فيها الذكاء الاصطناعي كلمة، فإنه يستهلك رمزاً. إذا جعلت طريقة ما الذكاء الاصطناعي يكتب 1,000 كلمة لحل مسألة يمكن حلها في 100 كلمة، فقد استهلك عشرة أضعاف الجهد. الجدل العلمي يدور حول ما إذا كان هذا الجهد الإضافي يأتي من الاستراتيجية (مثل النقد الذاتي) أو ببساطة من حقيقة أنه تمكن من كتابة كلمات أكثر. إذا أعطيت طالباً عشرة أضعاف الورق، فقد يحصل على درجة أفضل لمجرد أن لديه مساحة أكبر للمحاولة، وليس لأنه أصبح أذكى فجأة. تهدف هذه الورقة البحثية إلى اختبار ذلك بالضبط: عندما تعطي الاستراتيجيات المختلفة نفس القدر من الورق (الرموز)، أي واحدة ستفوز حقاً؟
الورقة البحثية: عينات أكثر، تأمل أقل
هذه الورقة البحثية، بعنوان "عينة أكثر، تأمل أقل" (Sample More, Less Reflection)، هي تجربة ضخمة مصممة لحسم الجدل حول ما إذا كان الذكاء الاصطناعي بحاجة إلى "التأمل" في عمله ليصبح أكثر ذكاءً. أخذ الباحثون سبع طرق مختلفة شائعة تجعل الذكاء الاصطناعي "يفكر بجهد أكبر" — بما في ذلك الطرق التي تجعل الذكاء الاصطناعي ينقد نفسه، أو يجادل نسخاً من نفسه، أو يحاول اختيار أفضل إجابة من قائمة — ووضعوها في مواجهة طريقة أساسية بسيطة ومملة: أخذ العينات المتكرر (Repeated Sampling).
الطريقة الأساسية تشبه رمي عملة معدنية عشر مرات واختيار الجانب الذي يظهر أكثر تكراراً. في مصطلحات الذكاء الاصطناعي، يعني هذا طرح نفس السؤال عشر مرات وأخذ الإجابة الأكثر شيوعاً فقط. حرص الباحثون على أن تستخدم كل طريقة نفس عدد الرموز (الكلمات المولدة) لتكون أرضية المنافسة متكافئة تماماً. وقد اختبروا ذلك على ثلاثة أحجام مختلفة من نماذج الذكاء الاصطناعي (1.5 مليار، 3 مليارات، و7 مليارات بارامتر) باستخدام معيارين للرياضيات (GSM8K و MATH-500) مع 150 سؤالاً لكل منهما.
النتيجة الكبرى:
كانت النتائج مفاجئة. في معظم الحالات، الخصائص "المتطورة" التي جعلت الذكاء الاصطناعي "يتأمل" أو "ينتقد" أو "يجادل" خسرت أمام الطريقة البسيطة المتمثلة في طرح السؤال عدة مرات وعدّ الأصوات.
عندما نظر الباحثون عن كثب في سبب خسارة الطرق المتطورة، وجدوا نمطاً واضحاً. الطرق التي طلبت من الذكاء الاصطناعي الحكم على عمله (مثل إعادة كتابة إجابته أو اختيار "الأفضل" من قائمة) كانت تؤدي باستمرار أداءً أسوأ من الطريقة الأساسية. على سبيل المثال، في نموذج الـ 1.5 مليار بارامتر الصغير، سجلت طريقة تسمى "Best-of-N" (حيث يختار الذكاء الاصطناعي الأفضل من بين 8 إجابات) درجات أقل بنحو 8 إلى 11 نقطة مئوية من مجرد عد الإجابات الأكثر شيوعاً بين تلك المحاولات الثمانية نفسها. وحتى في نموذج الـ 7 مليارات بارامتر الأكبر، اختفت الفجوة: أصبح الفرق غير قابل للتمييز إحصائياً عن الصفر، مما يعني أن "القاضي" لم يعد أسوأ بوضوح من "العداد"، ولم يعد العقاب (النقص في الأداء) قابلاً للتمييز عن الصفر.
تستبعد الورقة البحثية صراحةً فكرة أن "التفكير بجهد أكبر" من خلال التأمل الذاتي هو المكون السحري. بدلاً من ذلك، تقترح أن إنفاق الرموز على محاولة أخرى هو استثمار أفضل من إنفاقها على التصحيح الذاتي — عند كل حجم اختبره الباحثون. إذا كان لديك ما يكفي من الرموز لكتابة مقال نقدي طويل حول إجابتك، فمن الأفضل استخدام تلك الرموز لكتابة إجابتين أو ثلاث إجابات مستقلة وجديدة واختيار الإجابة الأكثر شيوعاً بينها فقط.
طريقة "الشبح" ودرس "الحجم يفرق"
كان الجزء الأكثر إثارة للدهشة والكشف في التجربة يتعلق بطريقة تسمى Reflexion. تعمل هذه الطريقة كما يلي: يحاول الذكاء الاصطناعي حل مسألة، ثم يسأل نفسه: "هل أصبت في هذا؟". إذا كانت الإجابة "لا"، يحاول مرة أخرى. إذا كانت الإجابة "نعم"، يتوقف.
وجد الباحثون خللاً مضحكاً في أصغر نموذج (1.5B). في هذا النموذج الصغير جداً، لم يقل الذكاء الاصطناعي "لا" أبداً. لقد حكم على كل إجابة من إجاباته الأولى بأنها "صحيحة"، حتى عندما كانت خاطئة. لذا، لم تفعّل طريقة Reflexion آلية إعادة المحاولة فعلياً. لقد انهارت الطريقة بصمت وتحولت إلى محاولة واحدة رخيصة. ولأنها كانت رخيصة (لم تستهلك رموزاً إضافية)، فقد بدت وكأنها تؤدي جيداً مقارنة بالطرق المكلفة. ولكن عندما أجبر الباحثون الذكاء الاصطناعي على إعادة المحاولة ثلاث مرات بغض النظر عما يعتقده، انخفض الأداء بشكل كبير، مما أثبت أن آلية "التأمل" نفسها كانت تضر بالنتيجة في الواقع.
مع زيادة حجم النماذج (من 1.5B إلى 7B)، بدأت الفجوة بين "عد الأصوات" و"ترك الذكاء الاصطناعي يحكم" تتقلص. عند 7 مليارات بارامتر، أصبح الذك- الاصطناعي جيداً بما يكفي للحكم بحيث توقف عن كونه ضاراً؛ حيث أصبح الفرق غير قابل للتمييز عن الصفر. ومع ذلك، تشير الورقة إلى أنه حتى عند هذا الحجم، لم يكن الذكاء الاصطناعي أفضل في الحكم من عملية عد الأصوات، بل كان فقط قد توقف عن كونه أسوأ. يقترح الباحثون أنه لكي يتفوق الذكاء الاصطناعي حقاً على طريقة "عد الأصوات" البسيطة، فقد يحتاج إلى التدريب خصيصاً ليكون "قاضياً"، وليس مجرد مطالبته بالحكم أثناء العمل.
ماذا يعني هذا للمستقبل
تخلص الورقة برسالة قوية لأي شخص يبني هذه الأنظمة: لا تعقد الأمور. إذا كان لديك ميزانية من الرموز (الكلمات) لإنفاقها، فإن الطريقة الأكثر كفاءة للحصول على إجابة صحيحة هي غالباً توليد محاولات مختلفة والاعتماد على رأي الأغلبية، بدلاً من مطالبة الذكاء الاصطناعي بنقد وإعادة كتابة عمله.
كما يحذر المؤلفون من أن بعض الطرق قد تبدو جيدة على الورق ولكنها تفشل في الممارسة العملية لأنها "تخفي" تكلفتها الحقيقية. إذا قرر النظام بنفسه متى يتوقف (مثل Reflexion)، فقد يتوقف فوراً ويوفر المال، مما يجعله يبدو فعالاً، لكنه لا يقوم في الواقع بالعمل المصمم لأجله.
في النهاية، تشير هذه الدراسة إلى أنه بالنسبة للمسائل الرياضية ذات الإجابات الواضحة (صح أو خطأ)، فإن "سحر" التأمل الذاتي هو أسطورة — على الأقل بالنسبة للنماذج التي تم اختبارها حتى الآن. الأداة الأقوى ليست استراتيجية أذكى؛ بل هي ببساطة المحاولة مرات أكثر. وكما قال الباحثون، فإن إنفاق الرموز لإعادة النظر في إجابة هو استخدام أسوأ لها من إنفاق نفس الرموز في محاولة أخرى. الذكاء الاصطناعي لا يحتاج لأن يُطلب منه التفكير بجهد أكبر؛ هو فقط يحتاج لمنحه فرصاً أكثر للمحاولة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.