HarnessOpt-Bench: Evaluating LLMs at Harness Optimization
تقدم هذه الورقة HarnessOpt-Bench، وهو معيار مرجعي جديد صُمم لتقييم قدرة النماذج اللغوية الكبيرة الرائدة على تحسين أطر العمل الوكيلة (بما في ذلك المطالبات، والأدوات، وكود التنسيق) بشكل تكراري تحت قيود الموارد، مما يثبت أن قدرة التحسين هذه هي مهارة متميزة وقابلة للقياس مع وجود مجال كبير للتحسين.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقل روبوت عبقري وفائق الذكاء. يمكن لهذا العقل كتابة الأكواد، وحل المسائل الرياضية، والإجابة على الأسئال. لكن هذا العقل لا يعمل في فراغ؛ بل يحتاج إلى "حزام" (harness). فكر في الحزام كأنه درع الروبوت، ودليل التعليمات الخاص به، ولوحة التحكم الخاصة به، وكل هذه الأشياء مجتمعة في آن واحد. إنه الكود الذي يخبر العقل كيف يستخدم أدواته، وماذا يتذكر، وكيف يتواصل مع العالم الخ ngoài. تماماً كما تحتاج سيارة السباق إلى سائق بارع و محرك مضبوط بدقة لتفوز، يحتاج الذكاء الاصطناوي الذكي إلى عقل ذكي و حزام رائع ليعمل بشكل جيد. وأحياناً، يمكن لنفس العقل أن يكون عبقرياً في "بدلة" معينة، ومبتدئاً أخرق في أخرى.
وهنا يأتي السؤال الكبير: هل يمكننا تعليم الذكاء الاصطناعي إصلاح بدلته بنفسه؟ هل يمكن للذكاء الاصطناعي أن ينظر إلى حزامه، ويدرك أنه غير متقن، ثم يعيد كتابة الكود ليجعله أكثر ذكاءً؟ يُسمى هذا "تحسين الحزام" (harness optimization). الأمر يشبه إلى حد ما مطالبة طاهٍ ليس فقط بطهي وجبة، بل أيضاً بإعادة تصميم المطبخ، وشحذ السكاكين، وإعادة كتابة كتاب الوصفات أثناء قيامه بالطهي، وكل ذلك دون معرفة كيف سيتذوق الحكام الطبق النهائي حتى النهاية تماماً. هذا تحدٍ هائل لأن إصلاح البدلة أمر مكلف وصعب؛ إذ يتعين عليك تخمين ما سينجح دون رؤية النتيجة النهائية، وعليك القيام بذلك قبل أن تنفد "الطاقة" (أو في هذه الحالة، وقت الكمبيوتر والمال).
هذا هو بالضبط ما سعى الباحثون في Scale AI لاختباره من خلال تجربة جديدة تسمى HarnessOpt-Bench. لقد بنوا ساحة لعب خاصة وآمنة حيث تعمل نماذج ذكاء اصطناعي مختلفة من الطراز الرفيع كـ "محسنات" (optimizers). مهمتهم؟ أخذ وكيل ذكاء اصطناوي أساسي، بسيط وغير متقن (الـ "seed")، وقراءة الكود الخاص به، ومحاولة تحسينه. التحدي هو أن المحسن لديه ميزانية صارمة: يمكنه فقط إجراء عدد محدود من الاختبارات ليرى ما إذا كانت تغييراته قد نجحت. يحصل المحسن على تلميحات من بعض عمليات الاختبار (التطوير والتحقق)، لكن الدرجة الحقيقية النهائية تظل مخفية حتى يقدم أفضل نسخة لديه.
أراد الباحثون معرفة ما إذا كانت نماذج الذكاء الاصطناعي هذه يمكنها بالفعل أن تصبح أفضل في هذه المهمة. أجروا 111 تجربة مختلفة باستخدام خمسة من أذكى نماذج الذكاء الاصطناعي المتاحة اليوم، واختبروها بطريقتين: مرة باستخدام "مجموعة أدوات" مشتركة ومعيارية (حزام برمجي شائع)، ومرة باستخدام مجموعات الأدوات الأصلية المدمجة الخاصة بكل نموذج. وقاسوا النجاح بمدى تحسن أداء الوكيل مقارنة بالنسخة الأصلية غير المتقنة.
إليكم ما وجدوه، وهو أمر مثير للدهشة نوعاً ما. أولاً، نماذج الذكاء الاصطناعي نفسها تهم كثيراً أكثر من مجموعة الأدوات التي تستخدمها. كان الفرق في الأداء بين النموذج الأذكى والنموذج الأقل ذكاءً ضخماً — أكبر بمرتين تقريباً من الفرق الناتج عن تغيير مجموعة الأدوات. هذا يشير إلى أن "العقل" هو النجم الحقيقي، وليس مجرد "البدلة" التي يرتديها.
ثانياً، امتلاك مجموعة أدوات أصلية وفاخرة لم يضمن الفوز. قد تعتقد أن الذكاء الاصطناعي سيسجل أفضل النتائج باستخدام أدواته المخصصة والمبنية خصيصاً له، لكن النتائج كانت مختلطة. أحياناً ساعدت مجموعة الأدوات الأصلية، وأحياناً لم تساعد، وأحياناً كانت مجموعة الأدوات المعيارية هي الأفضل. لم يكن هناك "أفضلية الأرض" بشكل ثابت.
ثالثاً، الطريقة التي بحثت بها نماذج الذكاء الاصطناعي عن الحلول كانت مهمة. النماذج التي حاولت العبث بقطع أكثر من الكود (مثل الأوامر البرمجية "prompts"، أو الذاكرة، أو قواعد إعادة المحاولة، أو الأدوات) كانت تميل للحصول على نتائج أفضل. ومع ذلك، لم تقضِ نماذج الذكاء الاصطناعي وقتاً طويلاً في قراءة "تقارير الفشل" التفصيلية (الآثار/traces) لما سار بشكل خاطئ. لقد نظرت في الغالب إلى الدرجات النهائية فقط. وهذا يشير إلى أنه بالنسبة لهذه المهام، كان النظر إلى الصورة الكبيرة أكثر فائدة من الهوس بكل خطأ صغير.
أخيراً، كانت نماذج الذكاء الاصطناعي متفائلة للغاية في كثير من الأحيان. الدرجات التي رأوها أثناء البحث (في الاختبارات التجريبية) كانت عادة أعلى من الدرجات التي حصلوا عليها في الاختبار النهائي المخفي. هذا يعني أن نماذج الذكاء الاصطناعي ظنت أحياناً أنها وجدت حلاً مثالياً، ولكن عندما رأى الحكام الحقيقيون ذلك، لم يكن الأمر جيداً تماماً.
باختختصار، تُظهر هذه الورقة البحثية أن تحسين الحزام هو مهارة حقيقية وقابلة للقياس يمتلكها نماذج الذكاء الاصطناعي المتطورة، لكنها لا تزال تتعلم كيفية القيام بذلك باستمرار. يمكن لأفضل النماذج تحسين أداء الوكيل بشكل كبير، لكنها ليست مثالية بعد. إنها بحاجة لتعلم كيف تكون أقل ثقة بالنفس، ورب الله قراءة تقارير الفشل بتمعن أكثر. الخلاصة؟ نحن نتحرك نحو مستقبل لا يقوم فيه الذكاء الاصطناعي بالمهام فحسب، بل يتعلم أيضاً بناء نسخ أفضل من نفسه، لكننا لا نزال أمام طريق طويل قبل أن يتمكن من فعل ذلك بشكل موثوق دون مساعدة بشرية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.