Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents
تقدم هذه الورقة Harness-IF، وهو معيار مرجعي جديد يقيم قدرات اتباع التعليمات الحقيقية لوكلاء البرمجة عبر أسطح متنوعة من خلال التمييز بين الامتثال الحقيقي والمصادفة باستخدام مقياس جديد يسمى دقة المناهضة للمسبقات (AP-Acc)، مما يكشف أن المعايير المرجعية الحالية تبالغ في تقدير الأداء وأن أولوية القواعد لا تتبع بدقة عمق المطالبة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً طباخاً كيفية طهي وجبة معقدة. أنت لا تكتفي بمجرد الصراخ بأمر واحد مثل "اصنع المعكرونة!" في النهاية، بل لديك مجموعة كاملة من التعليمات: كتاب قواعد معلق على الحائط (التعليمات البرمجية للنظام - system prompt)، وملاحظة على بطاقة الوصفة (ملف المشروع - project file)، ووصف لكيفية عمل السكين (وصف الأداة - tool description)، وأخيراً طلبك المحدد للطباخ (تعليمات المستخدم - user instruction). لفترة طويلة، كان العلماء الذين يختبرون هؤلاء الطهاة الآليين يهتمون بشيء واحد فقط: هل قدم الطاهي المعكرونة؟ إذا بدا الطبق جيداً، كانوا يمنحونه نجمة ذهبية. لكنهم لم يتحققوا أبداً من أي التعليمات استمع إليها الطاهي بالفعل. ربما تجاهل الطاهي كتاب القواعد الذي ينص على "لا ثوم" لأنه صادف أنه يحب المعكرونة بدون ثوم على أي حال. هذا هو الركن الشائك في الذكاء الاصطناي الذي نستكشفه: اتباع التعليمات (Instruction Following). الأمر لا يتعلق فقط بالحصول على الإجابة الصحيحة؛ بل يتعلق بإثبات أن الروبوت اتبع القواعد المحددة التي أعطيتها إياها، حتى عندما تتعارض تلك القواعد مع ما كان سيفعله الروبوت بشكل طبيعي.
هذه الورقة البحثية، التي تحمل عنوان "Harness-IF"، تشبه وكالة تحريات للطهاة الآليين. أدرك الباحثون أن الاختبارات الحالية كانت سهلة للغاية لأنها كانت تنظر فقط إلى الطب النهائي. أرادوا معرفة ما إذا كان الروبوت يطيع القواعد حقاً أم أنه مجرد محظوظ. لذا، قاموا ببناء اختبار جديد فائق التفصيل يسمى Harness-IF. بدلاً من مجرد السؤال "هل صنعت المعكرونة؟"، وضعوا 60 سيناريو برمجي واقعي حيث كان على الذكاء الاصطناعي اتباع 256 قاعدة صغيرة مختلفة. كانت هذه القواعد مخبأة في أماكن مختلفة في "عقل" الروبوت—بعضها في تعليمات النظام، وبعضها في ملفات المشروع، وبعضها في أوصاف الأدوات، وبعضها في دردشة المستخدم المباشرة.
إليك المفاجأة الكبرى التي وجدها المحققون: نماذج الذكاء الاصطناعي أفضل بكثير في اتباع القواعد التي تتوافق مع ما كانوا سيفعلونه على أي حال من القواعد التي تخالف عاداتهم الطبيعية. يطلق الباحثون على هذا اسم اختبار "ضد المسبقات" (Against-Prior). وجدوا أنه عندما تجبر قاعدة ما الذكاء الاصطناعي على القيام بشيء مختلف عن سلوكه الافتراضي، ينخفض معدل نجاح الذكاء الاصطناعي بشكل كبير. في المتوسط، كانت النماذج أسوأ بنسبة 5.8 نقطة مئوية في اتباع القواعد التي تخالف طبيعتها. إنه يشبه طالباً يحصل على درجة امتياز في اختبار الرياضيات لأنه يحب الرياضيات، ولكنه يحصل على درجة "مقبول" عندما يطلب منه المعلم حل مسألة باستخدام طريقة يكرهها. تشير الورقة إلى أنه إذا نظرنا فقط إلى الدرجة النهائية (نجاح المهمة)، فإننا نخدع أنفسنا بالاعتقاد بأن الطالب عبقري في الرياضيات، بينما قد يكون مجرد مستفيد من موهبته الطبيعية.
كما درست الدراسة أين توضع القواعد. قد تعتقد أن القاعدة التي تُقال أخيراً (تعليمات المستخدم) ستكون الأكثر أهمية، مثل الشخص الذي يتحدث آخراً في الاجتماع وعادة ما يكون هو صاحب الكلمة الأخيرة. لكن البيانات أظهرت شيئاً مختلفاً. فقد تساوت القواعد الموجودة في تعليمات النظام، وملفات المشروع، وتعليمات المستخدم في الأهمية، بينما تم تجاهل القواعد المدفونة في أوصاف الأدوات أو وصف المهارات في كثير من الأحيان. يبدو أن الذكاء الاصطناعي ينتبه لقواعد "الصورة الكبيرة" أكثر من التفاصيل الدقيقة لكيفية عمل أداة معينة.
باختصار، لا تدعي هذه الورقة أنها حلت مشكلة جعل الذكاء الاصطناعي مثالياً، بل إنها تقدم لنا مسطرة أفضل لقياس مدى قدرة الذكاء الاصطناعي على الاستماع فعلياً. إنها تظهر لنا أن نماذج الذكاء الاصطناعي الحالية بارعة في فعل ما تريد فعله، لكنها لا تزال تعاني عندما نطلب منها فعل شيء لن تختاره بشكل طبيعي. ومن خلال الفصل بين "الامتثال الناتج عن الحظ" و"الطاعة الحقيقية"، يأمل الباحثون في بناء اختبارات أفضل لجعل مساعدي الذكاء الاصطناعي لدينا أكثر موثوقية، وليس فقط أكثر نجاحاً في المظهر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.