تخيل عالماً نبني فيه مساعدين رقميين—وكلاء أذكياء يمكنهم حجز الرحلات الجوية، أو تسوق الملابس، أو كتابة الأكواد البرمجية عبر التحدث مع الحواسيب والمواقع الإلكترونية. هؤلاء الوكلاء يزدادون براعة في الظهور بمظهر الواثق والمهذب. لكن الجزء الصعب هنا هو: كيف نعرف ما إذا كانوا قد أنجزوا المهمة حقاً، أم أنهم قدموا فقط قصة منمقة ومقنعة حول إنجازها؟ في الماضي، كان علينا التحقق من كل مهمة يدوياً، مثل معلم يصحح كل مقال بيده. ولكن الآن، هناك عدد كبير جداً من الوكلاء لدرجة لا تسمح بالتحقق من كل واحد منهم على حدة. لذا بدأ العلماء باستخدام ذكاء اصطناعي ثانٍ ليعمل كـ "قاضٍ" لتقييم الوكيل الأول. هذا يشبه توظيف معلم آلي لتصحيح عمل روبوت آخر. المشكلة هي أن هؤلاء المعلمين الآليين غالباً ما يسهل خداعهم. فهم يعشقون القصص الجيدة؛ فإذا كتب الوكيل تقريراً طويلاً، وسلساً، ويبدو واثقاً، ولكنه في الواقع فشل في حجز الرحلة، فقد يمنحه القاضي درجة "امتياز" لمجرد أن أسلوب الكتابة كان رائعاً. وهذا أمر خطير لأن معناه أننا قد نطلق برمجيات معطلة تبدو مثالية على الورق لكنها تنهار في الواقع.

يقدم هذا البحث طريقة جديدة وذكية لتدريب هؤلاء القضاة الآليين ليتوقفوا عن الوقوع في فخ "المتحدث اللبق". فبدلاً من مجرد إخبار القاضي بما يجب أن يبحث عنه باستخدام كتاب قواعد عام، أو تعديل "دماغ" القاضي (وهو أمر مكلف وصعب الفهم)، ابتكر المؤلفون طريقة تسمى RUBRICFORGE. فكر في الأمر كمدرب يدرب شريكاً جديداً له؛ فبدلاً من مجرد إعطاء الشريك قائمة من القواعد، يعرض عليه مجموعة صغيرة من الحالات الحقيقية حيث يعرف تماماً من نجح في الإفلات ومن لم ينجح. ثم يطلب المدرب من شريكه كتابة مجموعة جديدة من القواعد بناءً على تلك الحالات المحددة، ويستمران في صقل تلك القواعد حتى يتمكن الشريك من كشف المزيفين بشكل مثالي. النتيجة هي مجموعة من التعليمات المكتوبة بلغة إنجليزية بسيطة يتبعها القاضي. والمفاجأة الكبرى؟ هذه الطريقة لا تجعل القاضي يتفق مع "الحقيقة" أكثر في الأسئلة البسيطة (نعم/لا)، بل تجعله أفضل بكثير في كشف نوع الخطأ الذي يهم حقاً: وهو منح درجة نجاح لفشل بدا في ظاهره ممتازاً.

قصة الروبوت "المتحدث اللبق"

في عالم الذكاء الاصطناعي، لدينا هذه "الوكلاء" الذين يعملون كأعضاء رقميين. يحاولون القيام بمهام مثل شراء قميص أو إصلاح خطأ برمي. ولرؤية ما إذا كانوا قد قاموا بعمل جيد، نستخدم عادةً "الحقيقة الأرضية" (ground truth)—وهي مفتاح إجابة مثالي وغير قابل للتغيير. على سبيل المثال، إذا كان من المفترض أن يشتري الوكيل قميصاً أحمر، فإن الحقيقة الأرضية هي فحص قاعدة البيانات: "هل تمت إضافة قميص أحمر إلى عربة التسوق؟"

لكن فحص قاعدة البيانات هذه بطيء، أو مكلف، أو مستحيل أحياناً إذا كانت المهمة تتضمن أموالاً حقيقية أو إجراءات خطيرة. لذلك، نستخدم ذكاءً اصطناعياً ثانياً، "القاضي"، لينظر في محادثة الوكيل ويخمن ما إذا كان قد نجح. المشكلة هي أن هؤلاء القضاة منحازون. إنهم مثل معلم يعطي درجة "امتياز" لطالب كتب مقالاً جميلاً ولكنه أخطأ في الرياضيات. هم يفضلون الإجابات السلسة، والواثقة، والطويلة، حتى لو فشلت المهمة الفعلية. وهذا ما يسمى "الإفراط في التقدير" (over-crediting). إنه قاتل صامت لأنك إذا اعتقدت أن وكيلك يعمل لأن القاضي قال "ناجح"، بينما هو في الواقع معطل، فقد تطلقه للجمهور وتتسبب في كارثة.

الحل: RUBRICFORGE

أراد المؤلفون، دارا كوين وفريقه، إصلاح هذا الأمر. لم يرغبوا فقط في كتابة كتاب قواعد أفضل يدوياً (وهو أمر بطيء وقد يغفل عن أشياء)، أو إعادة تدريب دماغ القاضي (وهو أمر مكلف ويخلق "صندوقاً أسود" لا يمكن فهمه). بدلاً من ذلك، اخترعوا RUBRICFORGE.

إليك كيف يعمل، خطوة بخطوة:

1. ساحة التدريب: يأخذون مجموعة صغيرة من محاولات الوكيل الحقيقية حيث يعرفون بالفعل النتيجة الحقيقية ("الحقيقة الأرضية"). بعضها نجح، وبعضها فشل.
2. التطور: يستخدمون عملية تسمى "التطور التأملي" (reflective evolution). تخيل روبوتاً يحاول كتابة كتاب قواعد. يكتب مسودة، يختبرها على الحالات المعروفة، ويرى أين أخطأ. ثم ينظر إلى الأخطاء ويسأل نفسه: "لماذا أخطأت في هذا؟ ما هو الدليل الحقيقي الذي فاتني؟" ثم يعيد كتابة كتاب القواعد لإصلاح ذلك الخطأ المحدد. يفعل ذلك مراراً وتكراراً، ليصبح أكثر ذكاءً مع كل محاولة.
3. التجميد: بمجرد أن يصبح كتاب القواعد مثالياً للحالات التدريبية، يقومون بـ "تجميده". هم لا يغيرون دماغ القاضي على الإطلاق؛ بل يعطونه فقط هذه المجموعة الجديدة والمحددة للغاية من التعليمات.
4. الاختبار: يستخدمون هذا القاضي "المجمد" على محاولات وكلاء جديدة لم يسبق رؤيتها. ولأن القاضي يتبع كتاب قواعد نصي، فإنه في كل مرة يعطي فيها درجة، يمكنه الإشارة بدقة إلى القاعدة التي استخدمها. إنه نظام شفاف.

ما وجدوه: اكتشاف "صعوبة الخداع"

كانت النتائج رائعة ومثيرة للدهشة وتتعارض مع التوقعات. كان المؤلفون صادقين جداً بشأن ما وجدوه وما لم يجدوه.

أولاً، تحققوا مما إذا كان القاضي الجديد يتفق مع "الحقيقة" بشكل أكبر من القاضي العام التقليدي. وكانت الإجابة: ليس حقاً. في اختبار بسيط للنجاح/الفشل، كانت الطريقة الجديدة والطريقة القديمة متساويتين تقريباً. يذكر البحث صراحة أن الفرق في الاتفاق العام لم يكن ذا دلالة إحصائية. بمعنى آخر، إذا سألت فقط: "هل اتفقوا مع مفتاح الإجابة؟"، فإن الطريقة الجديدة لم تحقق انتصاراً واضحاً.

ومع ذلك، كان الفوز الحقيقي في السلامة. يركز البحث على نوع محدد من الأخطاء وهو: النجاح الزائف (False Pass). وهذا يحدث عندما يقول القاضي "نجاح" لوكيل قد فشل فعلياً. هذا هو الخطأ الخطير لأنه يؤدي لإطلاق برمجيات معطلة.

• القاضي العام التقليدي أعطى "نجاح" للوكلاء الفاشلين بنسبة 17.3% تقريباً (على مجموعة بيانات $\tau$-bench).
• أما قاضي RUBRICFORGE الجديد، فقد أعطى "نجاح" للوكلاء الفاشلين بنسبة 11.5% فقط تقريباً.

هذا انخفاض كبير. لقد كشفت الطريقة الجديدة عن ثلاث حالات محددة حيث تم خداع القاضي القديم بـ "قصة منمقة"، بينما قال القاضي الجديد "فشل" بشكل صحيح. والأهم من ذلك، أن القاضي الجديد لم يرتكب أي خطأ لم يرتكبه القاضي القديم بالفعل؛ بل اكتشف المزيد من الأخطاء فقط. إنه "أصعب في الخداع".

فخ "الفشل المنمق"

يسلط البحث الضوء على أن هذه الميزة تظهر عندما يكون الوكيل "بليغاً"؛ أي عندما يتحدث كثيراً ويبدو واثقاً جداً.

• في مجال "الطيران" (وهي مهمة صعبة)، تعرض القاضي القديم للخداع بنسبة 43.8% في المحاولات الفاشلة.
• بينما تعرض القاضي الجديد للخداع بنسبة 25.0% فقط.
  وكان هذا واضحاً بشكل خاص للوكلاء الذين يستخدمون استراتيجية "التطور الذاتي" والتي تكتب تقارير طويلة ومفصلة. كان القاضي القديم يعشق التقارير الطويلة؛ أما القاضي الجديد فكان ينظر إلى الأدلة ويرى الفشل.

كما نظر البحث في الدرجات "المُقيّمة" (مثل درجة من 0 إلى 100). هنا، كانت الطريقة الجديدة أفضل في الترتيب (معرفة أي وكيل أفضل من الآخر)، لكن الطريقة القديمة كانت أفضل قليلاً في إعطاء الرقم الدقيق. يشير المؤلفون بحذر إلى أنه: إذا كنت بحاجة لمقارنة الوكلاء لمعرفة من هو الأفضل، فاستخدم الطريقة الجديدة. أما إذا كنت بحاجة إلى درجة دقيقة لتقرير ما، فقد تكون الطريقة القديمة أكثر دقة قليلاً.

لماذا يهم هذا؟

إن أهم استنتاج هو التحول في كيفية قياس النجاح. يجادل البحث بأنه بالنسبة لوكلاء الذكاء الاصطناعي، الهدف ليس الاتفاق مع الحقيقة، بل الأمانة (Faithfulness). فالقاضي الذي يتفق مع الحقيقة بنسبة 90% ولكنه يغفل عن الـ 10% من الوكلاء المعطلين الذين يبدون مثاليين هو قاضٍ عديم الفائدة. أما القاضي الذي يكشف هؤلاء الوكلاء المعطلين، حتى لو كان أقل كمالاً في أمور أخرى، فهو آمن للاستخدام.

من خلال ربط قواعد القاضي بأمثلة حقيقية مصنفة للفشل، خلق المؤلفون نظاماً يقاوم فخ "قانون جودهارت" (حيث يؤدي تحسين مقياس ما إلى جعل المقياس عديم الفائدة). هم لم يجعلوا القاضي أذكى فحسب، بل جعلوه أكثر أمانة. النتيجة النهائية؟ الطريقة الجديدة أصعب في الخداع منها في الاتفاق مع الحقيقة، وهذا هو بالضبط ما نحتاجه للوثوق بوكلائنا في عالم الذكاء الاصطناعي في الواقع.