تخيل أنك مدير مكتبة ضخمة، وفي كل يوم، يقدم آلاف الأشخاص قصصاً كتبوها. مهمتك هي قراءتها، وتحديد الأفضل منها، ومنحها جوائز. في عالم الذكاء الاصطناعي، هذا هو بالضبط ما يحدث عندما تحاول الحواسيب تقييم حواسيب أخرى. نحن نسمي هذا "النموذج اللغوي الكبير كحكم" (LLM-as-a-judge)، حيث يقرأ ذكاء اصطنا-عي فائق الذكاء إجابتين ويختار الفائز. لقد أصبح هذا هو المعيار لاختبار مدى جودة نماذج الذكاء الاصطناعي. لكن هناك مشكلة كبيرة: طلب من ذكاء اصطناعي فائق الذكاء قراءة كل قصة أمر مكلف للغاية، وبطيء، وأحياناً يخترع الذكاء الاصطناعي أسباباً لخياراته لا معنى لها في الواقع. الأمر يشبه استئجار ناقد مشهور وغالي الثمن لقراءة كل كتاب في المكتبة؛ في النهاية، ستنفد أموالك، ولن تتمكن حتى من معرفة ما إذا كان الناقد عادلاً أم أنه يمر بيوم سيء فقط.

هنا يأتي دور الورقة البحثية الجديدة. فقد طرح الباحثون سؤالاً بسيطاً: بدلاً من استئجار الناقد المشهور لقراءة كل كتاب، ماذا لو طلبنا من الناقد كتابة كتاب قواعد مرة واحدة، ثم تركنا فريقاً من الروبوتات السريعة والرخيصة تقرأ الكتب بناءً على تلك القواعد؟ هم يسمون هذا "تقطير البرامج" (program distillation). فبدلاً من دفع تكلفة الذكاء الاصطناعي الفائق للتفكير في كل مرة، تعلمونه كتابة مجموعة من التعليمات (برنامج حاسوبي) يمكنها القيام بالتحكيم فوراً. إنه يشبه تحويل طاهٍ بشري بطيء وغالي الثمن إلى محمصة خبز آلية سريعة تصنع توست مثالياً في كل مرة، طالما أنك أعطيتها الوصفة الصحيحة. تُظهر الورقة البحثية أن هذه الطريقة الجديدة ليست فقط أسرع وأرخص بكثير، بل هي أيضاً أكثر صدقاً في كيفية اتخاذ قراراتها، لأن يمكنك فعلياً قراءة الكود البرميدي لترى بالضبط لماذا اختارت فائزاً.

الفكرة الكبرى للورقة البحثية: تحويل العقل إلى صندوق أدوات

يتصدى مؤلفو هذه الورقة، تزو-هينغ هوانغ، وشينغكي كيو، وفريدريك سالا من جامعة ويسكونسن-ماديسون، لمشكلة "التكلفة العالية وعدم الشفافية" في تحكيم الذكاء الاصطناعي. إنهم يقترحون نظاماً يسمى PAJAMA (التقييم الآلي للنماذج عبر البرامج - Program-As-a-Judge Automated Model Assessment). فكر في PAJAMA ليس كحكم واحد، بل كورشة عمل تبني فيها فريقاً كاملاً من الأدوات المتخصصة للقيام بالتقييم.

إليك كيف يحدث السحر، خطوة بخوة:

1. "تفريغ الدماغ" لمرة واحدة
عادةً، عندما تريد من ذكاء اصطناعي أن يحكم على زوج من الإجابات، يتعين عليك إرسال السؤال والإجابات إلى الذكاء الاصطناعي في كل مرة. هذا يكلف مالاً ويستغرق وقتاً. يغير PAJAMA قواعد اللعبة. فبدلاً من طلب الحكم على كل إجابة من الذكاء الاصطنا، يطلبون منه كتابة برنامج (قطعة من الكود) يعرف كيفية التحكيم.
تخيل أن لديك ناقداً فنياً عبقرياً ولكنه بطيء. بد instead من طلب النظر في 10,000 لوحة واحدة تلو الأخرى، تطلب منه كتابة دليل لروبوت. يقول الدليل أشياء مثل: "إذا كانت اللوحة تحتوي على سماء زرقاء، امنحها 5 نقاط. إذا كانت السماء فوضوية، اخصم نقطتين". بمجرد أن يكتب الناقد هذا الدليل، لا تعود بحاجة إليه. أنت فقط تقوم بتشغيل الروبوت. تُظهر الورقة أن الذكاء الاصطناعي يمكنه كتابة هذه "أدلة التحكيم" (البرامج) التي تجيد بشكل مدهش رصد الأخطاء المنطقية، أو التحقق مما إذا كانت القصة منطقية، أو رؤية ما إذا كانت الإجابة قصيرة جداً.

2. لجنة الروبوتات
قد يكون أحد الروبوتات سيئاً في الرياضيات ولكنه بارع في القواعد. والآخر قد يكون بارعاً في رصد الأكاذيب ولكنه سيئ في الأسلوب. لذا، لا يصنع PAJAMA برنامجاً واحداً فحسب؛ بل يصنع لجنة كاملة منها. يطلبون من الذكاء الاصطناعي كتابة العديد من البرامج المختلفة، بحيث ينظر كل منها إلى الإجابة من زاوية مختلفة قليلاً.
للتأكد من أن هذه الروبوتات لا تقول جميعها الشيء نفسه (مما سيكون مملاً وغير مفيد)، يعطي الباحثون لكل منها "معايير" أو قوائم مراجعة مختلفة. روبوت واحد يتحقق من التدفق المنطقي، وآخر يتحقق من اتساق الموضوع، وآخر يتحكم في التنسيق. إنه يشبه وجود لجنة من الحكام حيث يوجد معلم قواعد، وبروفيسور منطق، ومدرب أسلوب.

3. مفتاح "الثقة"
أحياناً، حتى لجنة الروبوتات قد ترتبك. ربما تكون الإجابتان متشابهتين جداً لدرجة أن الروبوتات لا تستطيع القرار. هنا يصبح PAJAMA ذكياً. لديه "مقياس ثقة". إذا كانت الروبوتات متأكدة، فإنها تعلن عن الفائز فوراً. ولكن إذا كانت غير متأكدة، أو إذا امتنعوا جميعاً (أي قالوا "لا أعرف")، فإن PAJAMA لديه خطة بديلة. فهو يرسل تلك الحالات الصعبة إلى حكم الذكاء الاصطناعي الفائق والغالي (LLM) خصيصاً لتلك الأسئلة المحددة.
هذا يشبه حارس الأمن في متحف. إذا بدا الزائر طبيعياً، يسمح له الحارس بالمرور فوراً. ولكن إذا بدا شخص ما مريباً، يتصل الحارس بالمدير ليلقي نظرة أوضح. بهذه الطريقة، أنت تدفع للمدير الغالي فقط للحالات الصعبة، مما يوفر الكثير من المال في الحالات السهلة.

ما وجدوه: سريع، رخيص، وذكي بشكل مفاجئ

اختبر الباحثون هذا النظام على خمس مجموعات بيانات ومن أربع عائلات مختلفة من نماذج الذكاء الاصطناعي. وإليكم ما اكتشفوه:

• السرعة هي الملك: المحكمون البرمجيون سريعون للغاية. يمكنهم معالجة الإجابات أسرع بـ 47.25 مرة من حكم الذكاء الاصطناعي القياسي. بينما قد يستغرق حكم الذكاء الاصطناعي العادي ثانية أو ثانيتين للتفكير، تقوم هذه البرامج بذلك في لمح البصر لأنها مجرد تشغيل لقواعد رياضية ومنطقية بسيطة، وليست محاولة "للتفكير" كالبشر.
• الدقة عالية: على الرغم من أنها سريعة ورخيصة، إلا أنها لا تزال جيدة جداً. طابقت لجنة البرامج دقة نموذج ذكاء اصطناعي كبير بـ 13 مليار معلمة (نموذج ذكي جداً) في المتوسط. وفي بعض الحالات، كان فريق من 8 برامج فقط بدقة نموذج بـ 7 مليارات معلمة.
• اختراق "جبهة باريتو" (Pareto Frontier): في العلم، "جبهة باريتو" هي أفضل توازن ممكن بين شيئين، مثل السرعة والدقة. عادةً، إذا أردت المزيد من السرعة، ستفقد الدقة. يكسر PAJAMA هذه القاعدة. من خلال استخدام البرنامج للتعامل مع الأشياء الساسية، والذكاء الاصطناعي للتعامل مع الأشياء الصعبة، وجدوا نقطة مثالية حيث حصلوا على دقة أعلى وسرعة أعلى في آن واحد. على سبيل المثال، عند اقترانه بنموذج ذكاء اصطناعي معين، حسن الدقة بنسبة 5% بينما كان أسرع بـ 3 مرات تقريباً.
• تدريب أرخص: استخدموا أيضاً هذه البرامج لتدريب نماذج ذكاء اصطنا أخرى (عملية تسمى "تقطير نموذج المكافأة"). وجدوا أن استخدام أحكام البرامج لتعليم ذكاء اصطناعي جديد كان أرخص بـ 50 مرة من استخدام ذكاء اصطناعي شهير وغالي الثمن للقيام بالتعليم. النموذج الجديد الذي تدرب على بيانات البرنامج الرخيص كان يؤدي بشكل جيد، أو حتى أفضل، من النموذج الذي تدرب على البيانات الغالية.
• الصدق والتحيز: أحد المشاكل الكبيرة في حكام الذكاء الاصطناعي هو أنهم قد يكونون منحازين. قد يحبون الإجابات الطويلة لمجرد أنها طويلة، أو قد يفضلون الإجابات ذات التنسيق الفاخر. ولأن حكام PAJAMA هم في الواقع برامج حاسوبية، يمكنك رؤية ما يفعلونه بالضبط. إذا كان البرنامج منحازاً للإجابات الطويلة، يمكنك ببساطة فتح الكود، والعثور على السطر الذي يقول "أضف نقاطاً للطول"، وحذفه. أظهرت الورقة أنه من خلال "معايرة" (إصلاح) البرامج، تمكنوا من تقليل هذه التحيزات بشكل كبير، مما جعل التحكيم أكثر عدلاً.

لماذا هذا مهم

تجادل الورقة بأننا لسنا بحاجة للاستمرار في دفع فواتير ضخمة لجعل الذكاء الاصطناعي يحكم الذكاء الاصطناعي. من خلال تحويل جزء "التفكير" لدى الحاكم إلى مجموعة من القواعد القابلة لإعادة الاستخدام والشفافة، يمكننا جعل التقييم قابلاً للتوسع. إنه يحول "الصندوق الأسود" (حيث لا نعرف لماذا اتخذ الذكاء الاصطناعي قراراً) إلى عملية واضحة وقابلة للفحص.

يلاحظ المؤلفون بعناية أن هذا ليس عصا سحرية تستبدل جميع حكام الذكاء الاصطناعي. فأحياناً، تكون المشكلات معقدة للغاية بالنسبة للقواعد البسيطة، ولهذا السبب يحتفظون بالذكاء الاصطناعي الغالي كخطة احتياطية للحالات الصعبة. ولكن بالنسبة للغالبية العظمى من مهام التحكيم اليومية، يقدم نهج "تقطير البرامج" هذا طريقة للحصول على نتائج عالية الجودة دون التكلفة العالية، والبطء، والتحيزات الخفية للطرق الحالية. إنه تحول من مطالبة العبقري بالقيام بكل العمل، إلى تعليم العبقري كيفية بناء فريق من العمال الفعالين.