في عالم الذكاء الاصطناعي، تُحدث ثورة هادئة تحولاً في كيفية تقييم الخبراء للآلات التي تكتب الأكواد، وتحل المشكلات، وتولد النصوص. لسنوات، ركزت الصناعة على سؤال واحد: ما مدى ذكاء النموذج؟ وقد قاس الباحثون ذلك من خلال النظر إلى أفضل إجابة ممكنة يمكن للآلة إنتاجها أو متوسط درجاتها في اختبار ما. يفترض هذا النهج أنه إذا تمكن النموذج من تقديم الإجابة الصحيحة مرة واحدة، فإنه يُعد ناجحاً. ومع ذلك، بالنسبة لأي شخص يحاول استخدام هذه الأدوات في أعمال هندسية حقيقية، فإن هذا المقياس يغفل العامل الأكثر أهمية. فالأداة التي تعمل بشكل مثالي نصف الوقت وتفشل فشلاً ذريعاً في النصف الآخر هي أداة عديمة الفائدة لبناء أنظمة موثوقة، حتى لو كانت لحظاتها الأفضل عبقرية. إن التوجه الجديد لا يتعلق بمدى ارتفاع القفزة التي يمكن للآلة القيام بها، بل بمدى قدرتها على الهبوط على قدميها باستمرار. هذا التحول ينقل التركيز من القدرة الخام إلى الدقة، متسائلاً ليس فقط عما إذا كانت الآلة تستطيع القيام بالمهمة، بل عما إذا كان بإمكانها القيام بنفس المهمة بنفس الطف الطريقة في كل مرة تُطلب منها.

يجادل جورج أندريكوبولوس، وهو باحث مستقل مقيم في لندن، بأن الطريقة الحالية لمقارنة أنظمة الذكاء الاصطناعي تقيس الشيء الخطأ. ويرى أنه بينما أصبحت النماذج الأكثر تقدماً دقيقة للغاية — بمعنى أن متوسط مخرجاتها يصيب الهدف — إلا أنها لم تصبح دقيقة (precise) بعد بالمعنى المقصود. الدقة، في هذا السياق، تشير إلى مدى تماسك وتجمع النتائج عند تكرار الطلب نفسه عدة مرات. تخيل أنك تطلب من آلة حل مشكلة هندسية محددة عشر مرات؛ النظام الدقيق سيعطيك إجابة صحيحة ومنطقية تسع أو عشر مرات. أما النظام غير الدقيق، فقد يعطيك إجابة صحيحة خمس مرات، لكنه في المرات الخمس الأخرى قد ينتج شيئاً غريباً، أو معطلاً، أو غير ذي صلة تماماً. تحتفل الصناعة حالياً بأفضل محاولة، لكن الأشخاص الذين يبنون باستخدام هذه الأدوات يحتاجون إلى معرفة طبيعة "المجموعة". فإذا كانت الطلقات مشتتة، فإن الأداة غير موثوقة، بغض النظر عن مدى جودة مركز المجموعة.

ولحل هذه المعضلة، طور أندريكوبولوس طريقة بسيطة لقياس هذا الاتساق دون الاعتماد على أنظمة تقييم معقدة ودائرية. وبدلاً من الطلب من ذكاء اصطناعي آخر تقييم العمل، مما قد يؤدي إلى إدخال أخطاء خاصة به، تستخدم هذه الطريقة مهاماً ذات نتائج ثنائية واضحة: هل يعمل الكود البرمجي (compile)، وهل تجتاز الاختبارات، وهل يتحقق نوع الملف بشكل صحيح؟ هذه حقائق يمكن للحاسوب التحقق منها دون أي تخمين. تتضمن العملية أخذ مجموعة صغيرة من هذه المهام القابلة للتحقق وتشغيلها مرات عديدة على نسخة جديدة من النموذج في كل مرة. ومن خلال حساب عدد المرات التي ينجح فيها النموذج مقابل عدد المرات التي يفشل فيها، يمكن للباحثين رؤية شكل النتائج. فإذا نجح النموذج في كل مرة، أو فشل في كل مرة، فهو دقيق. أما إذا نجح في نصف المرات وفشل في النصف الآخر، فهو مشتت وغير قابل للتنبؤ.

تقدم الورقة البحثية قاعدة قرار واضحة بناءً على هذه القياسات. فإذا فشل النموذج باستمرار وبنفس الطريقة، فإنه يشكل "مجموعة متماسكة" لكنها منحرفة عن المركز فقط. وهذه مشكلة جيدة لأنها تعني أن بإمكان المشغل البشري كتابة قاعدة محددة لإصلاح الخطأ، مما يؤدي فعلياً إلى "ضبط sights (أدوات التصويب) الآلة". ومع ذلك، إذا فشل النموذج بطرق مختلفة عديدة، فإن المجموعة تكون مشتتة. وفي هذه الحالة، لن يجدي أي قدر من كتابة القواعد نفعاً، لأن الأخطاء عشوائية. والحل الوحيد للمجموعة المشتتة هو تغيير النموذج نفسه أو تعديل كيفية توليد إجاباته. هذا التمييز حيوي لأنه يخبر المهندسين ما إذا كان ينبغي عليهم قضاء الوقت في كتابة تعليمات للآلة أم ينبغي عليهم ببساطة الانتقال إلى آلة أخرى.

توضح تجربة من العالم الحقيقي قوة هذا النهج. أخذ الباحثون مجموعة محددة من مهام البرمجة وشغلوها خمس مرات على نموذج رائد دون أي تعليمات خاصة. فشل النموذج في اجتياز مهمة تحقق محددة في كل مرة. ولأنه فشل بنفس الطريقة تماماً في كل مرة، عرف الباحثون أنه خطأ ثابت وليس خللاً عشوائياً. قاموا بتحليل الفشل ووجدوا أن الآلة ترتكب خطأً منطقياً محدداً عند التعامل مع الأرقام الكبيرة جداً. كتبوا قاعدة واحدة بسيطة لتصحيح هذا المنطق، وعندما قاموا بتشغيل المهام الخمس نفسها مع وجود القاعدة الجديدة، نجح النموذج في كل مرة. قفز معدل النجاح من صفر إلى مائة بالمائة. أثبت هذا أن الآلة كانت دقيقة بما يكفي ليتم إصلاحها؛ كانت فقط بحاجة إلى ضبط أدوات التصويب الخاصة بها.

كما كشفت الدراسة عن حد مفاجئ لمدى إمكانية تحسين هذه الأنظمة باستخدام القواعد المكتوبة. حاول الباحثون إنشاء مجموعة جديدة من مهام الاختبار بناءً على القواعد التي كتبوها أنفسهم، آملين في قياس القيمة التي تضيفها تلك القواعد. ووجدوا أن النماذج الأكثر تقدماً كانت بالفعل قادرة جداً لدرجة أنها تتبع هذه الممارسات الجيدة بشكل طبيعي دون أن تُؤمر بذلك. لقد اجتازت النماذج هذه الاختبارات "القائمة على القواعد" بشكل مثالي حتى بدون التعليمات الإضافية. وهذا يعني أنه بالنسبة للأخطاء الأكثر شيوعاً، فقد تعلمت الآلات الانضباط من تلقاء نفسها. لذا، فإن القيمة الحقيقية لكتاب القواعد ليست في تعليم الآلة ما تعرفه بالفعل، بل في إيجاد الفجوات النادرة والمخفية حيث لا تزال الآلة مشتتة أو تفشل باستمرار. هذه الفجوات لا يمكن التنبؤ بها مسبقاً؛ بل يجب العثور عليها من خلال قياس العمل الفعلي للآلة.

في نهاية المطاف، يغير هذا البحث مسار الحديث عن الذكاء الاصطناعي من منافسة حول من هو الأذكى إلى تقييم عملي لمن هو الأكثر موثوقية. لقد قضت الصناعة سنوات في بناء لوحات صدارة تصنف النماذج حسب ذروة أدائها، لكن تلك التصنيفات لا تخبر المستخدم ما إذا كانت الأداة ستعمل لمشروعه الخاص. من خلال قياس مدى تماسك المجموعة، يمكن للمهندسين اتخاذ قرارات مدروسة بشأن النماذج التي يجب استخدامها وأين يستثمرون وقتهم. فإذا كان النموذج دقيقاً ولكنه منحرف قليلاً عن الهدف، يمكن للإنسان إصلاحه بقاعدة. أما إذا كان مشتتاً، فلا توجد قاعدة ستنقذه. إن مستقبل العمل مع هذه الآلات لا يعتمد على إيجاد الإجابة المثالية الواحدة، بل على فهم نمط الإجابات ومعرفة متى يتم ضبط أدوات التصويب ومتى يتم تغيير البندقية.