The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

في عالم الذكاء الاصطناعي سريع التطور، ظهر نوع جديد من البرمجيات: وكلاء لا يكتفون فقط بالإجابة على الأسئلة، بل يتخذون إجراءات فعلية. يمكن لهذه الأنظمة التخطيط لسلسلة من الخطوات، واستخدام أدوات رقمية، والتنقل في بيئات معقدة مثل الأكواد البرمجية أو متصفحات الويب، وغالبًا ما تفعل ذلك بحد أدنى من الإشراف البشري. ولتتبع مدى تطور قدرات هؤلاء الوكلاء، طور الباحثون طريقة لقياس تقدمهم باستخدام "الأفق الزمني". يصف هذا المفهوم طول المهمة، مقاسًا بالوقت الذي يستغرقه خبير بشري لإكمالها، والتي يمكن لوكيل الذكاء الاصطناعي إنجازها بنجاح نصف الوقت. إذا كان للوكيل أفق زمني مدته ساعة واحدة، فهذا يعني أنه يمكنه حل المشكلات التي تستغرق من الإنسان حوالي ساعة لإنجازها بشكل موثوق، ولكنه سيفشل على الأرجح في المهام التي تستغرق ساعتين. وقد أصبح هذا المقياس لغة معيارية لوصف تقدم الذكاء الاصطناعي، حيث تشير التقارير إلى أن هذا الأفق يتضاعف تقريبًا كل سبعة أشهر، مما يشير إلى مستقبل يمكن فيه للآلات التعامل مع أعمال تزداد تعقيدًا.

ومع ذلك، يوجد تمييز جوهري بين ما يمكن للوكيل القيام به في المتوسط وبين ما يمكن الوثوق به للقيام به في كل مرة. بالنسبة لمدير بشري يكلف بمهمة متكررة أو مراقب يشرف على نظام مستقل، فإن نسبة نجاح قدرها 50 بالمائة غالبًا ما تكون غير كافية. فإذا كانت المهمة تتكرر باستمرار، فإن الهدف ليس نجاح الوكيل نصف الوقت، بل نجاحه في كل مرة تظهر فيها المهمة. إن النظام الذي يفشل مرة واحدة في كل محاولتين من أصل اثنتين ليس موثوقًا بما يكفي للعديد من التطبيقات الواقعية، ومع ذلك فإن مقياس "الأفق الزمني" المعياري لا يلتقط هذه المخاطرة. فهو يقيس حدود القدرة، وليس أرضية الموثوقية. هذه الفجوة بين الأداء المتوسط والأداء المتسق هي اللغز المركزي الذي يسعى دراسة جديدة لحله، متسائلة عن مدى تأخر الموثوقية الحقيقية لهؤلاء الوكلاء مقارنة بدرجات قدراتهم التي تتصدر العناوين.

وللإجابة على ذلك، لجأ الباحثون إلى مجموعة ضخمة من السجلات العامة من منظمة METR، التي تقوم بإجراء تقييمات لوكلاء الذكاء الاصطناعي على مئات المهام المختلفة منذ عام 2023. ركزت الدراسة على 30 نموذجًا مختلفًا تم إصدارها بين عامي 2023 وأوائل عام 2026، وحللت أكثر من 60,000 محاولة فردية لمهام متنوعة. وبدلاً من النظر فيما إذا كان الوكيل قد نجح أو فشل لمرة واحدة فقط، فحص الباحثون ما يحدث عندما يحاول نفس الوكيل القيام بنفس المهمة عدة مرات. لقد بحثوا تحديدًا في النقطة التي يمكن للوكيل عندها إكمال مهمة أربع مرات متتالية باحتمالية نجاح إجمالية قدرها 50 بالمائة. يمثل "أفق الموثوقية" هذا طول المهمة التي يمكن توقع أن يتعامل معها الوكيل باستمرار، بدلاً من مجرد التعامل معها أحيانًا.

وكشفت النتائج عن فجوة كبيرة ومستمرة بين ما يمكن للوكلاء فعله وما يمكن الوثوق بهم للقيام به. فبالنسبة لكل نموذج تم اختباره، كان الأفق الزمني للنجاح المتكرر والموثوق أقصر بكثير من أفق القدرة المعياري. وفي المتوسط، كان أفق الموثوقية أقصر بنحو 2.4 مرة من أفق النجاح المتوسط. ولتوضيح ذلك، إذا كان أحد النماذج رفيعة المستوى قادرًا على التعامل مع مهمة تستغرق من الإنسان 715 دقيقة لإكمالها بنسبة نجاح 50 بالمائة، فإن نفس النموذج يمكن الوثوق به فقط لإكمال مهمة تستغرق حوالي 355 دقيقة أربع مرات متتالية بنفس مستوى الثقة. لم تتقلص هذه الفجوة بشكل ملحوظ خلال السنوات الثلاث الماضية؛ فرغم أن النماذج أصبحت أكثر قوة، إلا أن المسافة بين أدائها المتوسط وأدائها المتسق ظلت كما هي تقريبًا.

قد يفترض المرء أنه إذا فشل الوكيل في مهمة ما، فذلك مجرد مسألة سوء حظ أو خلل عشوائي، وأن المحاولة مرة أخرى ستؤدي على الأرجح إلى نتيجة مختلفة. وجدت الدراسة أن هذا الافتراض غير صحيح. فقد اكتشف الباحثون أن نتائج المحاولات المتكررة مرتبطة بقوة بالمهمة نفسها، وليس بالعشوائية. فعندما يفشل الوكيل في مهمة ما، فإنه يميل إلى الفشل في كل مرة يحاول فيها تلك المهمة ذاتها. وعلى العكس من ذلك، عندما ينجح، فإنه يميل إلى النجاح في كل مرة. وهذا يعني أن موثوقية الوكيل لا تتحدد برمي النرد في كل محاولة، بل بصعوبة المهمة الجوهرية بالنسبة لمهارات الوكيل. وبسبب هذا الارتباط القوي، فإن الموثوقية الملحوظة أعلى بكثير مما لو كانت كل محاولة مستقلة. فلو كانت المحاولات عشوائية ومستقلة حقًا، لكان أفق الموثوقية أقصر بكما، لكن الواقع هو أن أداء الوكيل متسق ضمن سياق مشكلة محددة.

كما حددت الدراسة بدقة أين تحدث حالات عدم الاتساق هذه. إذ يحدث السلوك الأكثر عدم قابلية للتنبؤ ليس في المهام الأصعب، حيث يفشل الوكلاء باستمرار، ولا في المهام الأسهل، حيث ينجحون باستمرار. بدلاً من ذلك، تتجمع "النتائج المختلطة" — حيث ينجح الوكيل أحيانًا ويفشل في أحيان أخرى — بشكل وثيق حول حافة قدرة الوكيل. هذه هي المنطقة التي تقع تحت أفق الزمن المعياري مباشرة، حيث تكون المهمة صعبة بما يكفي لتحدي الوكيل ولكنها ليست صعبة لدرجة تجعلها مستحيلة. وفي هذه المنطقة تحديدًا، من المرجح أن تقع المهام الجديدة المفوضة، مما يجعلها المنطقة الأكثر أهمية لفهم المخاطر.

وعلى الرغم من الأدلة الواضية على وجود فجوة، وجد الباحثون أن معدل إغلاق هذه الفجوة ليس ذا دلالة إحصائية. فبينما تظهر البيانات ميلًا طفيفًا ليلحق أفق الموثوقية بأفق القدرة، إلا أن هذا الاتجاه صغير جدًا بحيث لا يمكن تمييزه عن التباين العشوائي نظرًا للعدد الحالي من النماذج المختبرة. وهذا يشير إلى أنه بينما يصبح وكلاء الذكاء الاصطناعي أفضل في حل المشكلات الأصعب، فإنهم لا يصبحون بالضرورة أكثر اتساقًا في تنفيذهم بنفس السرعة. وتخلص الدراسة إلى أنه بالنسبة لأي شخص يقوم بنشر هذه الأنظمة، فإن الاعتماد فقط على معدلات النجاح المتوسطة يوفر رؤية متفائلة للغاية للمستقبل. لفهم ما يمكن الوثوق به من الوكيل حقًا، يجب أن تتضمن التقارير أفقًا معدلًا حسب الموثوقية يأخذ في الاعتبار الحاجة إلى النجاح المتكرر والمتسق. وبدون هذا التعديل، يظل الوعد بالوكلاء المستقلين مجرد مقياس للإمكانات وليس ضمانًا للأداء.