ORCA-bench: How Ready Are Language Model Agents for Oncall?
تقدم الورقة البحثية ORCA-bench، وهو معيار قياس ذو دقة إنتاجية لتقييم وكلاء النماذج اللغوية في مهام تحليل الأسباب الجذرية أثناء المناوبات، كاشفةً أن أكثر النماذج المتطورة حالياً تحقق دقة منخفضة (25.3% في الصعوبة المتوسطة) وتواجه صعوبة في الهلوسة، مما يشير إلى وجود فجوة كبيرة قبل إمكانية الوثوق بها بأمان في موثوقية الإنتاج في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك قبطان لسفينة فضاء ضخمة وعالية التقنية تبحر عبر المجرة. فجأة، يبدأ حاسوب السفينة بالتصرف بغرابة: الأضواء تومض، والجاذبية مضطربة، وآلة صنع القهوة تقذف شرارات. أنت لا تعرف بالضبط ما الخطب، لكنك تعلم أن السفينة في خطر. في العالم الحقيقي، هذه السفن الفضائية هي المواقع الإلكترونية والتطبيقات التي نستخدمها كل يوم، و"القادة" هم مهندسون متخصصون يُطلق عليهم مهندسو موثوقية الموقع (SREs). مهمتهم هي اكتشاف سبب تعطل الأشياء، وغالبًا ما يبدأ ذلك بشكوى غامضة مثل "زر إتمام الشراء لا يعمل" أو "الموقع بطيء". يتعين عليهم البحث وسط جبال من الأدلة الرقمية — مثل سجلات حركة المرور، ورسائل الخطأ، والبرمجيات — للعثور على الجزء المعطل الوحيد قبل أن تتحطم السفينة بأكملها.
لفترة طويلة، حاول الناس تعليم الحواسيب القيام بهذا العمل التحقيقي باستخدام الذكاء الاصطناعي (AI)، وتحديدًا النماذج اللغوية الكبيرة (LLMs). هذه هي نفس الحواسيب الذكية التي يمكنها كتابة القصص، والإجابة على الأسئلة، وحتى المساعدة في كتابة الأكواد البرمجية. السؤال الكبير الذي يطرحه الجميع هو: "هل هذه المحققين الآليين مستعدون لتولي زمام الأمور وإصلاح أنظمتنا في العالم الحقيقي عندما تسوء الأمور؟" إنها لعبة عالية المخاطر لأنه إذا خمن الذكاء الاصطناعي بشكل خاطئ، فقد يحول خللاً بسيطًا إلى كارثة هائلة.
هذه الورقة البحثية، التي تحمل عنوان ORCA-BENCH، تضع ساحة تدريب عملاقة وواقعية لاختبار ذلك بالضبط. قام الباحثون ببناء متجر إلكتروني وهمي ولكنه مفصل للغاية (يسمى "متجر علم الفلك") يعمل لمدة ستة أيام، مما يولد كمية هائلة من الضجيج الرقمي، تمامًا مثل أي موقع ويب مزدحم وحقيقي. ثم أنشأوا 1,079 "حادثة غامضة" مختلفة حيث قاموا بتعطيل أشياء في النظام سرًا، وطلبوا من خمسة من أذكى وكلاء الذكاء الاصطناعي المتاحين حل القضية. لقد منحوا الذكاء الاصطناعي نفس الأدوات التي يستخدمها المهندس البشري: الوصول إلى تدفقات البيانات الحية، والشيفرة المصدرية (source code)، وشكوى مستخدم غامضة.
والنتائج؟ لا يزال المحققون من الذكاء الاصطناعي في مرحلة التدريب تمامًا. حتى أفضل نماذج الذكاء الاصطناعي لم تتمكن إلا من حل حوالي 25% من الحالات "متوسطة الصعوبة" بشكل صحيح، ونجحوا بنسبة 10% فقط في الحالات الأكثر صعوبة. ولو وضعت هذا في الاعتبار، فإذا حصل مهندس بشري على درجة 10% في اختبار، فسيتم طرده؛ أما بالنسبة لهذه الأنظمة من الذكاء الاصطناعي، فهذا هو أحدث ما توصل إليه العلم حاليًا. وجدت الورقة أنه عندما لم يتمكن الذكاء الاصطناعي من رؤية الشيفرة المصدرية، أصبح أداؤه أسوأ. ولعل الأمر الأكثر إثارة للقلق هو أن الذكاء الاصطناعي غالبًا ما كان "يهلوس"، مما يعني أنه كان يخترع أسبابًا وهمية للمشاكل لم تكن موجودة على الإطلاق. في إحدى الحالات، ألقى الذكاء الاصطناعي باللوم على انهيار المتصفح في أداة اختبار لسبب فشل عربة التسوق الخاصة بالمستخدم، متجاهلاً تمامًا المسبب الحقيقي.
يخلص المؤلفون إلى أنه على الرغم من أن وكلاء الذكاء الاصطناعي مثيرون للإعجاب في كتابة الأكواد، إلا أنهم ليسوا مستعدين بعد ليتم الوثوق بهم في إدارة الأنظمة الحقيقية والمباشرة. إن الفجوة بين ما يمكن للذكاء الاصطناعي فعله في اختبار محكوم وبين ما هو مطلوب للحفاظ على الإنترنت يعمل بأمان لا تزال كبيرة جدًا. تشير الورقة إلى أنه قبل أن نسمح للذكاء الاصطناعي بتولي "نوبة المناوبة"، نحتاج إلى القيام بالكثير من العمل الهندسي لجعله موثوقًا، لأنه في الوقت الحالي، هم أكثر عرضة للتخمين الخاطئ من حل اللغز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.