Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
تقدم هذه الورقة "Agent Retrieval Bench"، وهو معيار شامل على مستوى الملفات لتقييم استرجاع السياق في وكلاء البرمجة باستخدام إشارات سير العمل الحقيقية، والذي يكشف أنه لا توجد طريقة استرجاع واحدة تهيمن عبر المهام المتنوعة، ويسلط الضل على فجوات كبيرة في قدرة الوكلاء الحاليين على تحديد ملفات المستودع الضرورية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز في مكتبة ضخمة وفوضوية. لديك دليل — صفحة ممزقة، أو همسة، أو صوت غريب — ولكن لكي تحل القضية، عليك أولاً العثور على الكتاب الصحيح في الرف. في عالم علوم الحاسوب، هذه "المكتبة" هي كود مشروع برمجيات، و"المحققون" هم وكلاء ذكاء اصطناعي مصممون لكتابة الكود وإصلاحه. لفترة طويلة، كنا نحكم على هؤلاء المحققين من الذكاء الاصطناعي بشكل أساسي بناءً على ما إذا كانوا قد كتبوا الحل المثالي في النهاية. لكن هذه الورقة البحثية تجادل بأنه قبل أن يتمكن الذكاء الاصطناعي حتى من التفكير في كتابة إصلاح، يجب عليه أولاً النجاح في لعب لعبة "أين والدو؟" داخل الكود. إذا أمسك بالكتاب الخطأ، فلن يتمكن أبداً من حل اللغز، مهما بلغت درجة ذكائه في الاستنتاج. هذا الاختبار الجديد، المسمى Agent Retrieval Bench، هو اختبار ضخم مصمم خصياً لمعرفة مدى براعة هؤلاء المحققين من الذكاء الاصطناعي في العثور على الملفات الصحيحة داخل مستودع الكود قبل أن يبدأوا في الكتابة.
لقد بنى الباحثون أرضية اختبار صارمة باستخدام 427 سيناريو برمجيًا من الواقع تم استخراجها من 25 مشروعًا برمجيًا مختلفًا. لقد أنشأوا خمسة أنواع مختلفة من "الأدلة" ليروا كيف يتفاعل الذكاء الاصطناعي معها. أحياناً يكون الدليل عبارة عن وصف لميزة جديدة (يطلب من الذكاء الاصطناعي العثور على الاختبارات المتعلقة بها)؛ وأحياناً يكون تعليقاً من مراجع على ملف محدد (يطلب من الذكاء الاصطناعي العثور على الملفات الأخرى اللازمة لفهم التعليق)؛ وأحياناً يكون تقريراً عن عطل (يطلب من الذكاء الاصطناعي العثور على الكود المسبب للجذر الأساسي للمشكلة)؛ وأحياناً يكون تغييراً طفيفاً (يطلب من الذكاء الاصطناعي العثون على جميع الملفات الأخرى التي قد تتعطل بسببه). حتى أن هناك مجموعة مخادعة من الأدلة حيث لم تكن الإجابة موجودة في المكتبة على الإطلاق، وذلك لاختبار ما إذا كان الذكاء الاصطناعي سيعرف متى يقول: "لا يمكنني العثض على هذا هنا".
كانت النتائج صادمة لفكرة أن "الأكبر هو الأفضل دائماً" أو أن هناك أداة بحث واحدة تتفوق في كل مرة. وجدت الدراسة أنه لا توجد طريقة واحدة هي البطل بلا منازع. الأمر يشبه محاولة العثض على إبرة في كومة قش: أحياناً يعمل المغناطيس (البحث الدلالي، الذي يبحث عن المعنى) بشكل أفضل؛ وفي أحيان أخرى، يكون خريطة تخطيط المكتبة (البحث الهيكلي، الذي ينظر في كيفية اتصال الملفات ببعضها) هو السبيل الوحيد للعثور على الإبرة. في الواقع، تغيرت الأداة "الأفضل" بناءً على نوع الدليل المحدد وحجم "مساحة القراءة" (ميزانية السياق) التي يمتلكها الذكاء الاصطناعي.
من أكثر الاكتشافات إثارة للاهتمام هو أنه حتى عندما يُسمح للمحققين من الذكاء الاصطناعي بطلب المزيد من المساعدة والبحث بشكل تفاعلي، فإنهم لا يزالون يفقدون الملفات الصحيحة في حوالي 27% إلى 35% من الحالات. يتضح أنه مجرد قدرة الذكاء الاصطناعي على البحث لا يعني بالضرورة أنه يعرف أين يبحث. كما أظهرت الورقة البحثية أنه إذا أعطيت الذكاء الاصطناعي "تلميحاً" (قائمة ملفات مختارة مسبقاً) بناءً على بحث ذكي، فإنه يحل المشكلات بشكل أسرع وبجهد أقل مقارنة بما لو قمت فقط بإلقاء ملفات عشوائية أمامه. ومع ذلك، فقد نفت الدراسة فكرة متفائلة: درجات الثقة البسيطة ليست كافية لإخبار الذكاء الاصطناعي متى يتوقف عن البحث ويعترف بـ "هذا ليس موجوداً في هذه المكتبة".
في النهاية، تشير الورقة البحثية إلى أن بناء ذكاء اصطناعي برمجي مفيد حقاً لا يتعلق بإيجاد محرك بحث سحري واحد. بدلاً من ذلك، يتعلق الأمر بخلط استراتيجيات مختلفة — مثل استخدام كل من الخريطة الدلالية والخريطة الهيكلية معاً — لضمان عثور الذكاء الاصطناعي على السياق الصحيح قبل أن يحاول إصلاح الكود. ويلاحظ المؤلفون بحذر أنه بينما يساعد هذا الذكاء الاصطناعي في العثور على الملفات الصحيحة، فإنه لا يضمن كتابة الإصلاح المثالي، ولكن بدون العثور على الملفات الصحيحة، يصبح الإصلاح مستحيلاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.