From Raw Agent Traces to Auditable Claims: A Reproducibility Layer for AgentDojo

في عالم الذكاء الاصطناعي سريع التطور، يعمل الباحثون باستمرار على اختبار مدى قدرة البرامج الحاسوبية على العمل بمفردها. هذه البرامج، المعروفة باسم "الوكلاء" (agents)، مصممة لاستخدام الأدوات، واتخاذ القرارات، والتفاعل مع البيئات الرقمية لإكمال المهام. ولكي يعرف العلماء ما إذا كانت هذه الوكلاء قادرة حقاً أم أنها سهلة الخداع، فإنهم يخضعونها لاختبارات معيارية صارمة، تشبه الاختبارات الموحدة. أحد هذه الاختبارات، ويسمى "أيجينت دوجو" (AgentDojo)، يبحث تحديداً في مدى قدرة هؤلاء الوكلاء على التعامل مع المواقف المخادعة، مثل الحالات التي يحاول فيها شخص ما خداعهم بتعليمات مخفية. ومع ذلك، ظهرت مشكلة رئيسية: فبينما تنتج هذه الاختبارات درجة نهائية، إلا أن المسار المؤدي إلى تلك الدرجة غالباً ما يكون "صندوقاً أسود". فمن الصعب التحقق مما إذا كانت المحاولات التي تم احتسابها دقيقة، أو كيف تم حساب الأرقام النهائية، أو ما إذا كانت النتائج الواردة في ورقة بحثية تطابق بالفعل البيانات الخام التي أنتجها الحاسوب. وبدون مسار واضح، يصعب معرفة ما إذا كانت الدرجة العالية تمثل مهارة حقيقية أم مجرد خطأ في كيفية إحصاء النتائج.

هذا عدم اليقين هو محور تركيز أداة برمجية جديدة طورها الباحث المستقل عبد الله الحربي. عمله، الذي يحمل عنوان "أيجينت دوجو تريس أوديت" (AgentDojo Trace Audit)، لا ينشئ اختباراً جديداً أو وكيلاً أفضل. بدلاً من ذلك، هو يبني طبقة تحقق شفافة تقع بين البيانات الخام لاختبار "أيجينت دوجو" والادعاءات النهائية التي يقدمها الباحثون. الهدف هو تحويل التقرير الساكن إلى قصة قابلة للتدقيق. تأخذ الأداة نسخة محددة ومجمدة من اختبار "أيجينت دوجو" وتتحقق من كل خطوة من خطوات العملية. فهي تتحقق من أن الملفات المستخدمة هي بالضبط الملفات المقصودة، وأن قواعد تضمين أو استبعاد البيانات قد اتبعت بدقة، وأن الأرقام النهائية في التقرير تتطابق مع السجلات الأساسية. إنها تعمل كمحاسب صارم للتجربة، تضمن أن الأرقام متطابقة وأن القصة التي ترويها البيانات متسقة من البداية إلى النهاية.

وللقيام بذلك، تتطلب الأداية أولاً أن يمتلك المستخدم نسخة شرعية من الكود المصدري الرسمي لـ "أيجينت دوجو". وهي لا تعيد توزيع بيانات الاختبار نفسها، مما يحافظ على قانونية العملية ويركز على التحقق بدلاً من جمع البيانات. وبمجرد وجود المصدر الصحيح، تبدأ الأداة عملها بفحص البصمات الرقمية لكل ملف. فهي تحسب كوداً فريداً لكل ملف بناءً على محتوياته، مما يضمن أن أي تغيير طفيف، مثل حرف واحد تم تعديله أو اسم ملف مختلف، سيتم رصده فوراً. هذه الخطوة تؤكد أن الباحث يعمل مع نفس المادة الرقمية التي استُخدمت في الدراسة الأصلية، مما يمنع أي تلاعب عرضي أو متعمد بالمادة المصدرية.

بمجرد التحقق من المصدر، تنتقل البرمجية إلى قلب عملية التدقيق: العد والتصنيف. أنتج الاختبار الأصلي آلاف السجلات، لكن لم يكن من المفترض أن تكون جميعها جزءاً من التحليل النهائي. تطبق الأداة مجموعة صارمة من القواعد لتقرير السجلات التي يجب الاحتفاظ بها والتي يجب استبعادها. على سبيل المثال، وجدت الأداة أنه من بين ما يقرب من 11,800 ملف مرشح، كان هناك 140 حالة مساعدة لا تنتمي للمجموعة الرئيسية، وملف واحد كان غير مكتمل بسبب فقدان حقول بيانات رئيسية. ومن خلال تطبيق هذه القواعد، أعادت البرمجية بناء المجتمع الدقيق المكون من 11,624 سجلاً الذي زعمت الدراسة الأصلية تحليلها. ثم تحققت من أن تقسيم هذه السجلات إلى فئات مختلفة - مثل ما إذا كان الهجوم ناجحاً أم فاشلاً - يتطابق تماماً مع التقرير الرسمي. وفي هذا الاختبار المحدد، أكدت الأداة أن كل سجل من السجلات الـ 11,624 قد تم ربطه بمصدره بشكل صحيح، وأن الإحصاءات النهائية للنجاح والفشل ونتائج الهجوم كانت دقيقة.

إن القوة الحقيقية لهذه الأداة، مع ذلك، تكمن في قدرتها على إيجك الأخطاء، وليس فقط تأكيد الصحيح منها. ولاختبار موثوقيتها، أنشأ الباحثون سلسلة من التحديات حيث أدخلوا أخطاءً متعمدة في البيانات، مثل تبديل الملفات، أو حذف الروابط بين السجلات، أو تغيير معنى النتيجة. في مجموعة من الاختبارات شملت 408 سيناريوهات مختلفة، نجحت الأداة في اكتشاف وتصنيف كل خطأ من الأخطاء. ومع ذلك، لم تتمكن من تحديد الموقع الدقيق للمشكلة إلا في 336 حالة فقط. أما حالات الفشل الـ 72 المتبقية، فلم تكن بسبب إغفال الأداة للخطأ، بل لأن الطريقة التي وصفت بها موقع الخطأ لم تكن مفصلة بما يكفي. قام الباحثون بعد ذلك بإصلاح هذه المشكلة المحددة في تصميم البرنامج.

بعد إجراء هذا الإصلاح، أجروا اختباراً جديداً أكثر صرامة مع 360 سيناريو جديداً. هذه المرة، كانت الأداة مثالية؛ فقد اكتشفت وصنفت وحددت موقع كل خطأ من الأخطاء الـ 360 دون خطأ واحد. ولضمان أن الأداة ليست شديدة الحساسية وأنها لا تعتبر التغييرات غير الضارة أخطاءً، قاموا أيضاً بتشغيلها ضد 120 حالة حميدة، مثل الملفات التي تم تغيير اسمها ببساطة أو ضغطها بشكل مختلف. وتجاهلت الأدا tersebut جميع هذه الحالات بشكل صحيح، ولم تسجل أي إنذارات كاذبة. هذا التسلسل من الاختبارات يثبت أن البرمجية يمكنها التمييز ببراعة بين تغيير غير ضار في كيفية تخزين الملف وبين تغيير حقيقي في المحتوى العلمي.

تكمن أهمية هذا العمل في أنه يوفر وسيلة لتحويل تجربة معقدة وغامضة إلى شيء يمكن فحصه سطراً بسطر. قبل هذه الأداة، إذا ادعى باحث ما نسبة نجاح معينة، كان على الآخرين تصديقه أو محاولة إعادة تشغيل التجربة بأكملة يدوياً، وهو أمر غالباً ما يكون مستحيلاً. الآن، يمكن لأي شخص يمتلك بيانات المصدر الأصلية تشغيل هذا التدقيق ليرى بالضبط كيف تم اشتقاق الأرقام. هي لا تخبرنا ما إذا كانت الوكلاء آمنين في العالم الحقيقي، ولا تثبت أن تصميم الاختبار الأصلي كان مثالياً؛ بل هي تضمن أن الأرقام الواردة في الورقة البحثية متسقة مع البيانات التي تستند إليها. إنها تضمن أن القصة التي ترويها البيانات هي نفس القصة التي تدعمها تلك البيانات بالفعل.

ويحرص الباحثون على توضيح حدود عملهم. فالأداة مصممة لنسخة محددة من اختبار "أيجينت دوجو" ولا يمكن تطبيقها تلقائياً على معايير أخرى أو إصدارات مستقبلية دون إعادة عمل كبيرة. كما أنها لا تستطيع اكتشاف ما إذا كانت البيانات الأصلية خاطئة واقعياً أو إذا كان الاختبار نفسه معيباً؛ فهي تتحقق فقط من الاتساق والمنطق الداخلي. علاوة على ذلك، بما أن الأداة تم تطويرها من قبل نفس الفريق الذي أنشأ الاختبارات ومنطق التحقق، فهي ليست مراجعة خارجية مستقلة، بل هي فحص ذاتي تم اختباره بصرامة. وبالرغم من هذه الحدود، يقدم هذا العمل مساراً واضحاً نحو الشفافية العلمية، حيث يظهر أنه من الممكن بناء نظام تكون فيه الادعاءات التي تُقدم في الأبحاث ليست مجرد تصريحات، بل حقائق يمكن التحقق منها وتتبعها وصولاً إلى مصدرها، بايت تلو الآخر.