🤖 AI

Rollout Cards: A Reproducibility Standard for Agent Research

تتناول هذه الورقة تحديات قابلية التكرار في أبحاث الوكلاء من خلال تقديم "بطاقات التدفق" (rollout cards)، وهي تنسيق نشر معياري يحفظ سجلات التدفق الخام ويعلن صراحةً عن قواعد التقارير لضمان تقييم شفاف وقابل للتحقق للأنظمة الوكيلية.

المؤلفون الأصليون: Charlie Masters, Ziyuan Liu, Stefano V. Albrecht

نُشر 2026-05-13✓ Author reviewed ⓘ

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Charlie Masters, Ziyuan Liu, Stefano V. Albrecht

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك ناقد طعام تراجع مطعماً جديداً. يقدم لك الشيف بطاقة تقييم مكتوب عليها: "هذه الوجبة هي 9.5 من 10". لكن الشيف يرفض أن يريك الطعام الفعلي، أو الوصفة، أو الملاحظات حول كيفية اتخاذه لهذا التقييم. هو فقط يقول: "ثق بي، إنها 9.5".

الآن، تخيل ناقداً آخر يتذوق نفس الوجبة تماماً ولكنه يعطيها 6.0. بدون رؤية الطعام أو الوصفة، ليس لديك أي وسيلة لمعرفة من على حق. هل استخدم الناقد الأول مقياساً مختلفاً؟ هل تجاهل الخبز المحمص؟ هل احتسب التحلية كجزء من الطبق الرئيسي؟

هذه هي بالضبط المشكلة التي تهدف بطاقات الـ Rollout (Rollout Cards) إلى حلها في عالم "الوكلاء" (AI Agents) - وهي برامج حاسوبية ذكية تقوم بمهام مثل كتابة الكود، أو تصفح الويب، أو حل المسائل الرياضية.

إليك شرح بسيط لما يقوله البحث، باستخدام تشبيهات من الحياة اليومية:

المشكلة: درجة "الصندوق الأسود"

حالياً، عندما ينشر الباحثون نتائج حول وكلاء الذكاء الاصطيائي، فإنهم عادة ما يشاركون فقط الدرجة النهائية (الـ "9.5"). إنهم يتخلصون من سجل الـ Rollout.

سجل الـ Rollout: فكر في هذا السجل كأنه تسجيل فيديو كامل للذكاء الاصطناعي وهو يؤدي المهمة. يتضمن كل خطوة اتخذها، وكل أداة نقر عليها، وكل خطأ ارتكبه، والوقت الذي استغرقه، وما إذا كان قد تعطل أو علق.
المشكلة: تستخدم فرق بحثية مختلفة "قواعد" مختلفة لتحويل ذلك الفيديو إلى درجة.
- الفريق (أ) قد يقول: "إذا تعطل الذكاء الاصطناعي، سنتجاهل تلك المحاولة".
- الفريق (ب) قد يقول: "إذا تعطل الذكاء الاصطناعي، فسيتم احتساب ذلك كصفر".
- الفريق (ج) قد يقول: "سنحتسب فقط الإجابة النهائية، متجاهلين الـ 50 خطوة التي استغرقها للوصول إليها".

وجد البحث أن لا أحد من بين 50 مستودعاً بحثياً شهيراً للذكاء الاصطناعي قام بالتحقق منها أبلغ عن عدد المحاولات الفاشلة أو حالات التعطل بجانب درجتهم الرئيسية. الأمر يشبه فريقاً رياضياً يقول: "لقد فزنا في 3 مباريات!" ولكنه يخفي حقيقة أنه خسر 10 مباريات وأنه لم يحسب سوى الثلاث التي فاز بها.

الدليل: القواعد تغير قواعد اللعبة

قام المؤلفون بمراجعة 50 أداة مختلفة للذكاء الاصطناعي ووجدوا 37 حالة محددة حيث أدى تغيير "كتاب القواعد" إلى تغيير الدرجة تماماً، رغم أن الذكاء الاصطناعي قام بنفس الشيء تماماً.

مثال "MMLU": حصل نفس نموذج الذكاء الاصطناعي (LLaMA-65B) على درجة 63.7 تحت مجموعة واحدة من القواعد و 48.8 تحت مجموعة أخرى. هذا فرق هائل لمجرد اختلاف طريقة حساب الدرجة، وليس لأن الذكاء الاصطناعي قد تغير.
مثال "SWE-bench": في مهام هندسة البرمجيات، أدى تحديد ما إذا كان يتم احتساب "المحاولات الفاشلة" كجزء من الإجمالي أو استبعادها إلى تغيير معدل النجاح بمقدار 15.6 نقطة مئوية.
مثال "MLE-Bench": اعتماداً على ما إذا كنت تُعرف "النجاح" بالحصول على ميدالية ذهبية أو مجرد درجة نجاح، انخفض معدل نجاح نفس مشاركات الذكاء الاصطناعي من 34.2% إلى 13.3%.

يجادل البحث بأنه بدون تسجيل الفيديو (الـ rollout)، لا يمكننا معرفة ما إذا كان الذكاء الاصطناعي أفضل بالفعل، أم أن الباحث استخدم فقط كتاب قواعد أكثر تساهلاً.

الحل: "بطاقة الـ Rollout"

لإصلاح ذلك، يقترح المؤلفون معياراً جديداً يسمى بطاقة الـ Rollout (Rollout Card).

فكر في بطاقة الـ Rollout كأنها صندوق وصفات شفاف وغير قابل للتلاعب يجب أن ترفقه مع طبقك النهائي. يحتوي الصندوق على:

الفيديو الكامل: السجل الكامل لأفعال الذكاء الاصطناعي، وأخطائه، وتوقيته.
كتاب القواعد: إعلان واضح لكيفية حساب الدرجة بالضبط (مثلاً: "تجاهلنا حالات التعطل"، أو "احتسبنا كل رمز/token").
قائمة "الأجزاء المفقودة": ملاحظة صادقة تقول: "لم نتمكن من مشاركة الفيديو الكامل بسبب الخصوصية، لذا إليكم بالضبط ما قمنا باستبعاده".

هذا يسمح للعلماء الآخرين بالنظر إلى نفس الفيديو وطرح أسئلة مختلفة. ربما كان البحث الأصلي يهتم فقط بـ "هل أكمل المهمة؟" ولكن باحث جديد يريد أن يسأل: "هل استهلك الكثير من المال؟" أو "هل قام باستدعاء أدوات خطيرة؟". مع بطاقة الـ Rollout، يمكنهم الإجابة على تلك الأسئلة دون الحاجة إلى إجراء التجربة المكلفة مرة أخرى.

ما فعلوه بالفعل (التجارب)

لم يكتفِ المؤلفون بالحديث عن هذا فحسب؛ بل اختبروه ببيانات حقيقية:

إعادة اكتشاف الرؤى المخفية: أخذوا أربع مجموعات بيانات عامة موجودة (من أدوات مثل GAP و MAESTMAO و COPRA و Tree-of-Thought) كانت قد نُشرت سابقاً. ومن خلال تطبيق طريقة بطاقة الـ Rollout، وجدوا حقائق جديدة فات البحث الأصلي ذكرها.
- مثال: وجدوا أن 20% من ردود الذكاء الاصطناعي التي بدت "آمنة" في النص، قامت في الخلفية باستدعاء أدوات محظورة. الدرجة الأصلية أغفلت هذا لأنهم نظروا فقط إلى النص.
- مثال: وجدوا أنه في فرق الوكلاء المتعددين (multi-agent)، تضمنت "الإخفاقات" في الواقع أعمال تنسيق أكثر بكثير من "النجاحات"، مما يشير إلى أن العمل الإضافي لا يعني دائماً إجابات أفضل.
إعادة تصحيح نفس العمل: أخذوا مشاركات عامة للذكاء الاصطناعي (مثل تصحيحات الكود أو الإجابات الرياضية) وأعادوا تسجيل درجاتها باستخدام كتب قواعد مختلفة.
- النتيجة: تغيير فقط قاعدة التسجيل غير الدرجات المبلغ عنها بما يصل إلى 20.9 نقطة مئوية. في بعض الحالات، عكس ذلك الترتيب، مما جعل ذكاءً اصطناعياً "أسوأ" يبدو كأنه "الفائز" لمجرد تغير كتاب القواعد.

الخلاصة

يخلص البحث إلى أن نشر الدرجة فقط يشبه نشر نتيجة امتحان نهائي دون ورقة الاختبار. إنه يخفي التفاصيل التي تهم.

من خلال تقديم بطاقات الـ Rollout، يريد المؤلفون جعل أبحاث الذكاء الاصطناعي قابلة لإعادة الإنتاج. لقد أطلقوا بالفعل أداة مجانية مفتوحة المصدر (تسمى ERGON) و 21 مجموعة بيانات عامة (بطاقات Rollout) تغطي مهام مثل هندسة البرمجيات، وتصفح الويب، والرياضيات. وهذا يسمح لأي شخص بفحص "تسجيل الفيديو" وراء الدرجات، لضمان أنه عندما نقول إن الذكاء الاصطناعي ذكي، فإننا نعرف حقاً لماذا و كيف قمنا بقياس ذلك.

ما لا يدعيه البحث:

لا يدعي أن هذا سيجعل الذكاء الاصطناعي أكثر أماناً أو قوة بحد ذاته.
لا يدعي أن هذا يحل جميع مشكلات الخصوصية (لا يزال عليك تحديد ما ستخفيه).
لا يدعي أن هذه طريقة جديدة لتدريب الذكاء الاصطناعي؛ إنها طريقة جديدة للإبلاغ عن و تدقيق نتائج تدريب الذكاء الاصطناعي.

ملخص تقني: بطاقات التدفق (Rollout Cards): معيار لإعادة الإنتاجية في أبحاث الوكلاء

بيان المشكلة

تحدد الورقة أزمة إعادة إنتاجية حرجة ناشئة في أبحاث الوكلاء (Agent Research)، تحاكي المشكلات التاريخية في تعلم الآلة والتعلم المعزز. تعطي الممارسات الحالية الأولوية لنشر الدرجات المُبلغ عنها (مثل الدقة، أو معدلات النجاح) مع التخلص من سجلات التدفق (الـ rollout records) الأساسية (الأثر الكامل للتفاعلات بين الوكيل والبيئة) وقواعد الإبلاغ المحددة المستخدمة لحساب تلك الدرجات.

يخلق هذا التجزؤ نمطين أساسيين للفشل:

فشل التسجيل: يتم تسجيل دفعات التدفق (rollout batches) مرة واحدة ثم تُهمل. بدون السجلات الخام، لا يستطيع الباحثون اللاحقون إعادة تحليل نفس الحلقات لدراسة سلوكيات أغفلها التقرير الأصلي (مثل انتهاكات السلامة في استدعاء الأدوات، أو أعباء التنسيق في الأنظمة متعددة الوكلاء) أو تطبيق رؤى جديدة على البيانات. كما أن إعادة تشغيل هذه التجارب غالبًا ما تكون مكلفة للغاية بسبب التكاليف المتزايدة لاستدلال النماذج الرائدة (frontier models) والتقادم السريع لهياكل التقييم.
فشل الإبلاغ: تختلف قواعد الإبلاغ (الإجراءات التي تحول رؤى التدفقات إلى درجات) عبر الأطر البرمجية ونادرًا ما يتم الكشف عنها. يؤدي هذا إلى تباينات كبيرة في الدرجات رغم تطابق السلوكيات الأساسية. وجد تدقيق المؤلفين لـ 50 مستودعًا شائعًا أنه لا يوجد أي منها يبلغ عن التدفقات الفاشلة، أو التي حدث فيها خطأ، أو التي تم تخطيها بجانب الدرجات الرئيسية. علاوة على ذلك، وثقوا 37 حالة أدت فيها قواعد الإبلاغ المختلفة (مثل محاسبة الرموز/tokens، التعامل مع الأخطاء، قوالب المطالبات/prompts) إلى اختلافات صارخة في الدرجات، مما غير أحيانًا ترتيب النماذج أو معدلات النجاح بأكثر من 20 نقطة مئوية.

المنهجية

يقترح المؤلفون تحولًا في وحدة إعادة الإنتاجية من "الدرجة المُبلغ عنها" إلى سجل التدفق (rollout record)، مقترنًا بإعلانات صريحة حول كيفية معالجة ذلك السجل.

بطاقة التدفق (The Rollout Card)

المساهمة الجوهرية هي بطاقة التدفق، وهي حزمة نشر مصممة كـ "مواصفات كافية بحد أدنى". وتتكون من:

سجل التدفق (Rollout Record): أرشيف ذاتي الوصف يحتوي على أدلة الحلقة: مواصفات المهمة، حالة البيئة، إجراءات الوكيل (الرسائل، استدعاءات الأدوات)، المصنوعات (artifacts)، التوقيت، والحالة النهائية. ومن الأهمية بمكان أنها تعامل حالات الفشل كحالات تغيير داخل السجل بدلاً من استثناءات تتجاوز التسجيل.
سجل قواعد الإبلاغ (Reporting Rule Registry): إعلان لكل رؤية وقاعدة إبلاغ طُبقت على السجل لتوليد درجة مُبلغ عنها، بما في ذلك تفاصيل التنفيذ والإصدارات.
بيان الإسقاطات (Drops Manifest): سجل مُصنف يحدد الحقول أو الصفوف أو التدفقات التي تمت قراءتها، أو تصفيتها، أو دمجها بواسطة تحليل معين. هذا يوثق صراحةً المعلومات التي تم إغفالها، مما يسم يسمح للباحثين المستقبليين بفهم حدود أي رؤية مُبلغ عنها.
البيانات الوصفية لنطاق الإصدار (Release-Scope Metadata): إعلانات تتعلق بالتعمية (redaction)، الترخيص، وحدود الوصول.

قام المؤلفون بتنفيذ مواصفة مرجعية في ERGON، وهو صالة ألعاب رياضية (gym) مفتوحة المصدر للتعلم المعزز، يعمل كمحول لمجموعات البيانات لتدقيق، ورسم خرائط، وتصدير هذه الحزم.

التقييم التجريبي

تتحقق الورقة من فائدة بطاقات التدفق من خلال تجربتين استعاديتين باستخدام آثار عامة:

السؤال البحثي الأول (RQ1 - قابلية إعادة استخدام السجلات المحفوظة): حلل المؤلفون أربعة إصدارات عامة (GAP، MAESTRO، سجلات COPRA miniF2F، وTree-of-Thought) التي حفظت أدلة تدفق كافية. قاموا بحساب تحليلات ثانوية لم تبلغ عنها الأوراق الأصلية:
- GAP: وجدوا أن 20.6% من الاستجابات التي تم تصنيفها كـ "آمنة نصيًا" احتوت في الواقع على استدعاءات أدوات محظورة، وهو فشل غير مرئي لدرجات السلامة القائمة على النص فقط.
- MAESTRO: كشفت أن عمليات تعدد الوكلاء الفاشلة تسببت في أعباء تنسيق أكبر بـ 5 مرات وعدد رموز (tokens) أكبر بـ 7 مرات من العمليات الناجحة، مما يناقض الافتراض بأن التعاون الإضافي يحسن النتائج دائمًا.
- COPRA: أظهرت أن خطوات البحث الموسعة في البراهين ارتبطت سلبًا بالنجاح، مما يشير إلى أن الخطوات المتكررة غالبًا ما تشير إلى فشل الاسترداد بدلاً من التفكير المفيد.
- Tree-of-Thought: أظهرت أن استراتيجيات التقليم يمكن أن تحافظ على المكافآت النهائية مع تقليل الاستكشاف الضائع بشكل كبير، وهو فارق خفي عن مقاييس المكافأة النهائية وحدها.
السؤال البحثي الثاني (RQ2 - تأثير قواعد الإبلاغ): ثبت المؤلفون نماذج الاختبار (مثل تقديمات GPT-4o لـ SWE-bench، وتقديمات Kaggle لـ MLE-Bench) وطبقوا قواعد إبلاغ بديلة.
- تغيير تعريف "النجاح" أو التعامل مع الرقع البرمجية (patches) المفقودة في SWE-bench غير الفجوة في القدرات المُبلغ عنها بين الوكلاء بمقدار 2.3 نقطة مئوية.
- تغيير المصنف (grader) في $\tau$ -bench عكس ترتيب النماذج الرائدة (GPT-4o مقابل Claude 3.5 Sonnet) بمقدار 16.9 نقطة مئوية.
- تغيير تعريف الميدالية/النجاح في MLE-Bench خفض معدل النجاح من 34.2% إلى 13.3% (فجوة قدرها 20.9 نقطة).

المساهمات الرئيسية

تشخيص إخفاقات النشر: تدقيق مهيكل لـ 50 مستودعًا وفهرس لـ 37 تباينًا في قواعد الإبلاغ يوضح كيف تخفي الممارسات الحالية حالات الفشل وتطمس الطبيعة القائمة على الاصطلاحات (convention-driven) لفجوات الدرجات.
مواصفة بطاقة التدفق: معيار نشر رسمي يحفظ سجل التدفق، ويعلن عن الرؤى والقواعد المطبقة، ويوثق الحذف عبر بيانات الإسقاط.
التنفيذ المرجعي وإصدار البيانات: تنفيذ مفتوح المصدر في ERGON والإصدار العام لـ 21 تصديرًا لبطاقة التدفق (17 تصديرًا لآثار التدفق و4 تصديرات للرؤى التحليلية/المستردة) تغطي استخدام الأدوات، الهندسة البرمجية، السلامة، والبحث.

النتائج

إعادة الاستخدام العلمي: مكنت سجلات التدفق المحفوظة من اكتشاف إخفاقات السلامة، وأعباء التنسيق، وعدم كفاءة البحث التي لم تكن مرئية في الدرجات المُبلغ عنها أصلاً.
الحساسية للاصطلاحات: أكدت التجارب أن قواعد الإبلاغ ليست محايدة؛ حيث يمكن لتغييرها على أدلة ثابتة أن يغير الدرجات المُبلغ عنها بما يصل إلى 20.9 نقطة مئوية ويقلب ترتيب النماذج.
الشفافية: يجعل هيكل بطاقة التدفق "الصندوق الأسود" للتقييم شفافًا، مما يسمح بتتبع الخلافات إلى خيارات إبلاغ محددة بدلاً من سلوك النموذج الغامض.

الأهمية والادعاءات

تدعي الورقة أن نشر الدرجات فقط يستخلص جزءًا ضئيلًا من قيمة تجارب الوكلاء. من خلال معاملة سجلات التدفق كوحدة لإعادة الإنتاجية، يمكن للمجتمع العلمي:

تخفيف مشكلة التسجيل: تمكين طرح أسئلة علمية جديدة على البيانات الموجودة والمكلفة دون الحاجة لإعادة تشغيل الوكلاء الرائدين.
تخفيف مشكلة الإبلاغ: جعل التغييرات القائمة على الاصطلاحات في الدرجات قابلة للفحص، مما يسمح للباحثين بالتمييز بين سلوك الوكيل والقواعد المستخدمة لتسجيله.

المؤلفون متواضعون بشأن النطاق، مشيرين إلى أن بطاقات التدفق لا تمنع الاختيار الانتقائي للمقاييس، أو قيود الخصوصية، أو التعمية. بدلاً من ذلك، فإن دورها هو جعل السجل، والقاعدة، والإسقاطات قابلة للفحص، مما يضمن إمكانية تتبع الخلافات إلى الأدلة المحفوظة، أو خيارات الإبلاغ، أو سلوك الوكيل الفعلي. يهدف العمل إلى دعم الأبحاث المستقبلية، والتحليلات الشاملة (meta-analyses)، ومقارنات قواعد الإبلاغ دون الحاجة إلى ميزانيات تدفق جديدة ومكلفة للنماذج الرائدة.