💻 computer science

AgentPulse: A Continuous Multi-Signal Framework for Evaluating AI Agents in Deployment

يقدم AgentPulse إطار تقييم مستمر ومتعدد الإشارات يكمل الاختبارات المعيارية الثابتة من خلال تجميع البيانات اللحظية من مصادر التبني والمجتمع والنظام البيئي لتوفير تقييم شامل لأداء وكفاءة وكالة الذكاء الاصطناعي وتأثيرها في سيناريوهات النشر الفعلية.

المؤلفون الأصليون: Yuxuan Gao, Megan Wang, Yi Ling Yu

نُشر 2026-04-28

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxuan Gao, Megan Wang, Yi Ling Yu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول شراء سيارة جديدة.

في الوقت الحالي، تشبه الطريقة التي نقيم بها "الوكلاء" البرمجيين (برمجيات ذكية يمكنها القيام بمهام مثل كتابة الكود أو تصفح الويب) عملية النظر إلى صورة ثابتة لمحرك سيارة تم التقاطها في مختبر. نحن نجري اختباراً لنرى مدى سرعة تسارعها على مضمار سباق (وهو ما يسمى "الاختبار المعياري" أو Benchmark). إذا فازت بالسباق، نقول إنها سيارة رائعة.

لكن هناك مشكلة: السيارة التي تفوز في سباق المختبر قد يكون من المستحيل قيادتها تحت المطر، أو قد تتعطل بعد أسبوع واحد، أو قد تكون باهظة الثمن لدرجة لا يستطيع أحد تحمل تكلفتها. الصورة الملتقطة في المختبر لا تخبرك ما إذا كان الناس يشترون السيارة بالفعل، أو ما إذا كان الميكانيكيون يثقون بها، أو ما إذا كان السائقون يستمتعون بالقيادة.

AgentPulse هو إطار عمل جديد يحاول حل هذه المشكلة. بدلاً من مجرد التقاط صورة للمحرك، فإنه يقوم بتركيب لوحة قيادة مستمرة تتبع السيارة أثناء قيادتها فعلياً على الطرق الحقيقية.

إليك كيف يعمل، مقسماً إلى أجزاء بسيطة:

1. الأقراص الأربعة على لوحة القيادة

بدلاً من درجة واحدة وحيدة، ينظر AgentPulse إلى أربعة "أقراص" مختلفة ليعطي صورة كاملة للوكيل الذكي:

القرص 1: درجة اختبار المختبر (أداء الاختبار المعياري)
هذه هي الطريقة القديمة. وهي تقيس مدى جودة حل الوكيل للألغاز المحددة (مثل إصلاح خطأ برمي). هذا أمر مهم، لكنه ليس سوى جزء واحد من القصة.
القرص 2: مقياس الشعبية (إشارات الاعتماد)
يسأل هذا القرص: "هل يستخدمه أي شخص حقاً؟" فهو يحصي عدد الأشخاص الذين قاموا بتحميل البرنامج، وعدد النجوم التي حصل عليها في مواقع مشاركة الكود (مثل GitHub)، وعدد الأشخاص الذين قاموا بتثبيته في أدوات البرمجة الخاصة بهم. إذا كان الوكيل ذكياً ولكن لا أحد يستخدمه، فسيظل هذا القرص منخفضاً.
القرص 3: صندوق الدردشة (مشاعر المجتمع)
هذا القرص يستمع لما يقوله الناس على وسائل التواصل الاجتماعي، والمنتديات، ولوحات النقاش البرمجية. هل المطورون سعداء؟ أم محبطون؟ هل الأداة موثوقة، أم أنها تتعطل باستمرار؟ يستخدم هذا القرص الذكاء الاصطنا artificial intelligence لقراءة آلاف المنشورات وفهم المزاج العام.
القرص 4: فحص الحالة الصحية (صحة النظام البيئي)
هذا ينظر إلى الفريق الذي يقف وراء البرنامج. هل لا يزالون يقومون بتحديثه؟ هل هناك الكثير من الأشخاص الذين يساعدون في إصلاح الأخطاء؟ هل التوثيقات (documentation) جيدة؟ الأمر يشبه التحقق مما إذا كان مصنع السيارات لا يزال يعمل، وما إذا كانت قطع الغيار سهلة العثور عليها.

2. الاكتشاف "السحري"

قام الباحثون بشيء ذكي لإثبات أن لوحة القيادة الخاصة بهم تعمل. لقد بنوا "درجة مصغرة" باستخدام درجة اختبار المختبر و"صندوق الدردشة" فقط (مع تجاهل مقياس الشعبية وصحة النظام البيئي تماماً).

ثم سألوا: "هل يمكن لهذه الدرجة المصغرة أن تتنبأ بمدى شعبية السيارة فعلياً؟"

وكانت الإجابة هي نعم. حتى بدون النظر إلى أرقام الشعبية، فإن الجمع بين "مدى ذكاء الأداة" و"ما يقوله الناس عنها" نجح في التنبؤ بعدد الأشानों الذين سيقومون بتحميلها وعدد الأسئلة التي سيطرحونها عنها. وهذا يثبت أن لوحة القيادة الخاصة بهم ليست مجرد حلقة مفرغة من المنطق الدائري؛ بل هي تلتقط بالفعل قيمة واقعية تغفلها صور "اختبار المختبر" القديمة.

3. التحول المفاجئ: الذكاء مقابل الشعبية

عندما قارنوا بين تصنيفات "اختبار المختبر" القديمة وتصنيفات "لوحة القيادة" الجديدة، وجدوا بعض التناقضات المثيرة للاهتمام:

غموض "المصدر المغلق": بعض الوكلاء الأذكياء جداً (مثل "Devin" أو "OpenAI Codex") سجلوا درجات ضخمة في اختبار المختبر ولكنهم سجلوا مرتبة أقل في لوحة القيادة. لماذا؟ لأنهم "مغلقو المصدر" (لا يمكنك رؤية الكود الخاص بهم أو تحميلهم بسهولة). لم تستطع لوحة القيادة "رؤيتهم" وهم يُستخدمون، لذا أعطتهم درجة أقل. وتقر الورقة البحثية بأن هذا ليس لأن هؤلاء الوكلاء "سيئون"، بل لأن لوحة القيادة لا تستطيع "رؤيتهم".
أبطال المجتمع: بعض الوكلاء (مثل "Cline") لم يفوزوا في اختبار المختبر بفارق كبير، لكنهم كانوا محبوبين للغاية وشائعين جداً لدى المجتمع. أعطتهم لوحة القيادة تصنيفاً أعلى بكثير مما فعله اختبار المختبر، مما حدد بدقة أنهم أدوات يثق بها الناس ويستخدمونها فعلياً.

4. ما هو هذا الشيء (وما ليس هو)

المؤلفون واضحون جداً بشأن ما صنعوه:

هو ليس قائمة "أفضل وكيل" نهائية. هم لا يدعون امتلاك الإجابة الوحيدة الصحيحة.
هو طريقة جديدة للقياس. إنه أداة تساعدنا على رؤية الفرق بين الوكيل الذي هو ذكي نظرياً والوكيل الذي هو مفيد عملياً.

الخلاصة

فكر في AgentPulse كأنه مراقب صحي مستمر للوكلاء البرمجيين. بينما كانت الاختبارات المعيارية القديمة تشبه فحص دم يتم إجراؤه مرة واحدة في السنة، فإن AgentPulse يشبه الساعة الذكية التي تتبع معدل ضربات القلب، والخطوات، والنوم في كل ثانية. إنه لا يخبرنا فقط إذا كان الذكاء الاصطناعي يمكنه القيام بالمهمة، بل إذا كان يؤدي المهمة بطريقة يثق بها المطورون ويستخدمونها ويستمتعون بها فعلياً.

لقد نشر الباحثون جميع بياناتهم وأدواتهم مجاناً، بحيث يمكن لأي شخص التحقق من لوحة القيادة بنفسه ورؤية كيف تؤدي "السيارات" عملها حقاً على الطريق.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AgentPulse: إطار عمل مستمر متعدد الإشارات لتقييم الوكلاء الذكيين (AI Agents) أثناء النشر."

1. بيان المشكلة

تعتمد طرق التقييم الحالية للوكلاء الذكيين بشكل كبير على المعاي quite المرجعية الثابتة (مثل SWE-bench، وGAIA، وWebArena) التي تقيس القدرات في نقطة زمنية محددة. وقد حدد المؤلفون ثلاث فجوات حرجة في هذا النموذج:

اللقطات الثابتة: لا تستطيع المعايções المرجعية التقاط التطور السريع للأنظمة الوكيلية، حيث تتغير القدرات، والتكاملات، والموثوقية على مقاييس زمنية أسبوعية.
القدرة $\neq$ الاعتماد: درجات إكمال المهام العالية لا تتنبأ بالاعتماد في العالم الحقيقي، والذي يعتمد على جودة التكامل، والتسعير، والموثوقية، وثقة المجتمع—وهي أبعاد غير مرئية في المعايين المرجعية.
نقص القابلية للمقارنة عبر الأدوات: تقيم المعايين المرجعية الحالية شرائح ضيقة من القدرات، وتفشل في توفير إطار موحد لمقارنة الأدوات المتنوعة (مثل مساعدي البرمجة Copilots مقابل وكلاء هندسة البرمجيات المستقلين SWE agents) عبر سير عملها الخاص.

تجادل الورقة بأن التقييم يجب أن يتطور من السؤال "هل يمكنه حل هذه المشكلة؟" إلى "هل هو موثوق، ويحظى بصيانة جيدة، ومحل ثقة لدى مجتمع المطورين؟"

2. المنهجية: إطار عمل AgentPulse

AgentPulse هو إطار تقييم مستمر يجمع 18 إشارة في الوقت الفعلي من واجهات برمجة التطبيقات العامة (GitHub، وسجلات الحزم، وأسواق بيئات التطوير المتكاملة IDE، والمنصات الاجتماعية، ولوحات الصدارة) لتسجيل 50 وكيلاً عبر 10 فئات من أعباء العمل.

يحسب إطار العمل درجة مركبة $AP(a)$ بناءً على أربعة عوامل موزونة:
$AP(a) = w_B \cdot B(a) + w_A \cdot A(a) + w_S \cdot S(a) + w_E \cdot E(a)$

الأوزان: أداء المعيار المرجعي ($0.35 $)، إشارات الاعتماد ($ 0.25 $)، مشاعر المجتمع ($ 0.20 $)، وصحة النظام البيئي ($ 0.20$).

العوامل الأربعة:

أداء المعيار المرجعي ( $B$ ): المتوسط الطبيعي للدرجات المنشورة من SWE-bench، وGAIA، وWebArena، وHumanEval+، وTAU-bench. الوكلاء الذين ليس لديهم درجات يحصلون على قيمة سابقة محايدة (0.5).
إشارات الاعتماد ( $A$ ): مزيج لوغاريتمي طبيعي من:
- نجوم GitHub (مع تضمين سرعة النمو).
- تحميلات الحزم (PyPI/npm).
- الانتشار في بيئات التطوير المتكاملة (تثبيتات VS Code/التقييمات).
مشاعر المجتمع ( $S$ ): مشتقة من خط معالجة لغات طبيعية (NLP) متعدد الطبقات (VADER، وTextBlob، وFinBERT، وDistilBERT) مطبق على النصوص من Bluesky، وReddit، وHacker News، وStack Overflow، وGitHub Discussions، وغيرها. يتضمن خط المعالجة كشف السخرية، ووزن التفاعل، ووزن مصداقية المنصة.
صحة النظام البيئي ( $E$ ): مركب من عمق المساهمين (لوغاريتمي طبيعي)، ومعدل إغلاق مشكلات GitHub، وتكرار التحديث (مع اضمحلال لمدة 60 يوماً)، وتقييم متجر VS Code.

خط معالجة البيانات: يقوم النظام بجمع 18 إشارة لكل وكيل بسياقات زمنية متفاوتة (من 5 دقائق إلى 24 ساعة). تخضع البيانات لإزالة التكرار باستخدام MD5/trigram، وتصفية البوتات/الرسائل المزعجة، ووزن مصداقية المصدر قبل معالجة اللغات الطبيعية.

3. المساهمات الرئيسية

إطار تقييم رباعي العوامل: منهجية مبدئية لقياس الوكلاء الذكيين المنشورين تكمل المعايين المرجعية الثابتة بإشارات النشر في العالم الحقيقي.
بنية تحتية للبيانات في الوقت الفعلي: خط معالجة مستقل يجمع 18 إشارة عبر 50 وكيلاً و10 فئات من أعباء العمل، وقادر على التحديث المستمر.
تحقق ثلاثي المحاور:
- استقلال العوامل: إثبات أن العوامل الأربعة تلتقط معلومات متكاملة.
- الصلاحية التنبؤية المتحكم بها من خلال الدائرية: إثبات أن مجموعة فرعية من العوامل (المعيار المرجعي + المشاعر) تتنبأ بوسطاء الاعتماد الخارجيين الذين لم تُستخدم في بناء هذه العوامل.
- تحليل تباين التصنيف: إظهار كيف تختلف التصنيفات المركبة عن تصنيفات المعايين المرجعية فقط، خاصة بالنسبة للوكلاء مفتوحي المصدر مقابل مغلقي المصدر.
الإصدار المفتوح: يتم إصدار إطار العمل، وجميع جامعي الإشارات الـ 18، وخط معالجة اللغات الطبيعية، وسجل الـ 50 وكيلاً، و15,000 نص مسجل بموجب رخصة CC BY 4.0.

4. النت النتائج الرئيسية والاكتشافات

أ. استقلال العوامل (n=50)

يؤكد تحليل ارتباط Spearman أن العوامل متكاملة إلى حد كبير:

المعيار المرجعي مقابل الاعتماد: غير مرتبطين تقريباً ( $\rho = 0.05$ )، مما يؤكد الفرضية الأساسية بأن القدرة لا تتنبأ بالاعتماد.
الاعتماد مقابل النظام البيئي: مرتبطان بشكل متوسط ( $\rho = 0.61$ ) حيث يعكس كلاهما صحة المصدر المفتوح، لكنهما متميزان (الاعتماد = الطلب؛ النظام البيئي = العرض).
المشاعر مقابل الاعتماد: ارتباط سلبي طفيف ( $\rho = -0.29$ )، مما يشير إلى أن الأدوات ذات الاعتماد العالي تواجه تدقيقاً أكثر صرامة.

ب. الصلاحية التنبؤية المتحكم بها من خلال الدائرية (n=35)

لإثبات أن إطار العمل يلتقط الحقيقة الخارجية، قام المؤلفون ببناء مركب فرعي (المعيار المرجعي + المشاعر) (باستثناء عوامل الاعتماد والنظام البيئي لتجنب تسرب إشارات GitHub).

النتيجة: يتنبأ هذا المركب الفرعي بشكل كبير بثلاثة وسائط اعتماد خارجية:
- نجوم GitHub ( $\rho_s = 0.52, p < 0.01$ )
- حجم الأسئلة في Stack Overflow ( $\rho_s = 0.49, p < 0.01$ )
- تثبيتات VS Code ( $\rho_s = 0.44, p < 0.05$ )
الأهمية: يثبت هذا أن قدرة المعيار المرجعي ومشاعر المجتمع تحتويان معاً على معلومات تظهر في اعتماد المطورين الملحوظ، بشكل مستقل عن الإشارات المجمعة في الدرجة الكاملة.

ج. تباين التصنيف (n=11 مجموعة فرعية لـ SWE-bench)

على المجموعة الفرعية من الوكلاء الذين لديهم درجات SWE-bench منشورة:

ارتباط منخفض: التصنيف المركب وتصنيف المعيار المرجعي فقط غير مرتبطين تقريباً ( $\rho_s = 0.25$ ).
محركات التباين:
- اعتماد عالٍ، معيار مرجعي منخفض: يحتل Cline المركز الثاني في المركب (مدفوعاً بـ 3.7 مليون تثبيت في VS Code) ولكنه يحتل المركز السابع في SWE-bench.
- معيار مرجعي عالٍ، صفر اعتماد ملحوظ: يحتل OpenAI Codex وDevin المركزين الثاني والثالث في SWE-bench ولكنهما يهبطان إلى المركز الرابع والتاسع في المركب بسبب افتقارهما إلى المستودعات العامة أو التواجد في المتاجر (هذا "حد قياس"، وليس حكماً على الجودة).
دراسة الاستئصال (Ablation Study): إزالة عامل الاعتماد من المركب يزيد الارتباط مع SWE-bench (يرتفع $\rho$ من 0.03 إلى 0.57)، مما يؤكد أن إطار العمل يعطي الأولوية عمداً لإشارات النشر على درجات القدرة البحتة.

5. الأهمية والقيود

الأهمية:

تحول منهجي: ينقل AgentPulse المجال من "لقطات القدرة" الثابتة إلى مراقبة "صحة النشر" المستمرة.
رؤية شاملة: يكشف أن "أفضل" وكيل يعتمد على حالة الاستخدام (مثل مساعد برمجة عالي الاعتماد مقابل وكيل بحث عالي القدرة).
الشفافية: يقر المؤلفون صراحة بالقيود، مثل حد القياس للوكلاء مغلقي المصدر ومعالجة اللغات الطبيعية المقتصرة على اللغة الإنجليزية، ويؤطرون الأداة كمنهجية وليس كأداة مطلقة للحقيقة.

القيود:

تحيز المصدر المغلق: الوكلاء الذين ليس لديهم مستودعات عامة (مثل Devin، وCodex) يحصلون على صفر في إشارات الاعتماد، مما يخفض ترتيبهم المركب اصطناعياً.
تحيز المشاعر: ناشرو وسائل التواصل الاجتماعي ليسوا ممثلين لكامل قاعدة المستخدمين؛ حيث تميل المجموعة النصية نحو اللغة الإنجليزية ومنصات محددة (Bluesky، وReddit).
حجم العينة: تحليل التداخل مع SWE-bench محدود بـ 11 وكيلاً، مما يجعله استكشافياً وليس نهائياً.

الخلاصة:
يوفر AgentPulse إطار عمل موثق ومستمر لتقييم الوكلاء الذكيين في الواقع. ومن خلال إثبات أن المركبات متعددة الإشارات تتنبأ بوسطاء الاعتماد الخارجي بشكل أفضل من المعايين المرجعية وحدها، فإنه يضع معياراً جديداً لتقييم الموثوقية، وقابلية الصيانة، وثقة المجتمع للوكلاء الذكيين في بيئة الإنتاج.