ملخص تقني: التكميم غير المعتمد على التوزيع لتقييم الوكلاء الذكيين المستمر

1. بيان المشكلة

يواجه تقييم الوكلاء الذكيين (AI agents) حاليًا "أزمة عدم يقين". فالنماذج المرجعية الثابتة الحالية (مثل SWE-bench، وGAIA، وWebArena) تنتج تقديرات نقطية تُعامل كحقائق نهائية، ومع ذلك فهي تفشل في مراعاة حالات عدم اليقين الضمنية الناجمة عن:

• التباين في القياس: الاختلافات في وجهات النظر عبر المنصات المختلفة فيما يتعلق بالجودة.
• توصيف النموذج: تغير التصنيفات تحت مخططات أوزان مختلفة.
• عدم الاستقرار الزمني: تطور الدرجات مع تحديث الوكلاء أو إصدار نسخ جديدة منهم.

بينما توفر بعض الأطر مثل Chatbot Arena فترات ثقة عبر إعادة أخذ العينات بطريقة "بوتستراب" (bootstrap resampling)، إلا أنها تفتقر إلى ضمانات العينات المحدودة وغالبًا ما تعالج مصادر إشارة واحدة فقط. لا يوجد إطار عمل موجود يوفر ضمانات تغطية غير معتمدة على التوزيع لدرجات الوكلاء، أو حدود عدم يقين تركيبي لخطوط إنتاج الوكلاء المتعددة، أو قواعد امتناع مبدئية عندما تكون ثقة التقييم منخفضة.

2. المنهجية: إطار عمل AgentPulse

يقترح المؤلفون AgentPulse، وهو إطار عمل للتقييم المستمر يعامل عدم اليقين كمخرج أساسي. يقوم النظام بتقييم 50 وكيلًا باستخدام درجة مركبة رباعية العوامل ($AP$) تُجمع كل ساعة من 19 مصدر بيانات:
$$AP(a) = 0.35 B(a) + 0.25 A(a) + 0.20 S(a) + 0.20 E(a)$$
حيث يمثل $B$ أداء المعيار المرجعي (Benchmark)، و$A$ التبني (Adoption) (مثل نجوم GitHub، والتحميلات)، و$S$ الشعور (Sentiment) (المجمع من 9 منصات)، و$E$ صحة النظام البيئي (Ecosystem).

يعتمد إطار العمل على أربعة ركائز منهجية أساسية:

2.1 التنبؤ غير المعتمد على التوزيع (التنبؤ الموحد المنقسم وACI)

للتنبؤ بالدرجات قبل $h$ من الساعات، يستخدم النظام نموذج ارتداد نحو المتوسط. ولضمان التغطية دون افتراض توزيع بيانات محدد:

• التنبؤ الموحد المنقسم (Split Conformal Prediction): يتم تقسيم تاريخ تسجيل الدرجات إلى مجموعة تدريب (70%) ومجموعة معايرة (30%). يتم حساب درجات عدم التطابق، واختيار المئينية $\hat{q}_{1-\alpha}$ لبناء الفترات $C_{1-\alpha}$. وهذا يضمن أن $\Pr[AP_{t+h} \in C_{1-\alpha}] \ge 1-\alpha$ في ظل شرط التبادلية (exchangeability).
• الاستدلال الموحد التكيفي (Adaptive Conformal Inference - ACI): للتعامل مع تحولات التوزيع الناتجة عن إصدارات الوكلاء (التي تنتهك التبادلية)، يقوم ACI بتعديل مستوى عدم التغطية $\alpha_t$ عبر الإنترنت. إذا وقعت ملاحظة خارج الفترة، يتم زيادة $\alpha$ لتوسيع الفترة حتى استعادة التغطية.

2.2 التغطية الشرطية (Mondrian Conformal)

يوفر التنبؤ الموحد القياسي تغطية هامشية (متوسطة عبر جميع الوكلاء)، مما قد يخفي الأداء الضعيف لوكلاء معينين يتسمون بالتقلب. طبق المؤلفون التنبؤ الموحد من نوع موندريان (Mondrian conformal prediction)، حيث تم تصنيف الوكلاء إلى مجموعات "مستقرة" و"متقلبة" بناءً على الانحراف المعياري عبر المصادر ($\sigma_{cross}$). ويتم حساب مجموعات معايرة ومئينات منفصلة لكل مجموعة، مما يضمن ضمانات التغطية الشرطية للوكلاء المتقلبين الذين قد يفشلون تحت الطرق القياسية.

2.3 عدم اليقين التركيبي لخطوط الإنتاج (Pipelines)

بالنسبة لخطوط إنتاج الوكلاء المتعددة ($a_1 \to a_2$)، يستنتج إطار العمل حدود عدم اليقين للقياس المركب:

• حد الاستقلال: $\sigma_{pipeline} = \sqrt{\sigma_1^2 + \sigma_2^2}$.
• الحد في الحالة الأسوأ: $\sigma_{pipeline} \le \sigma_1 + \sigma_2$.
  وقد تم التحقق من صحة هذه الحدود عبر المحاكاة عبر ارتباطات المراحل البينية $\rho \in [-0.5, 0.9]$.

2.4 الامتناع الانتقائي والتحكم في معدل الاكتشاف الخاطئ (FDR)

لإدارة موثوقية التصنيف:

• الامتناع الموحد (Conformal Abstention): في المقارنات الثنائية، إذا كانت فترة الثقة لفرق الدرجة $\Delta_{ab}$ تحتوي على الصفر، يمتنع النظام عن التصنيف. وهذا يتحكم في معدل التصنيف الخاطئ.
• تصحيح FDR: بالنسبة للاختبارات المتعددة على نطاق لوحة المتصدرين (1,225 زوجًا)، يتم تطبيق إجراء بنجاميني-هوتشبرج (BH) للتحكم في معدل الاكتشاف الخاطئ (FDR)، مما يضمن أن نسبة الأزواج المرتبة بشكل خاطئ من بين جميع الأزواج المرتبة تظل أقل من عتبة مستهدفة.

3. النتائج الرئيسية

3.1 المعايرة والتغطية

• خطأ المعايرة: حققت الفترات الموحدة أخطاء معايرة أقل من 0.02 عبر جميع المستويات الاسمية عند أفق 24 ساعة.
• المقارنة بالنماذج البارامترية/البوتستراب: كانت الفترات البارامترية متحفظة بشكل منهجي (أوسع مما يجب). أما فترات البوتستراب فكانت متحفظة بشكل متوسط في الآفاق القصيرة، لكنها عانت من نقص التغطية (74% تغطية مقابل 80% اسمية) عند 72 ساعة بسبب عدم الاستقرار الزمني. حافظت الطرق الموحدة (Conformal) على تغطية قوية (79% عند 72 ساعة).
• الاستجابة التكيفية: بعد إصدارات الوكلاء، قام ACI بتوسيع الفترات بشكل صحيح بنسبة 35% خلال 6 ساعات، وعاد للتقارب خلال 48 ساعة، بينما عانت الطرق الثابتة من انخفاض في التغطية.

3.2 تحسينات التغطية الشرطية

• الوكلاء المتقلبون: تحت التنبؤ الموحد القياسي، كان متوسط تغطية الوكلاء المتقلبين (عالي $\sigma_{cross}$) هو 64.6% (11 من أصل 15 وكيلًا تحت 75%).
• تصحيح موندريان: من خلال تصنيف الوكلاء، رفع نظام موندريان التغطية للوكلاء المتقلبين إلى 80.4% (2 فقط من أصل 15 تحت 75%)، وذلك على حساب توسيع الفترات لتلك المجموعة المحددة.
• التوزيع العام: بلغ متوسط التغطية لكل وكيل عبر 50 وكيلًا 80.4%، مع وقوع 90% من الوكلاء ضمن نطاق [72%، 90%].

3.3 استقرار خطوط الإنتاج والتصنيف

• حدود خطوط الإنتاج: أكدت عمليات المحاكاة أن عدم اليقين الحقيقي لخطوط الإنتاج يقع بين حد الاستقلال وحد الحالة الأسوأ للارتباطات الإيجابية.
• معدلات الامتناع: عند $\alpha=0.20$، أدى 31% من الأزواج إلى تفعيل الامتناع. بعد تصحيح BH للتحكم في FDR، تم تصنيف 50% من الأزواج بثقة، بينما تم وضع علامة "غير مؤكد" على الباقي.
• تباعد الإشارات: كان تباعد الشعور عبر المصادر مؤشرًا قويًا على عدم استقرار التصنيف ($r=0.64, p<0.01$).

3.4 التحقق من الصحة

• الصلاحية التنبؤية: تنبأت تركيبة فرعية تستبعد إشارات GitHub بنجوم GitHub ($\rho_s=0.52$) وأسئلة Stack Overflow ($\rho_s=0.49$).
• التحكم في الدورانية (Circularity): أكد التحقق أن الإطار يلتقط إشارات تتجاوز المعايير المرجحية القياسية ($\rho_s=0.52, p<0.01, n=35$).
• تحولات التصنيف: اختلف التصنيف المركب بشكل كبير عن التصنيفات المعتمدة على المعايير فقط، خاصة للوكلاء ذوي التبني العالي ولكن درجات المعيار المنخفضة، أو الوكلاء مغلقي المصدر الذين يفتقرون لإشارات التبني.

4. الأهمية والادعاءات

يزعم البحث أن AgentPulse يعالج فجوة حرجة في تقييم الذكاء الاصطناعي من خلال تقديم أول إطار عمل يقدم ضمانات تغطية غير معتمدة على التوزيع لتقييم الوكلاء المستمر والمتعدد المصادر.

يؤكد المؤلفون أن مساهمتهم ليست في اختراع التنبؤ الموحد المنقسم نفسه، بل في تطبيقه الصارم على مجال يتميز بأربعة تحديات متميزة:

1. انتهاكات التبادلية الهيكلية: تمت معالجتها عبر ACI للتعامل مع إصدارات الوكلاء.
2. فشل التغطية الشرطية: تمت معالجته عبر التنبؤ الموحد من نوع موندريان باستخدام تصنيف $\sigma_{cross}$، مما حسن بشكل كبير الموثوقية للوكلاء المتقلبين.
3. البنية التركيبية: تمت معالجتها عبر حدود انتشار عدم اليقين التي تم التحقق منها لخطوط الإنتاج.
4. الاختبارات المتعددة على نطاق لوحة المتصدرين: تمت معالجتها عبر التحكم في FDR من خلال الامتناع.

يُظهر العمل أن الطرق غير المعتمدة على التوزيع تتفوق على مناهج إعادة أخذ العينات القياسية (bootstrap) في ظل عدم الاستقرار الزمني. ومن خلال معاملة عدم اليقين كمخرج أولي، يتيح إطار العمل تقييمًا أكثر موثوقية وديناميكية وتدرجًا للوكلاء الذكيين، متجاوزًا مجرد التقديرات النقطية الثابتة إلى فهم احتمالي لجودة الوكيل.

القيود التي أقر بها المؤلفون:

• يفترض ACI وجود تحولات توزيع محدودة؛ التغيرات الجذرية غير المحدودة قد تنتهك التقارب.
• يمكن أن تكون الحدود التركيبية غير متحفظة (anti-conservative) في حالة الارتباط السلبي بين المراحل.
• يفترض التحكم في FDR استقلال أو اعتماد ريجريشن إيجابي بين الإحصائيات المختبرة.
• دراسة الاستئصال ($n=11$) كانت ضعيفة القدرة إحصائيًا.
• معالجة اللغة الطبيعية (NLP) الحالية تقتصر على اللغة الإنجليزية فقط، والوكلاء مغلقو المصدر يفتقرون لإشارات التبني.