ملخص تقني: قواعد التسجيل الملائمة لتقدير عدم اليقين في الوكلاء (Agentic Uncertainty)

بيان المشكلة

تعمل وكلاء النماذج اللغوية بشكل متزايد من خلال مسارات ممتدة تتضمن الملاحظة، والاستنتاج، واستخدام الأدوات، ومراجعة الخطط. في هذه الإعدادات، لا يعد عدم اليقين مجرد خاصية للإجابة النهائية فحسب، بل هو إشارة ديناميكية تتطور مع تاريخ التفاعل. وبينما انتقلت الأعمال الحديثة نحو توليد إشارات عدم يقين على مستوى المسار (مثل المعايرة خطوة بخ خطوة، وعدم اليقين المنتشر)، فإن تقييم هذه الإشارات لا يزال معيباً.

مقاييس التقييم الحالية، مثل AUROC وAUPRC وخطأ المعايرة المتوقع للمسار (T-ECE) ودرجات بريير (Brier scores) المجمعة للمسار، تخلط بين فائدة الترتيب (ranking usefulness) والصدق الاحتمالي (probabilistic truthfulness).

• المقاييس القائمة على الترتيب (AUROC/AUPRC): تقيس القدرة على التمييز، لكنها غير متغيرة تجاه التحويلات الرتيبة للاحتمالات، مما يفشل في التمييز بين الاحتمالات المعايرة جيداً وبين التشويهات الناتجة عن الثقة المفرطة أو نقص الثقة.
• مقاييس المعايرة (T-ECE): تقيس المعايرة الهامشية لكل فئة (binwise)، لكنها "عمياء عن الدقة" (resolution-blind)، حيث تكافئ التوقعات التي تكون صحيحة في المتوسط داخل الفئات حتى لو كانت تفتقر إلى القدرة التمييزية داخل تلك الفئات.
• الدرجات الملائمة المجمعة (مثل تطبيق خسارة بريير على ملخص مسار مدمج): هي ملائمة تماماً (strictly proper) فقط للملخص المدمج، وليس لمسار الاحتمال المشروط بالسابقة (prefix-conditioned probability trace) كاملاً.

المشكلة الجوهرية هي غياب مُقيّم ملائم تماماً (strictly proper evaluator) لعملية احتمالية النجاح المشروطة بالسابقة ($q_t = P_\pi(Y=1 | H_t)$). وبدون مثل هذا المُقيّم، يستحيل استخراج مسارات احتمالية صادقة تماماً من الوكلاء، وهو أمر بالغ الأهمية للتدخلات اللاحقة مثل التأجيل (deferral)، أو المراجعة (reflection)، أو تسليم المهام للبشر (human handoff) التي تعتمد على مقياس الاحتمال بدلاً من مجرد الترتيب.

المنهجية

1. درجة المسار الملائمة (TPS)

يقدم المؤلفون درجة المسار الملائمة (TPS)، وهي عائلة من قواعد التسجيل الملائمة تماماً والمستقلة عن المتنبئ لعدم اليقين على مستوى المسار.

• التعريف: تقوم TPS بتجميع قاعدة تسجيل ثنائية ملائمة تماماً ($S_{\alpha,\beta}$) عبر خطوات المسار، موازنة بجدول زمني يختاره المُقيّم ($w_t$):
  $$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$$
  حيث $F_t$ هو احتمال النجاح النهائي الذي يبلغه الوكيل بناءً على التاريخ $H_t$، و $Y$ هي النتيجة النهائية.
• الملائمة التامة (Strict Propriety): يثبت المؤلفون (النظرية 4.1) أنه إذا كانت قاعدة التسجيل الثنائية الأساسية ملائمة تماماً والأوزان موجبة، فإن TPS تكون ملائمة تماماً للعملية الكاملة المشروطة بالسابقة. وهذا يعني أن الدرجة المتوقعة يتم تعظيمها بشكل فريد عندما يبلغ الوكيل الاحتمال الشرطي الحقيقي $q_t$ عند كل خطوة.
• عائلة الدرجات: تستخدم الطريقة عائلة بيتا من الدرجات ($S_{\alpha,\beta}$)، المشتقة من بناء مزيج العتبة لـ Schervish–Buja، وتتضمن هذه العائلة "الدرجة اللوغاريتمية" (log score) كحالة حدية، و"درجة بريير" (Brier score) حيث $\alpha=\beta=1$، وتسمح بتشكيل التكلفة غير المتماثل عبر المعاملات $\alpha$ و $\beta$.

2. التعامل مع المسارات المبتورة (Censored Trajectories)

في الاختبارات المعيارية العملية، غالباً ما تكون المسارات مبتورة إدارياً (مثلاً: الوصول إلى حد أقصى لعدد الخطوات) قبل ملاحظة النتيجة $Y$. توسع الورقة TPS لهذه الحالات عبر الإسقاط الشرطي:

• الدرجة المختزلة الدقيقة ($TPS^{cen,exact}$): من خلال إسقاط درجة البيانات الكاملة على السابقة الملحوظة، يشتق المؤلفون درجة مبتورة دقيقة تعتمد على احتمال نجاح الاستمرار $q_Z = P_\pi(Y=1 | H_Z)$ عند نقطة التوقف. هذه الدرجة ملائمة تماماً للسابقة الملحوظة.
• التقريب البسيط للمسارات المبتورة ($TPS^{cen,simple}$): عندما لا يتم تقدير $q_Z$، يقترح المؤلفون تقريباً تشغيلياً متشائماً بوضع $q_Z \approx 0$. هذا يعامل السابقة المبتورة كما لو أن فرع الفشل قد حدث. يثبت المؤلفون أن هذا ملائم تماماً لهدف العلامة الزائفة ($m_t = P_\pi(\Delta=1, Y=1 | H_t)$)، والذي يتقارب مع الهدف الحقيقي فقط إذا كانت كتلة النجاح المفقودة تساوي صفراً.

3. القيود النظرية للمقاييس الحالية

توضح الورقة رسمياً (النظرية أ و ب) لماذا تفشل المقاييس الشائعة في استخراج المسار الكامل:

• T-ECE: هو "أعمى عن الدقة"؛ حيث يمكن للتوقع الثابت الذي يساوي متوسط الفئة أن يحقق خطأ صفرياً حتى لو كان يتجاهل كل التباين داخل الفئة.
• خسارة بريير/اللوغاريتم المجمعة (Scalarized Brier/Log Loss): المطبقة على المسارات المجمعة (مثل $\Phi_{last}, \Phi_{avg}, \Phi_{min}$) تستخرج فقط الرقم المجمع، وليس المسار. بالنسبة للمجمعات مثل $\Phi_{avg}$ أو $\Phi_{min}$، فإن المسار الصادق يمكن أن يكون دون المستوى الأمثل مقارنة بمسار غير صادق يتلاعب بالتجميع ليتوافق مع الرقم المجمع الأمثل.

النتائج الرئيسية

1. فجوة ثبات المعايرة (Calibration-Invariance Gap)

تكشف التجارب على Tau2-Bench عن تباين كبير بين مقاييس الترتيب ومقاييس التسجيل الملائمة.

• تأثير إعادة المعايرة: عندما تمت إعادة معايرة إشارات الثقة اللفظية باستخدام "Platt scaling"، تغير AUROC بشكل طفيف ($\Delta/SE \approx 0.3$)، بينما تحسنت TPS (log endpoint) بشكل كبير ($\Delta/SE \approx 43$).
• الاستنتاج: فشلت مقاييس الترتيب في اكتشاف أن التدفق الخام كان سيئ المعايرة بشدة (مشبع بالقرب من 0.9–1.0)، بينما حددت TPS بشكل صحيح خطأ مقياس الاحتمال. التدفق المعاد معايرته بالكاد تجاوز المرجع الأساسي في TPS، رغم تشابه أداء الترتيب.

2. تأثير البتر (Censoring)

في WebShop، حيث تم بتر 47% من المسارات إدارياً (الوصوصل إلى حدود الخطوات)، تغيرت مجتمع التقييم بشكل كبير.

• تحيز الاختيار: التقييم المقتصر على المسارات الكاملة استبعد مجموعة فرعية أكثر صعوبة هيكلياً (المسارات المبتورة كانت أطول بـ 3 مرات).
• إزاحة الدرجة: تضمين المسارات المبتورة عبر التقريب البسيط للمسارات المبتورة أدى إلى إزاحة متوسط TPS بمقدار +0.159 نات (95% CI: [+0.133, +0.188]) مقارنة بالتقييم المقتصر على المسارات الكاملة فقط.
• حساسية المتنبئ: كانت الإزاحة إيجابية للمتنبئات التي تعاني من نقص الثقة وسلبية للمتنبئات التي تعاني من فرط الثقة (مثل احتمالية توكن الإكمال)، مما يثبت أن التسجيل الواعي بالبتر يغير الحكم بناءً على نظام الثقة.

3. التحقق من التوسعات المبتورة

• البتر الاصطناعي: في المسارات الكاملة من StrategyQA وTau2-Bench وHotpotQA، قام المؤلفون ببتر النتوات اصطناعياً. طابق التفكيك المغلق لدرجة المسار المبتور الفرق المحسوب مباشرة بدقة عددية، مما أثبت الاشتقاق النظري.
• تدقيق مونت كارلو: في HotpotQA، قدر المؤلفون $q_Z$ عبر عمليات "rollout" مونت كارلو. اختلفت الدرجة المختزلة الدقيقة جوهرياً عن التقريب البسيط $q_Z \approx 0$، مما يؤكد أن اختيار تقدير $q_Z$ يؤثر على الدرجة النهائية.

الأهمية والادعاءات

تدعي الورقة أنها تضع إطاراً تأسيسياً لـ التقييم الملائم تماماً لعدم اليقين في الوكلاء. تكمن أهميتها في:

1. الفصل بين الاستخراج والترتيب: توضح أن مقاييس الترتيب (AUROC) ومقاييس المعايرة (ECE) لا تستخرج تماماً مسار الاحتمال المطلوب لاتخاذ القرارات الاحتمالية.
2. الضرورة التشغيلية للدرجات الملائمة: تظهر النتائج التجريبية أن إعادة معايرة الاحتمال يمكن أن تغير حكم TPS بشكل جذري بينما تترك مقاييس الترتيب دون تغيير. وهذا يعني أنه بالنسبة للتطبيقات التي تعتمد على عتبات الاحتمال (التأجيل، التسليم)، فإن ممارسات التقييم الحالية قد تكون مضللة.
3. التعامل مع قيود العالم الحقيقي: من خلال توسيع التسجيل الملائم ليشمل المسارات المبتورة إدارياً، توفر الورقة طريقة لتقييم الوكلاء في الاختبارات المعيارية ذات ميزانيات الخطوات دون التخلص من الحالات الصعبة والمبتورة أو تصنيفها بشكل خاطئ.

يحافظ المؤلفون على نطاق متواضع، مشيرين إلى أن الإطار يفترض بترًا إدارياً غير معلوماتي ويستهدف نتائج ثنائية نهائية. كما يصرحون صراحة بأن عملهم يركز على جانب المُقيّم من إشارات عدم اليقين، وهو أمر مختلف عن الطرق المستخدمة في جانب المتنبئ لتوليدها. إطار TPS مستقل عن مصدر الإشارة (الثقة اللفظية، احتمالات التوكن، إلخ) طالما أنها تُعبر كاحتمال نجاح مشروط بالسابقة.