ملخص تقني: كم عدد الأدوات التي يجب أن يراها وكيل النموذج اللغوي الكبير (LLM Agent)؟ إجابة مصححة بالاحتمالات

1. بيان المشكلة

تتطلب وكلاء النماذج اللغوية الكبيرة (LLM agents) نظام استرجاع لاختيار قائمة قصيرة من الأدوات المرشحة من سجل الأدوات قبل أن يحاول النموذج تنفيذ مهمة ما. ويتمثل أحد الخيارات التصميمية الحرجة في تحديد عمق البحث $K$ (عدد الأدوات المعروضة). تعتمد الأنظمة الحالية عادةً على قيمة $K$ ثابتة (على سبيل المثال، عرض أفضل 5 أو 10 أدوات) بغض النظر عن صعوبة الاستعلام. ويواجه هذا النهج تحديين متضاربين:

• أدوات قليلة جداً: قد يتم استبعاد الأداة الصحيحة من القائمة القصيرة، مما يؤدي إلى فشل فوري.
• أدوات كثيرة جداً: يعاني النموذج من صعوبة في تحديد الأداة الصحيحة وسط المشتتات الكثيرة، وتزداد تكاليف الرموز (tokens) بشكل كبير (حوالي 20 ألف رمز لـ 100 أداة).

لا يوجد مقياس معياري لتقييم ما إذا كان العمق المختار $K$ مناسباً لاستعلام معين أو سجل أدوات معين. فمقاييس الاسترجاع الحالية (مثل $nDCG@K$) مصمرة لاسترجاع المستندات ولا تأخذ في الاعتبار القيود المحددة لاختيار الأدوات، حيث يكون حجم المجموعة صغيراً (50-500 أداة) ويلعب الحظ العشوائي دوراً كبيراً في النجاح.

2. المنهجية

2.1 مقياس "البتات فوق العشوائية" (Bits-over-Random - BoR)

يقدم البحث مقياس البتات فوق العشوائية (BoR) كأداة تقييم لتصحيح البحث بناءً على الاحتمالات لعمق البحث. يقيس BoR معدل نجاح النظام بالنسبة لاحتمالية النجاح عبر الاختيار العشوائي عند نفس العمق.

• الصيغة: $BoR = \log_2(P_{obs} / P_{rand})$
  • $P_{obs}$: معدل النجاح الملحوظ (نسبة الاستعلامات التي تكون فيها الأداة الصحيحة ضمن أفضل $K$).
  • $P_{rand}$: احتمال تضمين عنصر ذي صلة عن طريق الصدفة، ويُحسب باستخدام التوزيع الهندسي الفائق (hypergeometric distribution). بالنسبة للاستعلامات ذات الأداة الواحدة ($R_q=1$)، فإن $P_{rand} = K/N$، حيث $N$ هو حجم سجل الأدوات.
• التفسير:
  • $BoR = 0$: الأداء يعادل الصدفة العشوائية.
  • $BoR > 0$: الأداء يتجاوز الصدفة العشوائية.
  • خاصية التقليم الذاتي (Self-Pruning Property): مع زيادة $K$، تزداد $P_{rand}$. وبناءً على ذلك، تنخفض إشارة المكافأة (BoR) طبيعياً مع نمو القائمة القصيرة، حتى لو ظل $P_{obs}$ ثابتاً. وهذا يخلق عقوبة ذاتية للعمق غير الضروري دون الحاجة إلى هندسة عقوبات للعمق.

2.2 صياغة التعلم التعزيزي (RL)

يؤطر المؤلفون عملية اختيار $K$ كعملية اتخاذ قرار ماركوف (MDP) لاختبار فائدة مقياس BoR:

• الحالة (State): يلاحظ الوكيل درجات التشابه للأدوات التي تم فحصها حتى الآن، والعمق الحالي $k_t$، وحجم السجل $N$، وسقف $BoR$.
• الإجراء (Action): قرار ثنائي: توقف (عرض القائمة القصيرة الحالية للنموذج اللغوي) أو استمرار (فحص المرشح التالي).
• المكافأة (Reward):
  • إذا توقف الوكيل وكانت الأداة الصحيحة موجودة: المكافأة = $-\log_2(P_{rand})$.
  • إذا لم تكن الأداة الصحيحة موجودة: المكافأة = 0.
  • تكلفة خطوة صغيرة تثبط الاستكشاف غير الضروري ولكنها لا تضع تفضيلاً محدداً للعمق.
• الوكلاء: تستخدم الدراسة وكلاء بسيطين للغاية (DQN و Tabular Q-learning) لسبر خصائص المقياس بدلاً من اقتراح بنية إنتاجية.

2.3 الخطوط المرجعية (Baselines)

تتم مقارنة نهج BoR مقابل:

1. $K$-الثابت (Fixed-$K$): تقديم أفضل $K$ من الأدوات لجميع الاستعلامات.
2. استبعاد F1 (F1 Ablation): وكيل تعلم تعزيزي مدرب باستخدام مكافأة قائمة على F1 (حيث $F1 = 2/(K+1)$ عندما يكون الاستدعاء=1) لاختبار ما إذا كان الوعي بالعمق وحده، بدون تصحيح الاحتمالات، يؤدي إلى سلوك تكيفي.

3. النتائج الرئيسية

يمتد التقييم عبر ثلاثة اختبارات مرجعية (BFCL، MetaTool، ToolBench)، وعدة مصنفات (BM25، MiniLM، BGE)، وأحجام سجلات تتراوح من 20 إلى 3,251 أداة.

3.1 العمق التكيفي مقابل العمق الثابت

• BFCL (370 أداة): حقق وكيل BoR تغطية بنسبة 90.3% بمتوسط عمق قدره $K=7.4$، وهو ما يكاد يطابق تغطية العمق الثابت $K=50$ (90.8%) مع تقديم أدوات أقل بـ 7 أضعاف.
• ToolBench (3,251 أداة): حقق العمق الثابت $K=5$ تغطية إجمالية أعلى (64.7%) من وكيل BoR (61.9%). ومع ذلك، فشل الخط المرجعي الثابت تماماً في الاستعلامات "الصعبة" (حيث كانت الأداة الصحيحة مصنفة بين المركز 6 و20). وقد كيّف وكيل BoR عمقه إلى $K=5.7$ في هذه الاستعلامات الصعبة، مستعيداً 16.7% من الحالات التي فشل فيها $K$-الثابت تماماً.
• MetaTool: أظهر وكيل BoR حساسية لحجم السجل وجودة المصنف. فمع مصنف BM25 ضعيف، قام بتوسيع العمق بشكل كبير ($K=80.7$) للتعويض عن ضعف التصنيف، بينما ظل خط F1 المرجعي ضحلاً بغض النظر عن جودة المصنف.

3.2 جودة المصنف والتكيف

تتكيف إشارة مكافأة BoR مع جودة المصنف الأساسي:

• مع مصنفات التضمين (Embedding) القوية (MiniLM)، توقف الوكيل مبكراً ($K \approx 1.4$) لأن الأداة الصحيحة ظهرت في المقدمة.
• مع المصنفات الضعيفة (BM25 في MetaTool)، وسع الوكيل نطاق البحث ($K \approx 80.7$) للحفاظ على الانتقائية، بينما فشل خط F1 المرجعي في التكيف، حيث توقف مبكراً وفقد الأداة الصحيحة.

3.3 التحقق من اختيار الأدوات في المهام اللاحقة

باستخدام Claude Sonnet 4.6 على BFCL، تحقق المؤلفون مما إذا كانت القوائم الأقصر والتكيفية تحسن قدرة النموذج اللغوي على اختيار الأداة الصحيحة من المجموعة المقدمة:

• دقة الاختيار: عندما كانت الأداة الصحيحة موجودة، اختار Claude الأداة الصحيحة بنسبة 93.1% مع القوائم القصيرة لوكيل BoR ($K=2.2$)، مقارنة بـ 87.1% مع $K$ ثابت قدره 5.
• الصعوبة المتوسطة: في الاستعلامات التي كانت فيها الأداة الصحيحة مصنفة في المركز 2-5، حسن وكيل BoR دقة الاختيار إلى 76.8% مقابل 60.9% لـ $K=5$ الثابت.
• الاستنتاج: تقليل عدد المشتتات (حمل المشتتات) يحسن دقة اتخاذ القرار لدى النموذج اللغوي، حتى لو كان معدل "الإيجاد" الإجمالي أقل قليلاً من خط المرجع الثابت $K$ العالي.

4. الأهمية والادعاءات

يدعي البحث المساهمات والأهمية التالية:

1. أول مقياس مصحح بالاحتمالات للعمق: يقدم BoR كأول مقياس مصمم خصيصاً لتقييم عمق البحث في اختيار الأدوات من خلال تصحيح احتمالية النجاح العشوائي، وهو عامل غالباً ما يتم تجاهله في مقاييس الاسترجاع القياسية.
2. مكافأة التقليم الذاتي: يثبت أن BoR يوفر بشكل طبيعي إشارة مكافأة تتناقص مع العمق، مما يسمح لوكيل التعلم التعزيزي بتعلم نقاط التوقف المثلى دون الحاجة إلى عقوبات هندسية للعمق.
3. الكفاءة التكيفية: تظهر الدراسة أن السياسات التكيفية يمكن أن تحقق تغطية مماثلة للقوائم الثابتة الكبيرة مع تقليل استهلاك الرموز (tokens) وتشتت النموذج بشكل كبير.
4. الفائدة التشخيصية: يمكن للمقياس تحديد المصنفات المكسورة أو الضعيفة (على سبيل المثال، عندما يُجبر الوكيل على البحث في كامل السجل للعثور على أداة، مما يشير إلى عدم فعالية المصنف).
5. الأثر اللاحق: يوفر البحث دليلاً على أن العمق التكيفي لا يسترجع الأدوات بكفاءة أكبر فحسب، بل يحسن أيضاً قدرة النموذج اللغوي على اختيار الأداة الصحيحة من خلال تقليل العبء المعرفي.

القيود المعترف بها:
يشير المؤلفون إلى أن BoR يحسن الانتقائية بدلاً من تحقيق أقصى قدر من الاستدعاء (Recall)؛ لذلك، يمكن للخطوط المرجعية ذات $K$-الثابت أن تحقق أحياناً تغطية إجمالية أعلى إذا كان العمق الموحد كافياً لمعظم الاستعلامات. كما أن وكلاء RL المستخدمين هم مجرد أدوات استكشاف بسيطة، وليسوا أنظمة إنتاجية، ويركز التقييم على ما إذا كانت الأداة موجودة، وليس على صحة تنفيذ وسائط (arguments) الأداة.