ملخص تقني: التكهن أثناء التفكير

بيان المشكلة

غالبًا ما تتحمل وكلاء النماذج اللغوية الكبيرة (LLM agents) زمن استجابة (latency) مرتفعًا في وقت الحقيقة (wall-clock latency) أثناء انتظار نتائج استدعاء الأدوات الخارجية (مثل البحث عبر الويب، أو استعلامات قواعد البيانات، أو استدعاءات واجهة برمجة التط التطبيقات API). وتعد استراتيجية التكهن باستدعاء الأدوات (tool-call speculation) استراتيجية تخفيف واعدة، حيث يتنبأ النظام باستدعاء الأداة التالي للوكيل وينفذه مسبقًا بالتوازي مع تفكير الوكيل. وإذا تطابق التنبؤ تمامًا مع الاستدعاء الفعلي الذي سيقوم به الوكيل لاحقًا، يتم إعادة استخدام النتيجة المنفذة مسبقًا، مما يؤدي فعليًا إلى إخفاء زمن الاستجابة.

ومع ذلك، تعاني أساليب التكهن الحالية من فجوة بين المتكهن والوكيل (speculator–agent gap). تعتمد الأساليب الحالية على:

1. نماذج مسودة خارجية (External draft models): نماذج لغوية أصغر تحاكي مساعدًا عامًا يستخدم الأدوات، لكنها تفشل في التوافق مع السلوك المحدد للوكيل المستخدم.
2. سجلات المسارات المخزنة مؤقتًا (Cached traces): سجلات استدعاء الأدوات التاريخية التي قد تتوافق مع استعلامات مستخدم أو حالات تفكير أو بيئات مختلفة أو قديمة.

تتسبب هذه الأساليب في عبء على النظام (أوزان نماذج إضافية، ذاكرة KV cache منفصلة) وغالبًا ما تفشل في التنبؤ بـ الاستدعاء المهيكل التالي المحدد الذي سيقوم به الوكيل المستهدف، مما يحد من فائدة التكهن.

المنهجية

تقترح الورقة البحثية الوكيل ذو التكهن الذاتي (Self-Speculating Agent)، وهو نموذج واحد مُدرب للعمل في وضعين متميزين دون الحاجة إلى معاملات (parameters) أو ذاكرة KV cache منفصلة:

1. وضع الوكيل (Agent Mode): يحل النموذج المهام من خلال التداخل بين التفكير، واستدعاء الأدوات، والملاحظات، والإجابات النهائية.
2. وضع المتكهن (Speculator Mode): بالنظر إلى مسار وسيط و"لاحقة تكهن" (speculation suffix) ثابتة، يتنبأ النموذج مباشرة باستدعاء الأداة المهيكل التالي (اسم الأداة ومعاملاتها).

التعلم التعزيزي المشترك للوكيل والمتكهن (Joint Agent–Speculator RL)

لتدريب سياسة موحدة ($\pi_\theta$) لكلا الهدفين دون تدهور أداء المهمة، يقترح المؤلفون إطار عمل التعلم التعزيزي المشترك للوكيل والمتكهن:

• توليد البيانات في الوقت الفعلي (On-Policy Data Generation): تُشتق أهداف التكهن مباشرة من مسارات (rollouts) الوكيل الحالية. لكل دور استدعاء أداة $t$ في مسار تم أخذ عينة منه، يُستخدم البادئة $h_t$ لبناء مدخل المتكهن، ويعمل استدعاء الوكيل الفعلي التالي $a_t$ كهدف حقيقي (ground truth).
• صياغة المكافأة (Reward Formulation):
  • مكافأة الوكيل ($R_{ag}$): تعتمد على النجاح النهائي في المهمة (مثل صحة الإجابة).
  • مكافأة التكهن ($R_{sp}$): مكافأة مشروطة باسم الأداة للمعاملات. تتطلب مطابقة دقيقة لاسم الأداة ($R_{name}$) وتحسب درجة macro token-F1 لقاموس المعاملات ($R_{args}$). المكافأة النهائية هي حاصل الضرب $R_{sp} = R_{name} \cdot R_{args}$.
• التحسين التناوبي (Alternating Optimization): يتناوب التدريب بين تحديثات الوكيل وتحديثات المتكهن (على سبيل المثال، جدول 4:8). وهذا يمنع الوضعين من التداخل مع آفاق التحسين الخاصة بكل منهما.
• تقنيات الاستقرار (Stabilization Techniques):
  1. التمهيد بالضبط الدقيق الموجه (SFT Warmup): مرحلة تمهيدية من الضبط الدقيق الموجه على مزيج من المسارات الناجحة وأمثلة التكهن لتأسيس سلوك جيد التكوين في كلا الوضعين.
  2. إعادة ضبط المُحسّن (Optimizer Resets): يتم إعادة ضبط حالة المُحسّن (optimizer state) كلما تغير الجدول التدريبي بين وضعي الوكيل والمتكهن لمنع انتقال الزخم (momentum carryover) من هدف إلى آخر.
  3. عقوبة التكرار (Penalty for Repetition): تتضمن مكافأة الوكيل عقوبة على استدعاءات الأدوات المتكررة وغير ذات المعنى لمنع الانهيار في حلقات غير منتجة.

المساهمات الرئيسية

1. تحديد فجوة المتكهن والوكيل: يوضح المؤلفون أن نماذج المسودة الأصغر الجاهزة غالبًا ما تفشل في مطابقة توزيع الاستدعاء التالي للوكيل المستهدف، بينما يكون الوكيل المستهدف نفسه متنبئًا أقوى بسلوكه.
2. بنية الوكيل ذو التكهن الذاتي: تصميم نموذج موحد ينتقل بين حل المهام والتنبؤ بالاستدعاء التالي، مع إعادة استخدام ذاكرة الـ prefix KV cache بالكامل، مما يلغي الحاجة إلى نماذج مساعدة أو سجلات مسارات تاريخية.
3. التعلم التعزيزي المشترك للوكيل والمتكهن: منهجية تدريب تشتق أهداف التكهن من مسارات الوكيل الخاصة بها وتناوب التحديثات للحفاظ على أداء حل المهام مع تحسين دقة التكهن.

النتائج التجريبية

تم تقييم الطريقة على مهام Agentic SearchQA (مثل HotpotQA، وMuSiQue، وBrowseComp-Plus) و Conversational Tool-Use (مثل $\tau$-bench Airline وRetail) باستخدام نماذج خلفية Qwen3-4B و Qwen3.5-4B.

• أداء التكهن: حسن طريقة التعلم التعزيزي المشترك بشكل كبير درجة Hit@1 (المطابقة الدقيقة لاسم الأداة والمعاملات).
  • Qwen3-4B: تحسنت من 44.1 (خط الأساس SFT) إلى 61.2.
  • Qwen3.5-4B: تحسنت من 48.9 (خط الأساس SFT) إلى 66.3.
  • تفوقت هذه النتائج على المتكهنين الخارجيين (نماذج أصغر من نفس العائلة) وعلى الوكيل الأساسي الذي تم توجيهه للتكهن باستدعاءاته.
• أداء المهمة: من المهم ملاحظة أن معدلات نجاح المهام النهائية ظلت مستقرة أو تحسنت قليلاً (على سبيل المثال، انتقل نجاح مهمة Qwen3-4B من 26.6 إلى 27.7)، مما يؤكد أن التدريب مزدوج الوضع لم يؤدِ إلى تدهور قدرات الوكيل الأساسية في حل المهام.
• الكفاءة: قلل التكهن الذاتي من عبء الخدمة من خلال تجنب الحاجة إلى أوزان نموذج ثانٍ وذاكرة KV cache منفصلة، مع الحفاظ على إعادة استخدام ذاكرة الـ prefix cache.

الأهمية والادعاءات

تدعي الورقة البحثية أنه يمكن دمج التكهن باستدعاء الأدوات مباشرة داخل الوكيل نفسه. ومن خلال توحيد الوكيل والمتكهن داخل نموذج واحد وتدريبهما معًا عبر التعلم التعزيزي في الوقت الفعلي (on-policy RL)، يحقق النظام تنبؤًا عالي الدقة للاستدعاء التالي دون العبء الذي يوفره النظام أو مشاﻟات التوافق المرتبطة بنماذج المسودة الخارجية.

يضع المؤلفون هذا العمل كخطوة أولية نحو الاستخدام التكهني للأدوات، مشيرين إلى أن الطريقة مناسبة بشكل خاص للأدوات للقراءة فقط (البحث، الاسترجاع، استعلامات قواعد البيانات) حيث يمكن التخلص من عمليات التنفيذ المسبقة غير الصحيحة بأمان. كما يقرون بالقيود المتعلقة بالأدوات التي تغير الحالة الخارجية (مثل وضع الطلبات)، والتي ستتطلب ضمانات إضافية مثل أوضاع التجربة (dry-run modes) أو التراجع عن المعاملات (transactional rollback)، ويشيرون إلى أن التقييم حاليًا محدود بنماذج بمقياس 4B وعائلات مهام محددة.