ملخص تقني: لماذا تفشل عمليات إعادة المحاولة: تلوث السياق في مسارات وكلاء النماذج اللغوية الكبيرة (LLM)

1. بيان المشكلة

عندما تفشل وكلاء النماذج اللغوية الكبيرة (LLM) في مهام متعددة الخطوات ومعززة بالأدوات، فإن الممارسة القياسية تتضمن إعادة محاولة المهمة. ومع ذلك، تظل المحاولة الفاشلة موجودة في نافذة سياق النموذج كجزء من السجل. يسبب هذا "تلوث السياق" (Context Contamination) استمرار الوكيل في حمل استنتاجات خاطئة أو مخرجات أدوات غير صحيحة، مما يؤدي فعلياً إلى رفع معدل الخطأ في المحاولات اللاحقة.

بينما لوحظت هذه الظاهرة على نطاق واسع في الممارسة العملية (على سبيل المثال، قيام الوكلاء بالإشارة المتكرر إلى نقاط نهاية/endpoints سيئة تعلموها من أخطاء سابقة)، إلا أنه لا يوجد إطار نظري رسمي يحدد كمياً كيف يتوسع هذا التلوث مع عمق المهمة، أو معدلات الخطأ، أو الميزانيات الحسابية. تركز الأدبيات الحالية على موثوقية التشغيل الواحد أو فهارس الفشل التجريبية، لكنها تخفق في نمذجة الديناميكيات عبر المحاولات التي تحدد سلوك إعادة المحاولة في العالم الحقيقي. وبناءً على ذلك، فإن استراتيجيات إعادة المحاولة الساذجة غالباً ما تهدر موارد حسابية كبيرة، كما أن افتراضات التوزيع المستقل والمتماثل (IID) القياسية تبالغ بشكل صارخ في تقدير احتمالات النجاح في سيناريوهات المحاولات المتعددة.

2. المنهجية: نموذج إعادة التشغيل الملوث بالسياق (CCRM)

يقدم المؤلفون نموذج إعادة التشغيل الملوث بالسياق (CCRM) لصياغة هذه الديناميكية. يعرّف النموذج مساراً بعمق $T$ (تسلسل من $T$ استدعاء للأدوات) حيث يقوم الوكيل بما يصل إلى $K$ من المحاولات ضمن ميزانية إجمالية قدرها $B = KT$.

الآليات الجوهرية:

• حالة التلوث ($Z_k$): حالة ثنائية $Z_k \in \{0, 1\}$ تمثل حالة السياق في المحاولة رقم $k$. حيث $Z_1 = 0$ (سياق نظيف).
• معدلات الخطأ:
  • $\epsilon_0$: معدل الخطأ الأساسي لكل خطوة عندما يكون السياق نظيفاً ($Z_k=0$).
  • $\epsilon_1$: معدل الخطأ المرتفع لكل خطوة عندما يكون السياق ملوثاً ($Z_k=1$)، حيث $\epsilon_1 > \epsilon_0$.
• ديناميكيات الانتقال: إذا فشلت المحاولة $k$ ($S_k=0$)، تتحول الحالة إلى $Z_{k+1}=1$، مما يلوث جميع المحاولات اللاحقة. إذا نجحت المحاولة، تنتهي العملية.
• احتمالية النجاح: احتمال نجاح محاولة واحدة هو $p_i = (1-\epsilon_i)^T$. وبالتالي، $p_1 < p_0$.

يعامل النموذج تسلسل المحاولات كسلسلة ماركوف (Markov chain) حيث يكون الانتقال إلى "حالة التلوث" حالة امتصاص (absorbing state) لغرض المهمة الحالية (إلى أن يحدث نجاح، مما ينهي العملية، أو يتم استنفاد الميزانية).

3. المساهمات الرئيسية والنتائج النظرية

استنتج الورقة خمس نتائج نظرية رئيسية تحت إطار CCRM:

R1: صيغة النجاح الدقيقة (النظرية 1)

استنتج المؤلفون صيغة مغلقة الاحتمال للنجاح خلال $K$ من المحاولات:
$$P(\text{succeed in } \le K) = p_0 + (1-p_0)[1 - (1-p_1)^{K-1}]$$
تأخذ هذه الصيغة في الاعتبار أن المحاولة الأولى لها الاحتمالية $p_0$ وأن جميع المحاولات اللاحقة (في حال الفشل) تمتلك الاحتمالية المتدهورة $p_1$. هذا الهيكل متماثل مع توزيع هندسي معدل يوجد في هندسة الموثوقية ولكن تم تطبيقه هنا على تلوث السياق عبر المحاولات.

R2: عبء التسلسل والتحول الطوري (النظرية 2)

تحدد الورقة كمياً "عبء التسلسل" ($\Delta K$)، وهو عدد المحاولات الإضافية المطلوبة بواسطة CCRM مقارنة بأساس إعادة التشغيل النظيف (IID) لتحقيق احتمال نجاح مستهدف $1-\delta$.

• الحد الأدنى العالمي: يؤدي التلوث دائماً إلى عبء إيجابي ($\Delta K > 0$).
• التحول الطوري: مع زيادة نسبة التلوث $\epsilon_1/\epsilon_0$ (أو زيادة عمق المسار $T$)، يمر النظام بتحول طوري. في "النظام فوق الحرج" (super-critical regime)، يتجه عدد المحاولات المطلراء $\Delta K$ إلى اللانهاية، بينما يظل أساس IID محدوداً. هذا يفسر لماذا تصبح المسارات العميقة ذات نسب التلوث العالية غير قابلة للحل عملياً باستخدام إعادة المحاولة البسيطة.

R3: تخصيص الميزانية الأمثل (النظرية 3)

بالنسبة لميزانية إجمالية ثابتة $B$، تحدد الورقة عمق المسار الأمثل $T^*$ الذي يعظم احتمال النجاح. الحل المغلق هو:
$$T^* = \sqrt{B \cdot \frac{\log(1/(1-\epsilon_1))}{\log(1/(1-\epsilon_0))}}$$
تظهر النتيجة أن التلوث الأقوى (نسبة $\epsilon_1/\epsilon_0$ أكبر) يفرض عمق مسار أمثل $T^*$ أصغر تناسبياً، مما يوصي فعلياً بمسارات أقصر وأقل عمقاً لتقليل خطر الدخول في حالة التلوث.

R4: الحد الأدنى للمعلومات (النظرية 4)

باستخدام طريقة "لو كام" (Le Cam's method) وبناء فرضيتين (التمييز بين نموذج IID ونموذج CCRM)، يثبت المؤلفون أنه لا يمكن لأي سياسة تحقيق احتمال نجاح $1-\delta$ بأقل من $K_{CCRM} - O(1)$ من المحاولات. وهذا يثبت أن الصيغة المستنتجة دقيقة حتى عامل ثابت.

R5: هيمنة إعادة التشغيل النظيف (النظرية 5)

تثبت الورقة أن مسح نافذة السياق قبل إعادة المحاولة (إعادة ضبط $Z_k=0$) يتفوق تماماً على استراتيجية إعادة المحاولة "الملوثة" القياسية. يتم اشتقاق نسبة التحسن صراحة، مما يوضح أن مسح السياق يقلل بشكل كبير من عدد المحاولات المطلوبة.

4. التحقق التجريبي

تحقق المؤلفون من نموذج CCRM باستخدام كل من تجارب مونت كارلو الاصطناعية وبيانات حقيقية من SWE-bench Verified.

• التحقق الاصطناعي: أكدت التجارب التي أجريت على 30,000 محاولة أن صيغة النجاح النظرية تتطابق مع بيانات المحاكاة بخطأ $\le 0.003$. كما لوحظ التحول الطوري في عبء التسلسل كما هو متوقع.
• البيانات الواقعية (SWE-bench):
  • باستخدام بيانات من Verdent (SWE-bench Verified)، حيث يقوم الوكلاء بمحاولات متتالية على نفس المشكلة، قام المؤلفون بملاءمة نموذج CCRM.
  • النتيجة: يبالغ نموذج IID القياسي في تقدير معدل pass@3 بمقدار 17.4 نقطة مئوية (يتوقع 98.6% مقابل 81.2% الفعلي).
  • الملاءمة: يتوافق نموذج CCRM مع البيانات بخطأ يقل عن 0.001.
  • الاستنتاج: تشير المعلمات المستنتجة إلى أن نسبة التسلسل هي $\epsilon_1/\epsilon_0 = 7.1$، مما يعني أن المحاولة الفاشلة تزيد من معدل الخطأ لكل خطوة بمعامل قدره 7.1.
  • المقارنة: في المقابل، تظهر الاختبارات التي تستخدم إعادة تشغيل مستقلة من البداية (مثل USEagent و OpenHands) فجوات كبيرة بين توقعات IID والأداء الفعلي، لكن المؤلفين يعزون ذلك إلى صعوبة المهمة المرتبطة وليس تلوث السياق، وهي ظاهرة متميزة خارج نطاق CCRM.

5. الأهمية والادعاءات

تدعي الورقة أنها تقدم أول إطار رسمي لتحليل تلوث سياق النماذج اللغوية الكبيرة عبر المحاولات في مسارات الوكلاء. وتكمن أهميتها في:

1. تصحيح المفاهيم الخاطئة: إثبات أن افتراض IID معيب جوهرياً لإعادة المحاولات المتتالية في الوكلاء المعززين بالأدوات، مما يؤدي إلى مبالغة شديدة في تقدير الموثوقية.
2. مبادئ قابلة للتطبيق: توفير حلول مغلقة لتخصيص الميزانية الأمثل ($T^*$) وإثبات أن مسح السياق يتفوق تماماً على الاحتفاظ بالسجل.
3. الدقة النظرية: وضع حدود دنيا معلوماتية وتحديد التحولات الطورية حيث تصبح استراتيجيات إعادة المحاولة غير فعالة.
4. الإرشاد العملي: اقتراح أن تقليل معدل الخطأ الأساسي $\epsilon_0$ (عبر الضبط الدقيق أو تحسين الاستدلال) له فائدة فائقة الخطية عندما تكون نسبة التلوث عالية، لأنه يقلل في الوقت نفسه من معدل الخطأ المرتفع $\epsilon_1$.

يحافظ المؤلفون على نطاق متواضع، مع الإقرار بالقيود مثل الطبيعة الثنائية لحالة التلوث، وافتراض استقلال الخطوات داخل المحاولة الواحدة، واستبعاد صعوبة المهمة المرتبطة (التي تؤثر على إعادة المحاولات المستقلة). وهم يضعون CCRM كخطوة تأسيسية، مشيرين إلى أن دمج تلوث السياق عبر المحاولات مع ديناميكيات ماركوف داخل المحاولة الواحدة يظل مشكلة مفتوحة.