ملخص تقني: إدارة السياق الوكيل (ACM) للمهام طويلة الأمد

1. بيان المشكلة

تتسم المهام الوكيلية (Agentic tasks) التي تنفذها النماذج اللغوية الكبيرة (LLMs) بطبيعتها بأنها طويلة الأمد ومتعددة الخطوات، مما يتطلب من الوكلاء صياغة خطط تكيفية، واستدعاء الأدوات، وتعديل الإجراءات بناءً على التغذية الراجعة من البيئة. ومع ذلك، فإن مسارات التفاعل الناتجة عن هذه المهام تراكم سياقاً ضخماً ومليئاً بالضجيج (بما في ذلك المحاولات الفاشلة، والملاحظات المتكررة، ومخرجات الأدوات). وحتى مع وجود نماذج تدعم نوافذ سياق اسمية تصل إلى ملايين الرموز (tokens)، فإن السعة الفعلية للسياق غالباً ما يتم تجاوزها، مما يؤدي إلى تدهور الأداء.

تواجه الحلول الحالية قيوداً كبيرة:

• التدريب المسبق للسياق الطويل وآليات الانتباه الهجين تعمل على تمديد النوافذ، لكنها تعاني من تدهور ملموس في الأداء أو تظل مقيدة بشكل أساسي بحدود نافذة السياق.
• خطوط أنابيب ضغط السياق (مثل ReSum و ACON) تعتمد على قواعد استدلالية جامدة ومصممة يدوياً (مثل عتبات الرموز الثابتة) لتفعيل الضغط. هذه المراقب الخارجية لا تتوافق مع التركيز الاستدلالي المتطور للوكيل، حيث تقوم غالباً بضغط المعلومات قبل أوانها أو تفشل في الضغط عند الضرورة. علاوة على ذلك، فإن العديد من طرق الضغط هي طرق فاقدة للمعلومات (lossy)، حيث تتخلص من البيانات الأصلية التي قد تكون مطلوبة لاحقاً.

2. المنهجية: إدارة السياق الوكيل (ACM)

يقترح المؤلفون إدارة السياق الوكيل (ACM)، وهو إطار عمل يزود الوكلاء بأدوات مصممة خصيصاً لإدارة سياقهم بشكل مستقل، وبدون فقدان للمعلومات، وبما يتوافق مع حالتهم الاستدلالية.

2.1 الإطار الجوهري

مستوحى من الفصل بين الذاكرة قصيرة المدى وطويلة المدى لدى البشر، يقدم ACM أداتين محددتين:

1. manage_context: يقوم بضغط السياق العملي الحالي (جميع الرسائل منذ آخر حد فاصل للتلخيص) إلى ملخص موجز. ومن الأهمية بمكان أن الرسائل الخام الأصلية لا يتم التخلص منها، بل يتم نقلها إلى نظام تخزين خارجي مستمر (مثل القرص الصلب). ويتم تخصيص معرف فريد لكل ملخص لربطه بالبيانات الخام.
2. query_memory: يسمح للوكيل باسترجاع معلومات محددة من الرسائل الخام المنقولة عبر الاستعلام من المخزن الخارجي باستخدام معرف الملخص.

على عكس العمل السابق حيث يفرض مراقب خارجي عملية الضغط، فإن ACM هو عملية يبدأها الوكيل. فالوكيل هو من يقرر متى وكيف يقوم بالضغط بناءً على حالته الاستدلالية الداخلية (مثل اكتشاف الحلقات المفرغة، أو الاستعلامات المتكررة، أو الاقتراب من حدود الرموز)، مما يتيح توسيع أو تقليص السياق الفعال بشكل ديناميكي.

2.2 خط أنابيب ما بعد التدريب

إدراكاً بأن النماذج الرائدة تواجه صعوبة في تحديد التوقيت الأمثل لإدارة السياق، طور المؤلفون خط أنابيب ما بعد التدريب (معلم-طالب) مزدوج القيود:

• المرحلة الأولى: تجارب الطالب (Student Rollouts): يقوم نموذج طالب (Qwen3.5-9B) بتوليد مسارات تحت شرطين:
  • بدون أدوات ACM ($H^-$): ليعكس سلوك الاستكشاف العادي.
  • مع أدوات ACM ($H^+$): لالتقاط الاستخدام غير المدرب للأدوات.
• المرحلة الثانية: تعليق المعلم (Teacher Annotation): يقوم نموذج معلم أقوى (Qwen3.5-397B-A17B) بمراجعة هذه المسارات مقابل إجابة مرجعية وتطبيق قيدين متكاملين:
  • الحقن (على $H^-$): يحدد الدورات التي كان ينبغي فيها استدعاء إدارة السياق (مثل عندما يدخل الطالب في حلقة مفرغة أو يراكم سياقاً متكرراً) ويقوم بإدراج استدعاء الأداة المناسب مع أثر استدلالي.
  • التحسين (على $H^+$): يحدد الدورات التي كانت فيها استدعاءات إدارة السياق الخاصة بالطالب سابقة لأوانها أو غير ضرورية (مثل الضغط قبل تركيب الإجابة) ويستبدلها بإجراءات أكثر إنتاجية (مثل البحث الأعمق أو الالتزام بالإجابة).
• هدف التدريب: يتم تدريب الطالب عبر التقطير في الوقت الفعلي (on-policy distillation) لمطابقة توزيعات الرمز التالي الناعمة للمعلم، ليتعلم ليس فقط كيفية استخدام الأدوات، بل وأيضاً متى يستدعيها أو يتجنبها.

2.3 ضبط جودة البيانات

لضمان جودة عالية لبيانات التدريب، يستخدم خط الأنابيب:

• أخذ العينات بالرفض (Rejection Sampling): الاحتفاظ فقط بالمسارات التي فشل فيها الطالب في البداية، مما يضمن حدوث التعلم في المشكلات الصعبة حقاً.
• تصفية المحتوى: التحقق من أن آثار استدلال المعلم تشرح لماذا يستدعي الضغط (مثل "الاستكشاف الدوري") دون تسريب معلومات من الإجابة المرجعية.

3. المساهمات الرئيسية

1. نموذج إدارة السياق الوكيل: تحول من الضغط المدفوع بهيمنة خارجية وقواعد استدلالية إلى نظام إدارة سياق سلس، يبدأه الوكيل، حيث يقرر الوكيل توقيت وطريقة الضغط.
2. خط أنابيب ما بعد التدريب مزدوج القيود: طريقة فعالة لترسيخ قدرات إدارة السياق داخل النموذج نفسه، مما يعلم الوكيل التوقيت الدقيق للضغط والاسترجاع دون الاعتماد كلياً على التعلم المعزز الثقيل.
3. التحقق التجريبي: إثبات أن إدارة السياق الفعالة تقلل من ذروة ضغط الرموز، وتمدد دورات الاستكشاف أثناء الاختبار، وتحسن اتساق الحلول عبر التجارب المستقلة.

4. النتائج التجريبية

قيم المؤلفون ACM على ثلاثة معايير طويلة الأمد: BrowseComp-Plus، و DeepSearchQA، و SWE-Bench Verified، باستخدام Qwen3.5-9B كنموذج أساسي.

• مكاسب الأداء:
  • BrowseComp-Plus: حقق ACM-Post-Trained نسبة 72.7% في Pass@1، وهي تحسن نسبي بنسبة 27% عن خط أساس ReAct (57.0%) وتفوق على النموذج الرائد ذو 397 مليار معلمة (65.3%).
  • DeepSearchQA: تحسن من 36.7% (ReAct) إلى 42.5% (ACM-Post-Trained).
  • SWE-Bench Verified: تحسن من 48.9% (ReAct) إلى 53.0% (ACM-Post-Trained).
• الكفاءة والسلوك:
  • تقليل الرموز: قلل ACM من ذروة استخدام الرموز بنسبة تقارب 20% مقارنة بخطوط الأساس، مما أبقى السياق العملي أقل بكوثير من الحد الأقصى حتى في المسارات الطويلة.
  • الاستكشاف: مكّن الإطار من إجراء عدد أكبر بكثير من استدعاءات الأدوات ودورات الاستكشاف. على سبيل المثال، قام وكلاء ACM-Post-Trained بإجراء المزيد من عمليات البحث واسترجاع المستندات مقارنة بخطوط الأساس، مما سمح لهم بعبور مسارات استدلالية معقدة كانت ستؤدي لولا ذلك إلى الاصطدام بحدود السياق.
  • الاتساق: كشف تحليل مقاييس Pass@K أن ACM يقلل بشكل كبير من الفجوة بين Pass@1 و Pass@4، مما يشير إلى حلول أكثر اتساقاً عبر التجارب المستقلة مقارنة بخط أساس ReAct غير المستقر.
• دراسات الاستبعاد (Ablation Studies):
  • فشل التقطير من معلم قوي وحده (بدون بيانات ACM محددة) في التفوق على النموذج المدرب بـ ACM، مما يسلط الضوء على ضرورة وجود عروض توضيحية مخصصة لإدارة السياق.
  • أدى الجمع بين التقطير العام وبيانات ACM إلى أفضل أداء إجمالي، مما يشير إلى أن المصدرين يعززان بعضهما البعض.

5. الأهمية والادعاءات

يزعم البحث أن ACM يمثل تحولاً جوهرياً في كيفية تعامل الوكلاء مع المهام طويلة الأمد. من خلال معاملة إدارة السياق كإجراء صريح يبدأه الوكيل بدلاً من كونه قيداً خارجياً، يسمح الإطار للوكلاء بـ:

• الحفاظ على ذاكرة عمل نظيفة وموجزة تركز على الاستدلال الفوري مع الحفاظ على تاريخ كامل بدون فقدان في التخزين الخارجي.
• تمديد أفق الاستكشاف الفعال لديهم، وحل المشكلات التي تتطلب مئات الخطوات ومئات الآلاف من الرموز، والتي كان سيفشل الوكلاء القياسيون في حلها بسبب تجاوز سعة السياق أو تدهور ظاهرة "الضياع في المنتصف".
• تحقيق اتساق أعلى، حيث تقلل إدارة السياق الجيدة من الضجيج وتمنع الوكيل من العلوق في حلقات غير منتجة.

يؤكد المؤلفون أن هذه المكاسب تتحقق دون تعديل بنية النموذج الأساسي أو الحاجة إلى تعلم معزز واسع النطاق، بل بالاعتماد بدلاً من ذلك على خط أنابيب مستهدف لما بعد التدريب يعلم النموذج كيفية إدارة موارده المعرفية.

القيود: يشير المؤلفون إلى أن ACM يفترض مسبقاً وجود نموذج أساسي يمتلك قدرات استدلال كافية طويلة الأمد؛ فالنماذج الأصغر (مثل 4B معلمة) التي تنتهي مبكراً بسبب انهيار الاستدلال وليس بسبب ضغط السياق، لا تستفيد من هذه الأدوات. بالإضافة إلى ذلك، يعتمد التقييم على خطوط أساس تمت إعادة تنفيذها، رغم بذل الجهود لضمان مقارنة عادلة.