ملخص تقني: AGORA – بنية الحفاظ على الملاحظة والعمل القائمة على المهايئ من أجل ضغط المطالبات الخالي من الاستدلال في وكلاء النماذج اللغوية الكبيرة (LLM Agents)

1. تعريف المشكلة

تراكم وكلاء النماذج اللغوية الكبيرة (LLM agents) مسارات طويلة من الأفعال والملاحظات أثناء تفاعلهم مع البيئات. ومع امتداد آفاق المهام (على سبيل المثال، تجاوز 100 ألف توكن عند الخطوة 30 في WebShop)، يصبح ضغط هذا السياق ضرورة عملية. ومع ذلك، يجادل البحث بأن تقنيات ضغط المطالبات القياسية المصممة للنماذج اللغوية العامة ذات الدورة الواحدة هي غير مناسبة هيكلياً لوكلاء النماذج اللغوية الكبيرة.

تتمثل المشكلة الجوهرية المحددة في تدمير قواعد الفعل (action-grammar destruction). ففي مسارات الوكيل، غالباً ما تكون التوكنات التي تحمل دلالات فعلية حرجة (المعرفات، الأقواس، أفعال الحركة مثل search[...] أو click[...]) متوقعة للغاية من السياق اللغوي الطبيعي المحيط بها. وبناءً على ذلك، فإن الضواغط الاستخراجية على مستوى التوكن — والتي تصنف التوكنات حسب المعلومات الذاتية أو الحيرة (perplexity) وتحذف ذات الدرجات المنخفضة — تقوم بشكل منهجي بحذف هذه التوكنات الدلالية. والنتيجة هي أن المطالبة "المضغوطة" تحتوي على لغة إنجليزية سليمة ولكنها تحتوي على أوامر وكيل غير سليلة نحوياً، مما يؤدي إلى رفض البيئة للفعل وفشل الوكيل.

يوضح المؤلفون أنه عبر 17 خلية تجريبية تمتد عبر عائلتين مستقلتين من الطرق القائمة على مستوى التوكن (Selective Context و LLMLINGUA-2)، تنهار كل الإعدادات لتصل إلى متوسط مكافأة ($m_r$) يساوي أو أقل من 0.05، رغم تحقيق ضغط يتراوح بين 1.3 إلى 13.3 ضعف.

2. المنهجية: AGORA

لمعالجة ذلك، يقترح المؤلفون AGORA (بنية الحفاظ على الملاحظة والعمل القائمة على المهايئ)، وهي ضاغط على مستوى الخطوة وخالٍ من الاستدلال. بخلاف الطرق القائمة على مستوى التوكن، تعمل AGORA على مستوى أزواج (الفعل، الملاحظة) الكاملة، مما يضمن بقاء بناء الفعل (syntax) سليماً.

تتكون AGORA من ثلاثة مكونات رئيسية:

1. محلل المطالبات الهيكلي (Structural Prompt Parser):

   • يقسم مسار الوكيل إلى كتل مصنفة حسب الدور (النظام، المهمة، الخطوات السابقة، الملاحظة الحالية، الاستجابة المعلقة).
   • يجمع التفاعلات الماضية في أزواج خطوات منفصلة $(a_i, o_i)$.
   • هذا التحليل حتمي وغير مرتبط بمهمة محددة، ويعتمد على علامات الأدوار (مثل [ASSISTANT] و [USER]).

2. أرضية الحفاظ الدائم (Deterministic Quality Floor):

   • يحتفظ دون قيد أو شرط بمحتوى محدد وحرج للحفاظ على التنسيق والحداثة:
     • رسالة النظام ($c_{sys}$) وتعليمات المهمة ($c_{task}$).
     • الملاحظة الحالية ($c_{now}$) وأي استجابة معلقة ($c_{pend}$).
     • آخر خطوتين حديثتين ($K_{recent}=2$).
   • تضمن هذه الطبقة أن "الثوابت" المطلوبة لعمل الوكيل (مثل معرفة الحالة الحالية والتاريخ الأخير) لا تضيع أبداً.

3. مُصنف صلة الخطوة المتعلم (Learned Step Relevance Scorer):

   • مصنف يعتمد على نموذج RoBERTa-base بـ 125 مليون معلمة، مدرب لتصنيف صلة الخطوات المتبقية بالملاحظة الحالية.
   • إشارة التدريب: يتم تدريب النموذج على تسميات تغيير الفعل التالي المقابلة للواقع (counterfactual next-action-change labels). لكل خطوة سابقة $s_i$ والملاحظة الحالية $c_{now}$، يتم استعلام النموذج الخلفي $K=8$ مرات (نصفها مع $s_i$ ونصفها بدونها). التسمية هي نسبة المرات التي يتغير فيها الفعل التالي المعياري. وهذا يخلق تسمية ناعمة $y_i \in [0, 1]$ تشير إلى مدى حرج الخطوة.
   • الاستدلال: يعمل المصنف عبر تمريرة أمامية واحدة ($\sim 2$ مللي ثانية/خطوة) دون أي استدعاءات لواجهة برمجة التطبيقات (API). وهو يخرج احتمالية $p_i$ بأن حذف الخطوة $s_i$ سيغير الفعل التالي.

4. الملء الجشع للميزانية (Greedy Budget Fill):

   • بالنظر إلى ميزانية عدد الحروف المستهدفة (مثلاً 25% من الطول الأصلي)، يقوم النظام بملء المساحة المتبقية بعد "أرضية الحفاظ الدائم" عن طريق اختيار الخطوات غير الموجودة في الأرضية بشكل جشع بناءً على درجات صلتها $p_i$ التنازلية.
   • يتم استبدال الخطوات المحذوفة بعلامة حذف واحدة (مثل [... N step(s) elided ...]).

3. المساهمات الرئيسية

يقدم البحث ثلاث مساهمات رئيسية:

1. تحديد تدمير قواعد الفعل (Action-Grammar Destruction): يشخص المؤلفون رسمياً ويسمون نمط الفشل الهيكلي حيث تفشل ضواغط مستوى التوكن في التعامل مع الوكلاء. ويقدمون دليلاً منهجياً (17 خلية) يظهر أن هذه الطرق تنهار لأنها تحذف توكنات ذات معلومات ذاتية منخفضة ولكنها ضرورية لبناء الفعل.
2. بنية AGORA: ضاغط مبتكر على مستوى الخطوة، خالٍ من الاستدلال، يجمع بين محلل هيكلي، وأرضية "حفاظ دائم" حتمية، ومصنف صلة متعلم مدرب على تسميات مقابلة للواقع. يحقق ضغطاً تكيفياً (1.0–11.5×) مع صفر تكلفة إضافية من النماذج اللغوية الكبيرة لكل خطوة.
3. عزو المكونات (Component Attribution): من خلال دراسات الاستئصال (ablation studies)، يعزل البحث القيمة المحددة لكل خيار تصميمي:
   • أرضية الحفاظ الدائم (Always-Keep Floor) هي الرافعة المهيمنة للحفاظ على الجودة (إزالتها تؤدي إلى انخفاض الأداء بشكل كبير).
   • المصنف المتعلم (Learned Scorer) هو المحرك الأساسي لنطاق الضغط التكيفي، مما يسمح للنظام بتغيير نسب الضغط بناءً على تعقيد المسار مع الحفاظ على نسبة حفظ ثابتة.

4. النتائج التجريبية

قيم المؤلفون AGORA عبر 9 خلايا (3 بيئات: ALFWorld، ScienceWorld، WebShop؛ و3 نماذج خلفية: qwen3.5-flash، gpt-4o-mini، gpt-5-mini) مقابل 10 نماذج أساسية (بما في ذلك طرق الاستخراج على مستوى التوكن والضواغط التجريدية القائمة على النماذج اللغوية الكبيرة).

• الحفاظ على الجودة: AGORA هو الطريقة الوحيدة الخالية من الاستدلال التي تحتفظ بـ $\geq 75\%$ من الأداء غير المضغوط في 8 من أصل 9 خلايا (الاستثناء هو ScienceWorld مع gpt-5-mini بنسبة 73%).
  • متوسط المكافأة ($m_r$) مع AGORA: 0.387 (احتفاظ بنسبة 92% مقابل عدم الضغط).
  • في المقابل، انهارت طرق مستوى التوكن (Selective Context، LLMLINGUA-2) لتصل إلى $m_r \leq 0.05$.
• كفاءة الضغط: تحقق AGORA نطاق ضغط تكيفي شامل من الطرفين يترا Compressing range من 1.0–11.5× باستخدام إعداد ثابت واحد ($\rho=0.25$)، مما يتكيف مع نظام المسار المحدد دون الحاجة لضبط لكل خلية.
• التكلفة: لا تتحمل AGORA أي تكاليف إضافية لتوكنات النماذج اللغوية الكبيرة لكل خطوة (خالية من الاستدلال). وبينما تحقق الضواغط القائمة على النماذج اللغوية الكبيرة (HiAgent، AgentDiet، ACON) غالباً تكاليف أقل لكل مهمة في سيناريوهات المسارات الطويلة بسبب الضغط الشديد، إلا أنها تدفع 8-126 ألف توكن إضافي لكل مهمة لاستدعاءات الضاغط الخاصة بها. وتعتبر AGORA متفوقة في السيناريوهات التي يكون فيها العبء الإضافي لكل خطوة باهظاً أو حيث يكون الحفاظ على الجودة هو القيد الأساسي.
• الاستئصال (Ablation): تسبب إزالة "أرضية الحفاظ الدائم" في أكبر انخفاض في الأداء ($\Delta m_r \approx -0.088$). أما إزالة المصنف فقد قللت الأداء قليلاً فقط ($\Delta m_r \approx -0.031$) ولكنها ألغت نطاق الضغط التكيفي، مما يؤكد أن الأرضية تتعامل مع الجودة بينما يتعامل المصنف مع حجم الضغط.

5. الأهمية والادعاءات

يدعي البحث أن AGORA تمثل تحولاً ضرورياً في كيفية مقاربة ضغط المطالبات للوكلاء. يجادل المؤلفون بأن نموذج "الترتيب والحذف" (rank-and-delete) الخاص بضغط مستوى التوكن غير محدد هيكلياً للوكلاء لأنه يحسن كثافة المعلومات بدلاً من السلامة الهيكلية لأوامر الفعل.

الأهمية:

• تحول في النموذج: ينقل مجال التصميم من ضغط مستوى التوكن إلى ضغظ مستوى الخطوة، مما يحافظ على السلامة النحوية لأوامر الوكيل.
• قابلية الاستخدام الخالي من الاستدلال: يثبت أن الضغط عالي الجودة للوكلاء لا يتطلب استدعاءات مكلفة للنماذج اللغوية الكبيرة لكل خطوة، مما يجعله قابلاً للتطبيق مع النماذج الخلفية المجمدة والسوداء (black-box).
• المتانة: من خلال إعطاء الأولوية للحفاظ الهيكلي (الأرضية) على التلخيص الدلالي، تتجنب AGORA أنماط الفشل الكارثية التي تشهدها الضواطر العامة.

يظل المؤلفون متواضعين، مشيرين إلى أن AGORA ليست بالضرورة الفائزة عالمياً في التكلفة (غالباً ما تتفوق الطرق القائمة على النماذج اللغوية الكبيرة في صافي التكلفة لكل مهمة في المسارات الطويلة)، وأن تقييمهم يعتمد على تقديرات نقطية بسبب اتساع فترات الثقة ($n=30$). ومع ذلك، يؤكدون أن AGORA توفر الحل الوحيد القابل للتنفيذ والخالي من الاستدلال الذي يحافظ على أداء عالٍ عبر بيئات وكلاء متنوعة دون كسر قواعد الفعل.