ملخص تقني: هل "grep" هو كل ما تحتاجه؟ كيف تعيد هياكل الوكلاء تشكيل البحث الوكيل (Agentic Search)

بيان المشكلة

بينما يتم اعتماد التوليد المعزز بالاسترجاع (RAG) على نطاق واسع في الأنظمة الوكيلية، تفتقر الأدبيات الحالية إلى مقارنة منهجية لكيفية تفاعل خيارات استراتيجية الاسترجاع مع بنية الوكيل ونماذج استدعاء الأدوات. غالبًا ما تقيم الأبحاث الحالية الاسترجاع المعجمي (مثل grep وBM25) والاسترجاع الكثيف (المتجه الدلالي) بشكل منعزل أو ضمن مسارات ثابتة حيث يتم ببساطة دمج المستندات المسترجعة في المطالبة (prompt). يتجاهل هذا النهج الحلقات التكرارية التي تتم عبر الوساطة الأدواتية والتي تميز الوكلاء الحديثة، حيث تقرر النماذج ما الذي تبحث عنه، وعدد الاستعلامات التي تصدرها، وما إذا كانت النتائج كافية.

علاً على ذلك، لا يزال هناك بُعدان عمليان حاسمان لم يتم استكشافهما بشكل كافٍ:

1. عرض مخرجات الأدوات: كيف يؤثر أسلوب تقديم نتائج البحث (الحقن المباشر مقابل القراءة القائمة على الملفات) على أداء النموذج.
2. القدرة على تحمل الضجيج: كيف تتدهور استراتيجيات الاسترجاع مع زيادة نسبة النصوص غير ذات الصلة المحيطة (المشتتات) مقارنة بالمادة ذات الصلة.

بالإضافة إلى ذلك، فإن ظهور الوكلاء ذوي واجهة السطر البرمجي (CLI) الأصلية من المزودين (مثل Claude Code وCodex وGemini CLI) يقدم فئة جديدة من الأنظمة الوكيلية التي تختلف جوهريًا عن الهياكل المخصصة (harnesses)، ومع ذلك لم تتم دراسة فعالية استراتيجيات الاسترجاع عبر هذه البيئات المتميزة بنيويًا.

المنهجية

أجرى المؤلفون دراسة تجريبية منظمة في تجربتين باستخدام مجموعة فرعية مكونة من 116 سؤالاً من معيار LongMemEval، والذي يختبر الوكلاء في مهام الذاكرة الحوارية طويلة المدى عبر ست فئات (مثل تحديثات المعرفة، والاستدلال الزمني، واستدعاء التفضيلات).

الإعداد التجريبي

• المتن (Corpus): جولات حوارية محلية وأحداث زمنية مهيكلة مستخرجة عبر خط معالجة مسبقة يسمى Chronos.
• استراتيجيات الاسترجاع:
  • المعجمي (Lexical): مطابقة regex/substring تعتمد على grep فوق النص الخام.
  • الدلالي (Semantic): البحث المتجهي باستخدام البحث عن أقرب جار تقريبي (ANN) مع خطوة إعادة ترتيب (reranking).
• هياكل الوكلاء (Agent Harnesses):
  • المخصص (Custom): هيكل Chronos، وهو هيكل قائم على LangChain مع مطالبة ديناميكية وتحكم دقيق في حلقة الأدوات.
  • واجهات CLI الأصلية للمزودين: Claude Code وCodex وGemini CLI، حيث تنفذ الوكلاء أوامر bash مباشرة.
• بنيات استدعاء الأدوات:
  • القياسية (المباشرة - Inline): تُرجع نتائج البحث كرسائل استجابة للأداة تُحقن مباشرة في نافذة السياق.
  • البرمجية (القائمة على الملفات - File-Based): تُكتب النتائج على القرص؛ ويجب على الوكيل قراءة المحتوى أو البحث فيه صراحةً.
• النماذج: تم التقييم عبر خمسة نماذج لغوية كبيرة (Claude Opus 4.6، Claude Haiku 4.5، GPT-5.4، Gemini 3.1 Pro، Gemini 3.1 Flash-Lite).
• التقييم: عمل نموذج لغوي مساعد (GPT-4o) كمقيم لتقييم دقة الإجابة مقابل الإجابات المرجعية، مع استخدام مطالبات ثابتة لضمان الاتساق.

التجربة 1: وضع الاسترجاع، الهيكل، وطريقة التقديم

عزلت هذه التجربة تأثير وضع الاسترجاع (grep مقابل المتجه)، ونوع الهيكل، وطريقة تقديم الأداة (المباشرة مقابل القائمة على الملفات) على الدقة النهائية مع تعريض المتن الكامل.

التجربة 2: توسع السياق مع زيادة الضجيج

اختبرت هذه التجربة القدرة على تحمل الضوضاء من خلال زيادة عدد الجلسات غير ذات الصلة "المشتتة" المحيطة بالجلسات ذات الصلة "الأوراكل" (oracle) بشكل تدريجي. قارنت الدراسة بين أداء grep-only وvector-only عبر حدود جلسات محددة (s5, s10, s20, s30, وfull) لمراقبة كيفية تباعد عائلات الاسترجاع مع تراكم الضجيج.

النتائج الرئيسية

1. البحث المعجمي غالبًا ما يتفوق على البحث الدلالي في الحلقات الوكيلية

على عكس الافتراض بأن البحث الدلالي هو الأفضل للاستدلال المعقد، أدى grep عمومًا إلى تحقيق دقة أعلى من الاسترجاع المتجهي في معظم التكوينات في التجربة 1.

• التسليم المباشر (Inline Delivery): كان البحث المعجمي أقوى بشكل موحد من الاسترجاع الكثيف في كل زوج من الهياكل والنماذج. لوحظ أكبر هامش في Chronos وGemini 3.1 Flash-Lite (86.2% لـ grep مقابل 62.9% للمتجهي).
• التسليم القائم على الملفات (File-Based Delivery): تغيرت المقارنة. تجاوز الاسترجاع المتجهي البرمجي الاسترجاع المعجمي البرمجي في خمس من أصل عشرة أزواج من الهياكل والنماذج. ومع ذلك، أدى الانتقال إلى التسليم القائم على الملفات إلى انخفاض كبير في الأداء لبعض التوليفات (على سبيل المثال، انخفض Codex مع GPT-5.4 من 93.1% مع grep المباشر إلى 55.2% مع grep البرمجي)، مما يشير إلى أن تعقيد سير عمل قراءة الملفات يمكن أن يلغي فوائد الاسترجاع.

2. بنية الهيكل تقود الأداء

كان لاختيار الهيكل (المخصص مقابل الأصلي للمزود) تأثير عميق على الدقة، وغالبًا ما كان يضاهي أو يتجاوز تأثير تغيير استراتيجيات الاسترجاع.

• حقق نفس النموذج الأساسي (مثل Claude Opus 4.6) دقة 93.1% تحت هيكل Chronos المخصص ولكن 76.7% فقط تحت هيكل Claude Code CLI، حتى عند استخدام نفس طريقة الاسترجاع.
• يشير هذا إلى أن "الاسترجاع" في الأنظمة الوكيلية هو في الواقع "استرجاع زائد التنسيق"، حيث تؤثر المطالبات النظامية، وأوصاف الأدوات، وتنسيق النتائج بشكل كبير على جدولة الاستعلام وإنهاء العملية.

3. توسع الضجيج وعدم الرتابة (Non-Monotonicity)

في التجربة 2، لم يتدهور أداء الاسترجاع بشكل رتيب مع زيادة الضجيج.

• نقاط التقاطع: تباين الأداء النسبي لـ grep والبحث المتجهي اعتمادًا على حد الجلسات والهيكل المحدد. على سبيل المثال، في هيكل Chronos، كان البحث المتجهي غالبًا أقوى عند حدود الجلسات المنخفضة (s5–s20)، لكن grep تفوق عليه عند الحدود الأعلى لبعض النماذج. وعلى العكس من ذلك، في Gemini CLI، ظل البحث المتجهي مهيمنًا عبر جميع الحدود.
• الانحيازات الاستقرائية: تشير الدراسة إلى أن أدوات المزودين المحددة (مثل كيفية تقسيم stdout، والتلميحات الافتراضية) تقدم انحيازات استقرائية مستقرة تؤثر على ما إذا كان الوكيل يستفيد أكثر من الدقة المعجمية أو السعة الدلالية.

المساهمات الرئيسية

تقدم الورقة ثلاث رؤى أساسية:

1. الاسترجاع، الهيكل، والتقديم: تقدم دليلًا على أن الاختيار بين الاسترجاع المعجمي والكثيف لا يمكن تقييمه بمعزل عن غيره؛ بل يجب اعتباره بالتزامن مع طبقة التنسيق الوكيلي وطريقة إظهار مخرجات الأدوات (المباشرة مقابل الملفات).
2. الضجيج والمقياس: توضح كيف يتطور السلوك النهائي مع نمو المحتوى غير ذي الصلة، كاشفةً أن عائلات الاسترجاع تتفاعل بشكل مختلف مع الضجيج اعتمادًا على سير العمل الخاص بحلقة الوكيل ومعايير التوقف.
3. تباين الهياكل عبر مجموعات الوكلاء: تثبت أن فعالية الاسترجاع ليست مستقرة عبر الهياكل المتميزة بنيويًا. فالاستراتيجية التي تعمل جيدًا في هيكل مخصص قد تفشل في CLI أصلي للمزود، حتى مع وجود نفس المتن الأساسي.

الأهمية والادعاءات

يدعي المؤلفون بتواضع أن نتائجهم تسلط الضوء على ميكانيكا الاسترجاع، وتنسيق الهيكل، ومسارات التقديم كـ نظام واحد يتم تقييمه بشكل مشترك بدلاً من كونها خيارات تصميم مستقلة.

• هندسة السياق: تجادل الورقة بأن كيفية تقديم نتائج الأدوات (مباشرة مقابل ملف) هي قرار حاسم في هندسة السياق يمكن أن يقلب ترتيب الاسترجاع.
• خصوصية المهمة: يشير المؤلفون إلى أن استنتاجاتهم مرتبطة بالأسئلة الحوارية طويلة المدى حيث تعتمد الإجابات غالبًا على امتدادات حرفية (verbatim spans). هم لا يدعون أن grep هو الأفضل عالميًا، بل أنه يمكن أن يفوز في النهاية تحت توزيعات مهام ومتون محددة.
• آثار القياس المرجعي: تشير الدراسة إلى أن الإبلاغ عن مقاييس الاسترجاع فقط (مثل BM25 مقابل ANN) في المسارات الثابتة يقلل من تقدير التباين الذي تفرضه البنية التحتية للوكيل. يجب أن تأخذ الاختبارات المستقبلية في الاعتبار الحلقة الوكيلية الكاملة، بما في ذلك تقديم الأدوات والتنسيق.

تخلص الورقة إلى أنه بينما يعد البحث المعجمي خيارًا افتراضيًا قويًا للمهام التي تتطلب استعادة الامتدادات الحرفية، فإن الاستراتيجية المثلى تعتمد بشكل كبير على الهيكل المحدد للوكيل، وقدرة النموذج، وآلية تقديم نتائج البحث.