Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents
تشخص هذه الورقة البحثية وكلاء البحث طويل الأمد من خلال التمييز بين إخفاقات الاسترجاع وإخفاقات الاستخدام، كاشفةً أن دقة الإجابة ترتبط بجودة الأدلة المسترجعة ارتباطاً أقوى من ارتباطها بجهد البحث، ومقترحةً أن تحسين صياغة الاستعلام، واختيار الأدلة، ومعايير التوقف التكيفية هي المفاتيح لبناء أنظمة بحث عميق أفضل.
تخيل أنك محقق يحاول حل لغز ما. في عالم الذكاء الاصطناعي، هناك "وكلاء بحث عميق" (deep search agents) متخصصون للقيام بذلك بالضبط. فبدلاً من مجرد تخمين إجابة مما يعرفونه بالفعل، يتصرف هؤلاء الوكلاء كمحققين رقميين: يطرحون الأسئلة، ويقرأون الإجابات، ثم يطرحون المزيد من الأسئلة، ويجمعون الأدلة معاً حتى يحلوا القضية. تُسمى هذه العملية "بحثاً طويل الأمد" (long-horizon search) لأنها قد تستغرق خطوات أو "دورات" عديدة للوصول من السؤال الأول إلى الحل النهائي. لفترة طويلة، افترض الناس أنه إذا بذل الوكيل جهداً أكبر — أي طرح المزيد من الأسئلة وقراءة المزيد من المستندات — فسيصبح أكثر ذكاءً ويحل المزيد من الألغاز. بدا الأمر منطقياً: الجهد الأكبر يجب أن يؤدي إلى نتائج أفضل. ولكن تماماً مثل المحقق البشري الذي يستمر في الحفر في الحديقة الخطأ حتى بعد العثور على الكنز في الحديقة الأولى، قد يهدر هؤلاء الوكلاء من الذكاء الاصطناعي طاقتهم دون جدوى. كان السؤال الكبير الذي أراد الباحثون الإجابة عليه هو: هل العمل بجهد أكبر يجعل هؤلاء المحققين الآليين أفضل حقاً، أم أنهم يدورون في حلقة مفرغة فقط؟
يغوص هذا البحث بعمق في "مسار البحث" (search trajectory) لستة وكلاء مختلفين من الذكاء الاصطناعي لمعرفة كيف يفكرون، ويبحثون، ويفشلون أحياناً. لم يكتفِ الباحثون بالنظر إلى الإجابة النهائية فحسب؛ بل راقبوا كل خطوة اتخذها الوكلاء، مثل مراجعة دفتر ملاحظات المحقق صفحة بصفحة. استخدموا اختباراً خاصاً يسمى "BrowseComp-Plus"، حيث يكون لكل سؤال إجابة "ذهبية" معروفة ومجموعة محددة من المستندات التي تحتوي على الحقيقة. ومن خلال مقارنة ما وجده الوكلاء مقابل هذه الحقائق المعروفة، اكتشفوا شيئاً مفاجئاً: العمل بجهد أكبر لا يجعلك أكثر ذكاءً. في الواقع، الوكلاء الذين طرحوا أكبر عدد من الأسئلة وقرأوا أكبر قدر من النصوص كانوا غالباً هم من يخطئون في الإجابات.
وجدَت الدراسة أن سر البحث الناجح ليس في كمية العمل، بل في جودة الأدلة التي يتم العثور عليها. وقد قسم الباحثون حالات الفشل إلى نوعين: "فجوات الاسترجاع" (retrieval gaps) و"فجوات الاستخدام" (utilization gaps). فجوة الاسترجاع هي مثل المحقق الذي لا يجد القطعة الحاسمة من الدليل أبداً لأنه طرح الأسئلة الخاطئة. أما فجوة الاستخدام فهي عندما يجد المحقق الدليل ولكنه لا يزال يعطي الإجابة الخاطئة بسبب سوء تفسيره له. يوضح البحث أن المشكلة بالنسبة لمعظم الوكلاء هي فجوة الاسترجاع — فهم ببساطة لا يجدون المستندات الصحيحة.
إليك الجزء الأكثر وضوحاً من هذا الاكتشاف: الأدلة تصل مبكراً أو لا تصل أبداً. وجد الباحثون أنه إذا كان الوكيل سيجد الدليل "الذهبي" (مفتاح الإجابة)، فإنه عادة ما يجده في الخطوات الأولى من البحث. وإذا لم يجده الوكيل بحلول ذلك الوقت، فمن النادر أن يجده لاحقاً. ومع ذلك، يستمر العديد من الوكلاء في البحث لفترة طويلة بعد توقف تدفق الأدلة. وهذا يخلق "ذيلاً ضائعاً" (wasted tail) — وهو امتداد طويل وممل من البحث حيث يكتفي الوكيل بقراءة نفس المعلومات القديمة أو مواجهة طرق مسدودة، مما يهدر الوقت وذاكرة الكمبيوتر دون إحراز أي تقدم.
كما نظر البحث في كيفية طرح الوكلاء للأسئلة. بعض الوكلاء يشبهون "الثور في متجر صيني" (مندفع ومخرب)، حيث يطرحون نفس السؤال مراراً وتكراراً أو يجرون تغييرات طفيفة وغير مجدية على استفساراتهم. أما الوكلاء الأكثر ذكاءً، فهم منضبطون؛ فهم لا يكررون أنفسهم، بل يحاولون زوايا مختلفة (التغيير الاستراتيحي/pivoting)، ويتوقفون فوراً بمجرد حصولهم على أدلة كافية. هم لا يحتاجون للبحث 30 مرة لحل لغز ما؛ قد يحتاجون فقط إلى 10 عمليات بحث، بشرماً أن تكون تلك العشر عمليات قد أصابت الهدف.
باخت-ة، يشير هذا البحث إلى أن مستقبل أفضل للمحققين من الذكاء الاصطناعي لا يتعلق بجعلهم يبحثون لفترة أطول أو يقرؤون أكثر. بل يتعلق بتعليمهم كيفية طرح أسئلة أفضل، والتوقف عن البحث عندما يمتلكون ما يكفي من المعلومات، وعدم إضاعة الوقت في إعادة طرح الأسئلة التي فشلت بالفعل. الوكلاء الذين يفوزون ليسوا أولئك الذين يعملون بجهد أكبر، بل هم أولئك الذين يعملون بذكاء أكبر، فيجدون الإبرة في كومة القش بسرعة ويعرفون تماماً متى يتوقفون عن الحفر.
ملخص تقني: تشخيص سلوك البحث وأنماط الفشل في وكلاء البحث بعيد المدى (Long-Horizon Search Agents)
1. بيان المشكلة
صُممت وكلاء البحث العميق (مثل OpenAI Deep Research وTongyi DeepResearch) لحل مهام البحث عن المعلومات المعقدة متعددة الخطوات، وذلك عبر إصدار استعلامات بحث متكررة، واسترجاع المستندات، وتوليف الأدلة. ومع ذلك، تعتمد ممارسات التقييم الحالية بشكل حصري تقريبًا على مقاييس دقة الإجابة النهائية (مثل مقي المقارنة BrowseComp)، حيث تُعامل مسار البحث كمنتج ثانوي غامض (Black Box). هذا النهج "الأسود" يخلق ثلاثة تحديات تشخيصية حرجة:
الخلط في عزو الجهد: غالبًا ما يُساء فهم حجم البحث المرتفع والآفاق الطويلة على أنها قدرة، مما يحجب ما إذا كان الوكلاء يبحثون بكفاءة أم أنهم يكتفون بمجرد الاستمرار والمثابرة.
التشخيص الخاطئ للاختناقات: يُفترض غالبًا أن الإجابة الخاطئة ناتجة عن نقص في الأدلة (فشل الاسترجاع)، بينما قد يحدث الخطأ في الواقع بعد العثور على الدليل الصحيح (فشل الاستغلال/الاستدلال).
عدم التمييز بين المثابرة والعبث: غالبًا ما تحتوي المسارات الطويلة على "ذيل ضائع" (Wasted Tail) من الخطوات منخفضة العائد بعد توقف تراكم الأدلة، مما يجعل من الصعب التمييز بين الوكلاء الذين يحتاجون إلى بحث أعمق وأولئك الذين يحتاجون إلى بحث أفضل.
تجادل الورقة بأنه بدون تفكيك المسار إلى مكونات الاسترجاع والاستدلال، فإنه من المستحيل وصف تحسينات فعالة لأنظمة البحث العميق.
2. المنهجية
يقترح المؤلفون إطارًا تشخيصيًا قائمًا على أحكام صلة المستندات المُصنفة بشريًا لتحليل مسارات البحث بدقة عالية.
الإعداد التجريبي
مقاييس الأداء (Benchmarks): يستخدم التحليل الأساسي BrowseComp-Plus، وهو مجموعة بيانات تضم 830 سؤالًا مقترنة بمتن ثابت وأحكام صلة مصنفة بشريًا (qrels). تم تقسيم هذه الأحكام إلى مجموعة "أدلة" (Evidence) أوسع ومجموعة "ذهبية" (Gold) أكثر صرامة تكفي لاستخلاص الإجابة. يتم التحقق من الصحة باستخدام BrowseComp عبر واجهة برمجة تطبيقات بحث الويب المفتوح.
الوكلاء: تم تقييم ستة وكلاء تحت إطار عمل ReAct موحد مع أدوات متطابقة (البحث والزيارة) ومسترجع ثابت (Qwen3-Embedding-8B). تتوزع الوكلاء على مستويين:
المستوى المتوسط: Tongyi DeepResearch، Qwen3.5-35B-A3B، gpt-oss-120b.
مستوى النخبة (Frontier-scale): Kimi K2.6، GLM 5.1، Deepseek V4 Pro.
أنماط الفشل (Failure Modes): تفكيك الأخطاء إلى فجوات استرجاع (لم يتم العثور على الأدلة) وفجوات استغلال (وُجدت الأدلة ولكن الإجابة خاطئة).
ديناميكيات المسار: تحليل فائدة الحلقة (الإنتاجية مقابل التكرار)، استراتيجيات الاستعلام (التحول، التجميع، التكرار)، وتكوين ميزانية السياق.
الإطار التشخيصي
يتم هيكلة التحليل حول ستة أسئلة بحثية (RQs) تغطي الإشارات الإجمالية، تصنيف الفشل، آليات مستوى الحلقة، استراتيجيات الاستعلام، والمقارنات داخل السؤال الواحد.
3. النتائج الرئيسية
RQ1: جهد البحث مقابل الدقة
الجهد لا يتنبأ بالدقة: لا يوجد ارتباط إيجابي بين حجم البحث (عدد الاستعلامات) أو ميزانية السياق (الرموز المستهلكة) ودقة الإجابة النهائية. في الواقع، الوكلاء الأكثر دقة (مثل GLM 5.1) غالبًا ما يحققون نتائجهم بأقل حجم بحث واستخدام للسياق.
الاستدعاء هو المتنبئ الرئيسي: ترتبط دقة الإجابة بقوة (r=0.99) مع الاستدعاء التراكمي للأدلة. إذا استرجع الوكيل الدليل الذهبي، فإنه يجيب بشكل صحيح باحتمالية عالية؛ وإذا فاته الدليل الذهبي، فإنه نادرًا ما يجيب بشكل صحيح.
RQ2: تصنيف أنماط الفشل
تُصنف الأخطاء بصرامة إلى فجوتين ذات علاجات متميزة:
فجوة الاسترجاع (Retrieval Gap - RG): يفشل الوكيل في إظهار الأدلة الضرورية. هذا هو نمط الفشل المهيمن لخمسة من أصل ستة وكلاء (51.6%–64.1% من الأخطاء).
فجوة الاستغلال (Utilization Gap - UG): يسترجع الوكيل الدليل الذهبي ولكنه يفشل في توليف الإجابة الصحيحة. هذا هو نمط الفشل المهيمن لـ Kimi K2.6 (52.0% من الأخطاء)، مما يجعله استثناءً لهذا الاتجاه.
الأنواع الفرعية: تنقسم فجوات الاسترجاع (RGs) إلى اتجاهية (موضوع خاطئ) والخطوة الأخيرة (تجاوز مستند محدد). وتنقسم فجوات الاستغلال (UGs) إلى استخراج حقيقي (فشل في الاستدلال) وحدودي (أدلة جزئية).
الاستنتاج: يجب أن تكون التحسينات محددة حسب التشخيص. تتطلب فجوات الاسترجاع صياغة استعلام أفضل، بينما تتطلب فجوات الاستغلال تحققًا واستدلالًا أفضل.
RQ3: آليات المسار
تركيز الأدلة المبكر: يتم العثاء على الأدلة المفيدة مبكرًا. بحلول الحلقة الخامسة، يكون العديد من الوكلاء قد استرجعوا بالفعل المستندات الذهبية.
الذيل الضائع: المسارات غير الصحيحة أطول بمعدل 1.9 إلى 2.9 مرة من المسارات الصحيحة، لكنها لا تجد المزيد من الأدلة. بدلاً من ذلك، تستمر في البحث لفترة طويلة بعد النقطة التي كان من الممكن فيها العثور على الدليل الذهبي، مما يولد "ذيلاً ضائعًا" من المقتطفات المكررة.
هيمنة السياق: تهيمن مقتطفات البحث (وليس المستندات الكاملة التي تمت زيارتها) على نافذة السياق (66–85%)، مما يشير إلى أن إدارة السياق يجب أن تركز على تصفية المقتطفات بدلاً من مجرد اختيار المستندات.
RQ4: استراتيجيات الاستعلام
الانضباط فوق الأسلوب: يتم تعريف الوكلاء الأقوياء من خلال انضباط الاستعلام، وليس من خلال أسلوب بحث محدد (مثل التحول الواسع مقابل التثبيت والتحقق).
التكرار هو إشارة فشل: أقوى مؤشر للفشل هو معدل إعادة الاستعلام المكرر (استعلامات متتالية متطابقة تقريبًا). أضعف وكيل (gpt-oss-120b) يكرر الاستعلامات بنسبة 5.0% من الوقت، بينما يفعل المتفوقون ذلك بنسبة أقل من 1.5%.
التحول (Pivoting) محايد: معدل التحول إلى زوايا جديدة لا يرتبط بالدقة؛ المهم هو ما إذا كان التحول سيؤدي إلى دليل.
التجميع (Batching): غالبًا ما يصدر الوكلاء الأقوى استعلامات متعددة في كل دورة (التجميع المتوازي)، وهو ما يرتبط بكفاءة أعلى، رغم أنه يظل خيارًا أسلوبيًا وليس شرطًا صارمًا.
RQ5 & RQ6: القدرة على التعميم
الضبط داخل السؤال الواحد: عند ضبط صعوبة السؤال، يستوعب استدعاء الأدلة ما بين 56% إلى 60% من فجوة الأداء بين الوكلاء. الوكلاء الذين يسترجعون الدليل الذهبي لنفس السؤال ينجحون بنسبة 73.8%، بينما أولئك الذين يفقدونه ينجحون بنسبة 2.2% فقط.
التحقق عبر الويب المفتوح: تظل النتائج قائمة في البحث عبر الويب المفتوح (BrowseComp-en)، حيث تتبع الدقة تغطية الأدلة المحكومة بدلاً من جهد البحث.
4. المساهمات الرئيسية
إطار تشخيصي: إطار عمل مبتكر لتحليل وكلاء البحث يربط كل خطوة بالأهمية المصنفة بشريًا، ويفصل بين أداء الاسترجاع وأداء الاستدلال.
دراسة تجريبية شاملة: مقارنة منضبطة لستة وكلاء متنوعين (مفتوحين ونخبة) تكشف أن جهد البحث يرتبط ضعفًا بالجودة، بينما يعد استدعاء الأدلة هو العامل الحاسم.
تفكيك أنماط الفشل: تحديد "فجوات الاسترجاع" مقابل "فجوات الاستغلال"، مما يوضح أن الوكلاء الذين لديهم درجات دقة متشابهة قد يتطلبون إصلاحات مختلفة جذريًا (إعادة صياغة الاستعلام مقابل التحقق).
تدعي الورقة أن الجيل القادم من أنظمة البحث العميق لا ينبغي أن يركز على البحث الأعمق (خطوات أكثر، سياق أكبر) بل على البحث الأفضل توجيهًا.
للأدوات الأضعف: الفرصة الأساسية تكمن في صياغة الاستعلام. يجب أن يتعلم الوكلاء التعرف على اللحظة التي فشلت فيها فرضية ما والتحول بفعالية، وتجنب إعادة الاستعلام المكرر.
للأدوات الأقوى: بما أنهم قريبون بالفعل من سقف "القارئ المثالي" (استرجاع معظم الأدلة الذهبية)، فإن المكاسب المتبقية تكمن في التحقق، تنميط الإجابة، ومعايير التوقف بناءً على كفاية الأدلة بدلاً من الميزانيات الثابتة.
تصميم النظام: يدعو المؤلفون إلى قواعد توقف مدفوعة بالأدلة، وإدارة تدفق المقتطفات لمنع تجاوز السياق، وآليات حجز ضد فتح الصفحات منخفضة القيمة.
تخلص الورقة إلى أن مقاييس التقييم الحالية تحجب الاختناقات الحقيقية في أداء الوكلاء. ومن خلال تحويل التركيز من الدقة النهائية إلى ميكانيكا المسار (الاسترجاع والاستغلال)، يمكن للمطورين وصف تدخلات مستهدفة تعالج أنماط الفشل المحددة لأنظمتهم.