ملخص تقني: IterResearch

بيان المشكلة

أظهرت التطورات الأخيرة في وكلاء البحث العميق (deep-research agents) القدرة على بناء المعرفة بشكل مستقل من خلال الاستدلال الديناميكي عبر المصادر الخارجية. ومع ذلك، تعتمد النهج الحالية بشكل أساسي على نموذج السياق الأحادي (mono-contextual paradigm)، حيث يتم إلحاق جميع المعلومات المسترجعة وخطوات الاستدلال الوسيطة بسياق واحد يتوسع باستمرار. حدد المؤلفون نمطين حرجين للفشل في هذا النموذج بالنسبة للمهام طويلة الأمد:

1. اختناق السياق (Context Suffocation): مع امتلاء نافذة السياق بالتفاعلات السابقة، تتقلص المساحة المتاحة للاستدلال النشط، مما يفرض استجابات مقيدة تتحول إلى استنتاجات سابقة لأوانها أو سطحية.
2. تلوث الضجيج (Noise Contamination): تصبح المعلومات غير ذات الصلة من عمليات البحث في الويب وأخطاء الاستكشاف المبكرة مدمجة بشكل دائم في السياق، مما يخلق تداخلاً متسلسلاً يضعف جودة الإشارة طوال عملية الاستدلال.

تمنع هذه القيود الوكلاء الحاليين من الحفاظ على قدرة استدلال مستدامة مع زيادة عمق الاستكشاف.

المنهجية

يقدم البحث IterResearch، وهو نموذج بحث عميق تكراري جديد يعيد تصور البحث طويل الأمد من خلال منظور توسيع التفاعل (Interaction Scaling). تعتمد المنهجية على مكونين أساسيين:

1. نموذج البحث العميق التكراري (بنية مستوحاة من عمليات ماركوف لاتخاذ القرار - MDP)

بدلاً من التراكم الخطي للسياق، يتبنى IterResearch صياغة لعملية ماركوف لاتخاذ القرار (MDP) محددة بالرتيبة $\langle S, D, E, T, R \rangle$.

• فضاء الحالة ($S$): كل حالة $s_t$ هي مساحة عمل مُعاد بناؤها استراتيجياً تحتوي فقط على العناصر الأساسية: السؤال الثابت $q$، وتقرير متطور $M_t$ (يعمل كذاكرة مضغوطة للنتائج التي تم التحقق منها)، والسياق المباشر من الخطوة السابقة.
• فضاء القرار ($D$): تولد السياسة $\pi$ قراراً مركباً $d_t$ يتكون من فكر داخلي ($Think_t$)، وتقرير محدث ($M_{t+1}$)، وإجراء خارجي ($a_t$).
• دالة الانتقال ($T$): من الناحية الجوهرية، تقوم دالة الانتقال بإعادة بناء مساحة العمل بدلاً من الإلحاق بالسجل. يتم التخلص من المسار التاريخي عمداً، مع الحفاظ فقط على المعرفة التركيبية في التقرير المحدث. يضمن هذا بقاء حجم مساحة العمل ثابتاً ($O(1)$) بغض النظر عن عدد جولات التفاعل، مما يتيح نظرياً استكشافاً غير محدود.

2. تحسين السياسة الواعية بالكفاءة (EAPO)

لتدريب هذا النموذج التكراري بفعالية، اقترح المؤلفون EAPO، وهي استراتيجية تدريب تعالج تحديين:

• الخصم الهندسي للمكافأة (Geometric Reward Discounting): إدراكاً بأن ليس كل المسارات الناجحة ذات قيمة متساوية، قام المؤلفون بتكييف الخصم الهندسي القياسي ($r_t = \gamma^{T-t} \cdot R_T$). يخلق هذا ضغطاً ضمنياً على الكفاءة، مما يحفز الوكلاء على الوصول إلى استنتاجات صحيحة من خلال استكشاف موجز ومركز بدلاً من البحث المستنفد.
• أخذ العينات التكيفي (Adaptive Downsampling): بما أن النموذج التكراري يفكك المسارات إلى عينات تدريب مستقلة متعددة (واحدة لكل جولة)، فإن أعداد العينات تختلف عبر الأسئلة. استخدم المؤلفون أخذ عينات تنازلي تكيفي لمواءمة دفعات التدريب مع حجم التوازي للبيانات، مما يضمن تدريباً موزعاً مستقراً مع الحفاظ على أكثر من 99% من البيانات.

المساهمات الرئيسية

1. نموذج جديد: اقتراح IterResearch، الذي يقضي على اختناق السياق وتلوث الضجيج من خلال الحفاظ على ذاكرة تقرير متطور وإجراء إعادة بناء استراتيجية لمساحة العمل.
2. استراتيجية تدريب: تطوير EAPO، التي تجمع بين الخصم الهندسي للمكافأة من أجل الكفاءة وأخذ العينات التنازلي التكيفي لتدريب مستقر على مسارات متغيرة الطول.
3. التحقق التجريبي: تجارب واسعة النطاق تثبت أن IterResearch يحقق تحسينات جوهرية مقارنة بالوكلاء مفتوحي المصدر الحاليين ويقلص الفجوة مع الأنظمة المملوكة الرائدة.

النتائج التجريبية

قيم المؤلفون IterResearch (المبني على Qwen3-30B-A3B) عبر ستة اختبارات معيارية صعبة: Humanity's Last Exam (HLE)، وBrowseComp، وBrowseComp-zh، وGAIA، وXbench-DeepSearch، وSEAL-0.

• مكاسب الأداء: حقق IterResearch متوسط تحسن قدره +14.5 نقطة مئوية (pp) عن الوكلاء مفتوحي المصدر الحاليين عبر الاختبارات الستة. تفوق على جميع النماذج المرجعية مفتوحة المصدر وأظهر أداءً تنافسياً أو متفوقاً مقارنة بالأنظمة المملوكة (على سبيل المثال، تجاوز OpenAI's DeepResearch في HLE وBrowseComp-zh).
• توسيع التفاعل (Interaction Scaling): أظهر النموذج قدرات توسيع غير مسبوقة، حيث امتد إلى 2048 تفاعلاً مع طول سياق 40 ألف فقط. تحسن الأداء بشكل كبير من 3.5% إلى 42.5% مع زيادة الحد الأقصى للتفاعلات من 2 إلى 2048، وهو إنجاز مستحيل هيكلياً للنهج أحادية السياق بسبب تجاوز سعة السياق.
• النقل عبر النماذج (Cross-Paradigm Transfer): وُجد أن المسارات التي يولدها IterResearch تعزز بشكل كبير الوكلاء أحادية السياق عند استخدامها كبيانات تدريب، مما يشير إلى أن النموذج يحفز سلوكيات استكشاف متفوقة قابلة للنقل عبر بنيات مختلفة.
• استراتيجية التلقين (Prompting Strategy): بدون أي تدريب، أدى تطبيق هيكل التلقين الخاص بـ IterResearch على النماذج الرائدة (مثل o3، DeepSeek-V3.1) إلى تحسينات كبيرة مقارنة بتلقين ReAct القياسي، خاصة في المهام طويلة الأمد (ما يصل إلى +19.2pp في BrowseComp).

الأهمية والادعاءات

يضع البحث IterResearch كحل متعدد الاستخدامات للاستدلال طويل الأمد، فعال كوكيل مدرب وكنموذج تلقين مستقل عن النموذج. يدعي المؤلفون ثلاث رؤى أساسية:

1. توسيع التفاعل: يفتح النموذج التكراري إمكانات توسيع هائلة للتفاعل، مما يشير إلى أن الصعوبة المتصورة للمهام طويلة الأمد قد تنبع من عدم كفاية قدرة الاستكشاف بدلاً من حدود الاستدلال المتأصلة.
2. سلوكيات استكشاف متفوقة: يحفز النموذج سلوكيات استكشاف عالية الجودة تخلق إشارات تدريب قابلة للنقل، حتى للوكلاء الذين يستخدمون بنيات معمارية مختلفة.
3. الفعالية المستقلة عن النموذج: يوفر الهيكل التكراري مع إعادة بناء مساحة العمل ميزة معرفية أساسية للاستدلال طويل الأمد، مما يحسن الأداء عبر مختلف بنيات النماذج دون الحاجة إلى ضبط دقيق محدد.

يخلص العمل إلى أن التكرار مع التركيب الاستراتيجي، بدلاً من التراكم الخطي، هو أمر أساسي لغزو تحديات الاستدلال طويل الأمد.