ملخص تقني: من الأسئلة والأجوبة البسيطة إلى البحث العميق

بيان المشكلة

تتطلب مهام البحث العميق من وكلاء الذكاء الاصطناعي الانتقال من مجرد استرجاع الحقائق البسيط إلى دمج المعرفة بالمجال، وتنفيذ عمليات استدلال متعددة الخطوات، وإنتاج استجابات عالية الجودة ومفتوحة النهايات. ومع ذلك، فإن بناء معايير مرجعية (benchmarks) موثوقة لهذه المهام يعد أمراً صعباً؛ إذ تعتمد المعايير الحالية غالباً على تأليف خبراء مكلف أو مواد بشرية موجودة مسبقاً، مما يحد من قابليتها للتوسع. وفي المقابل، تعاني طرق الإنشاء الآلية بالكامل من صعوبة ضمان التحقق المتسق والقابل للتتبع، وغالباً ما تفتقر إلى المعرفة الخاصة بالمهمة المطلوبة للتقييم الدقيق. كما أن النهج الآلية الحالية إما تقارن النماذج نسبياً (التصنيف بناءً على تشابه التقارير) أو تولد معايير تقييم (rubrics) تفتقر إلى الموثوقية المضمونة والجودة المهنية. إن التحدي الجوهري الذي يعالجه هذا البحث هو كيفية بناء مجموعة متنوعة من مهام البحث العميق الاحترافية بمعايير تقييم موثوقة ومستندة إلى أدلة دون الاعتماد على التأليف اليدوي من قبل الخبراء.

المنهجية

يقدم البحث خط إنتاج (pipeline) لإنشاء معيار مرجعي آلي بالكامل يتمحور حول حلقة تكرارية من المستكشف (Explorer) – المُصيغ (Formalizer) – المتحدي (Challenger). يقوم خط الإنتاج هذا بتحويل الأسئلة البسيطة تدريجياً إلى مهام بحث عميق معقدة.

1. تمثيل المهمة

التمثيل الهيكلي الأساسي للمهمة هو رسم بياني موجه غير حلقي (DAG).

• العُقد (Nodes): تمثل خطوات بحث ذرية، تُصنف إما كخطوات إثباتية (استرجاع حقائق قابلة للتتبع) أو تحليلية (إجراء استدلال أو مقارنة).
• الحواف (Edges): تمثل التبعيات المنطقية بين الخطوات.
• نقاط التحقق (Checkpoints): تتضمن كل عقدة نقاط تحقق مستمدة من تفاعل الوكيل مع البيئة.

يسمح هذا الهيكل بجعل عملية الحل صريحة، وقابلة للتفكيك، وقابلة للتتبع.

2. خط إنتاج الإنشاء

يتكرر خط الإنتاج عبر ثلاثة أدوار لتطوير استعلام بسيط $q_1$ إلى مهمة بحث عميقة $q_T$:

• المستكشف (Explorer): يحل الاستعلام الحالي في بيئة مفتوحة باستخدام الأدوات (مثل البحث، وكشط الويب). وينتج مساراً من المعلومات المستكشفة، والأدلة، والتحليل. صُممت هذه الخطوة للكشف عن المعرفة طويلة الذيل والنادرة التي لا يمكن اكتشافها إلا عند صقل نوايا البحث.
• المُصيغ (Formalizer): يقوم بتحليل مسار "المستكشف" لتحديث الرسم البياني للمهمة ($G$) واستخلاص مجموعة مقابلة من معايير التقييم القابلة للتحقق ($R$).
  • ينظم المسار في رسم بياني موجه (DAG)، مع ضمان أن الرسم البياني كافٍ للإجابة على الاستعلام ولكنه في حده الأدنى (عبر إزالة العقد غير ذات الصلة ودمج العقد المتكافئة دلالياً).
  • يولد معايير تقييم نقطية لكل عقدة، مستندة إلى الأدلة المحددة التي تم العثور عليها.
  • يخصص أوزاناً للعقد بناءً على هيكل الرسم البياني (عبر نشر الأوزان من الأوراق إلى الجذور) ليعكس الأهمية النسبية لمختلف خطوات البحث.
• المتحدي (Challenger): يحدد القرائن التي تم استكشافها ولكن لم تُستخدم في المسار والتي تظل مرتبطة منطقياً بالمهمة. يستخدم هذه الاتجاهات "غير المستخدمة" لتوليد استعلام أصعب للجولة التالية ($q_{t+1}$)، مما يؤدي فعلياً إلى توسيع نطاق المهمة (العرض) أو عمق الاستدلال. ومن الأهمية بمكان أنه يقوم بحجب نقاط تحقق محددة لمنع الاستعلام الجديد من الكشف عن مسار الحل.

معيار التوقف: يتوقف التطور عندما يظل هيكل الرسم البياني (العقد والحواف) دون تغيير لجولتين متتاليتين، مما يشير إلى أن المهمة قد وصلت إلى نقطة التشبع حيث لا يمكن دمج المزيد من المعرفة ذات الصلة.

3. تصميم الاستعلام

من المهمة النهائية المتقاربة، يتم توليد ثلاثة أشكال متميزة للاستعلام لاختبار قدرات متكاملة:

• استعلام مع تلميحات ($q^h_T$): الاستعلام الكامل والمعقد الذي يحتوي على أبعاد التحليل والقيود. يختبر معالجة المعلومات في ظل وجود قرائن غنية.
• استعلام بدون تلميحات ($q^o_T$): سؤال موجز ومعتاد مشتق من الاستعلام المعقد، حيث يتم تجريده من القيود. يختبر التفكيك والتخطيط في ظل قيود خفية.
• استعلام الموضوع المحدد ($q^a_T$): عنوان بحثي تقريري. يختبر تكوين الحجج تحت موضوع توجيهي دون صياغة سؤال صريح.

المساهمات الرئيسية

1. معيار مرجعي قابل للتحقق: أنشأ المؤلفون معياراً مرجعياً يتكون من 500 مهمة بحث عميق تغطي 31 موضوعاً و10 فئات رئيسية. كل مهمة مقترنة بـ معايير تقييم نقطية مستندة إلى الحقائق وبالأشكال الثلاثة للاستعلام المذكورة أعلاه.
2. خط إنتاج إنشاء آلي بالكامل: قدموا خط إنتاج مبتكر يوسع الاستعلامات البسيطة بشكل تكراري إلى رسوم بيانية (DAGs) من الخطوات الذرية. يتيح هذا النهج تطور الاستعلام، وهيكل المهمة، ومعايير التقييم معاً دون تأليف يدوي أو مواد خبراء مكتوبة مسبقاً.
3. تقييم دقيق التفاصيل: يوضح المعيار المرجعي أن معايير التقييم الخاصة به تتيح تقييماً مستقراً، متوافقاً مع البشر، ودقيق التفاصيل، مما يميز أداء النماذج بشكل أكثر فعالية من الأحكام الثنائية أو التصنيفات النسبية.

النتائج

أُجريت التجارب على 10 نماذج شائعة (بما في ذلك GPT-5.6، وClaude Sonnet 5، وDeepSeek-V4-Pro، وإصدارات مختلفة من Qwen) تحت إعدادين: وضع الوكيل (Agent Mode) (مع الأدوات) ووضع النموذج (Model Mode) (المعرفة الداخلية فقط).

• التمييز: يميز المعيار المرجعي بوضوح بين النماذج ذات القدرات المتفاوتة. فقد تفوقت النماذج الأقوى (مثل GPT-5.6 Terra) باستمرار على النماذج الأضعف عبر جميع أنواع الاستعلامات.
• تدرج القدرات: أظهرت الدرجات انتشاراً مستمراً بدلاً من التكتل، مما يشير إلى أن معايير التقييم توفر درجة دقيقة من الرضا المتدرج.
• تأثير الأدوات: أدى إزالة الأدوات إلى انخفاض كبير في الأداء (انخفاض متوسط قدره 0.14) عبر جميع النماذج وأنواع الاستعلامات، مما يؤكد أن المهام تشفر معلومات "ذات ذيل طويل" غير موجودة في بيانات التدريب المسبق.
• حساسية نوع الاستعلام: أظهرت النماذج نقاط قوة متفاوتة عبر أنواع الاستعلامات. على سبيل المثال، أدى ضعف التلميحات ($q^o_T$) إلى نقل فجوة الأداء نحو الاستدلال التحليلي، مما كشف أن النماذج الأصغر تعاني أكثر في تفكيك الأهداف الواسعة ودمج الأدلة.
• التوافق البشري: أظهرت المراجعات البشرية لـ 100 مهمة عينة جودة عالية (لا توجد تقييمات "سيئة") وتوافقاً عالياً بين المراجعين. علاوة على ذلك، أظهر الحكم الآلي بواسطة النماذج اللغوية الكبيرة (LLMs) ارتباطاً عالياً مع التقييمات البشرية (معامل بيرسون $r \approx 0.90$)، مما يؤكد موثوقية معايير التقييم المولدة.

الأهمية

يزعم البحث أن أهميته الأساسية تكمن في معالجة الفجوة بين الحاجة إلى معايير بحث عميق وصعوبة بنائها بشكل موثوق دون خبراء بشريين. من خلال إثبات أن العملية التكرارية التي يقودها الوكيل يمكنها توليد مهام ذات معايير تقييم قابلة للتتبع والتحقق، يقدم العمل مساراً قابلاً للتوسع لتقييم الجيل القادم من وكلاء الذكاء الاصطناعي. يوفر المعيار المرجعي مقياساً مستقراً ودقيق التفاصيل لتقييم قدرات البحث العميق، ويكشف عن نقاط ضعف محددة في النماذج الحالية (مثل عدم القدرة على كشف الأهداف الخفية أو دمج الأدلة دون توجيه صريح) والتي لا تلتقطها المعايير الحالية. ويرى المؤلفون أن تكلفة الإنشاء (باستخدام النماذج الرائدة في خط الإنتاج) هي استثمار ضروري لبناء مورد موثوق للمجتمع.