Why Your Deep Research Agent Fails? On Hallucination Evaluation in Full Research Trajectory
تتناول هذه الورقة أوجه القصور في التقييم القائم على النتائج في وكلاء البحث العميق عبر تقديم تصنيف PING ومعيار DeepHalluBench لتمكين التدقيق الدقيق والمدرك للعملية للهلوسة عبر مسار البحث الكامل، مما يكشف عن فجوات موثوقية منهجية ويقدم رؤى قابلة للتنفيذ للتحسينات الهيكلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعد باحث فائق الذكاء للعثور على إجابة لسؤال صعب للغاية. سألته: "من هو الشخص الوحيد الذي فاز بجائزة أوسكار عن تمثيل في فيلم قام بإخراجه أيضًا؟". ذهب المساعد للبحث، وتصفح الإنترنت، وقرأ المقالات، ثم عاد بتقرير نهائي.
الطريقة القديمة للتحقق من عمله:
في السابق، إذا أردت معرفة ما إذا كان مساعدك جيدًا، كنت تكتفي بالنظر إلى التقرير النهائي فقط. إذا كان الاسم صحيحًا، يحصل على نجمة ذهبية. وإذا كان الاسم خطأ، يحصل على علامة (X) حمراء.
المشكلة:
تجادل هذه الورقة البحثية بأن النظر إلى الإجابة النهائية فقط يشبه الحكم على طباخ من خلال مذاق الحساء فقط، دون مراقبة كيفية طبخه. ربما كان طعم الحساء سيئًا لأنه نسي الملح (خطأ صغير)، أو ربما استخدم طماطم فاسدة وجدها في مؤخرة الثلاجة (كذبة كبيرة)، أو ربما بدأ بطبخ طبق خاطئ تمامًا لأنه أساء فهم طلبك.
يقول المؤلفون إن "وكلاء البحث العميق" الحاليين (وكلاء الذكاء الاصطناعي الباحثين) يرتكبون أخطاءً أثناء العملية، ولكن لأننا نتحقق فقط من الإجابة النهائية، فإننا لا نرى أين أو لماذا فشلوا. الأخطاء تختبئ في المنتصف.
النهج الجديد: "المحقق في العمليات"
قام المؤلفون ببناء نظام جديد يسمى DeepHalluBench. تخيل هذا النظام كأنه مطبخ شفاف حيث يمكننا مراقبة المساعد وهو يطبخ خطوة بخطوة. هم لا يتأكدون من طعم الحساء فحسب؛ بل يتفحصون كل مكون، وكل تقطيع، وكل تحريك.
لقد وضعوا كتاب قواعد جديدًا يسمى PING Taxonomy لتصنيف الطرق المختلفة التي يرتبك بها الذكاء الاصطناعي. إليك ما يرمز إليه PING، باستخدام تشبيهات بسيطة:
P - الانتشار (Propagation) (تأثير "الدومينو"):
تخيل أن المساعد ارتكب خطأً صغيرًا في الخطوة الأولى، مثل الاعتقاد بأن "التفاح لونه أزرق". في الخطوة الثانية، يستخدم هذه الفكرة الخاطئة للبحث عن "التفاح الأزرق". في الخطوة الثالثة، يكتب تقريرًا عن "التفاح الأزرق". كل سلسلة الأحداث هذه مبنية على تلك الكذبة الأولى. هذا هو الانتشار. وجدت الورقة أنه بمجرد أن يبدأ الذكاء الاصطناعي في الكذب، فإنه غالبًا ما يستمر في البناء على تلك الكذبة، مما يجعل التقرير النهائي خاطئًا تمامًا حتى لو تم تنفيذ الخطوات اللاحقة "بشكل صحيح" بناءً على المعلومات الخاطئة.I - القصد (Intent) (الـ "طلب غير المفهوم"):
طلبت وصفة "نباتية"، لكن المساعد تجاهل هذه الكلمة وأعطاك وصفة لحم ستيك. أو طلبت تقريرًا لعام "2023"، فأعطاك تقريرًا لعام "2010". لقد قام المساعد بالبحث، لكنه لم يستمع إلى قواعدك الخاصة. هذا هو هلوسة القصد.N - الناجم عن الضجيج (Noise-induced) (الـ "أمين المكتبة المشتت"):
تخيل أن المساعد ذهب إلى المكتبة ووجد 100 كتاب. 99 منها عن القطط، وواحد فقط عن الكلب الذي سألته عنه. قرأ المساعد جميع كتب القطط الـ 99 وتجاهل كتاب الكلب الوحيد لأنه كان مدفونًا في المجموعة. هو لم يكذب، لكنه أغفل المعلومة الأكثر أهمية. هذه هي الهلوسة الناجمة عن الضجيج.G - الاستناد (Grounding) (الـ "حقيقة مزيفة"):
ينظر المساعد إلى مقال حقيقي ثم يقول: "هذا المقال يقول إن القمر مصنوع من الجبن". في الواقع، المقال لا يذكر شيئًا عن الجبن. إنه يختلق أشياء من عنده أو ينسبها إلى المصدر الخطأ. هذه هي هلوسة الاستناد.
ما وجدوه (النتائج)
اختبر المؤلفون ستة من أشهر مساعدي البحث بالذكاء الاصطناعي (مثل تلك الموجودة في OpenAI وGoogle وغيرها) باستخدام نظام "المحقق في العمليات" الجديد الخاص بهم على 100 سؤال صعب للغاية.
- الجميع يعاني: حتى أفضل مساعدي البحث بالذكاء الاصطناعي ارتكبوا أخطاء في منتصف عملية البحث الخاصة بهم. لم يكن أي منهم مثاليًا.
- "الدومينو" هو المشكلة الأكبر: لم تكن المشكلة الأكثر خطورة هي مجرد ارتكاب كذبة واحدة، بل كانت في أن الذكاء الاصطناعي قد يرتكب خطأً صغيرًا في البداية، ثم يتم بناء بقية البحث على هذا الخطأ، مما يؤدي إلى فشل كلي.
- يتوقفون عند أول شيء يجدونه: يميل الذكاء الاصطناعي إلى التركيز بشدة على النتائج القليلة الأولى التي يجدها (مثل الشخص الذي يقرأ الصفحة الأولى فقط من كتاب ويفترض أنه عرف القصة بأكملها). إذا كانت الإجابة في الصفحة 50، فغالبًا ما يغفل عنها الذكاء الاصطناعي.
- يفضلون الإجابات "المملة": إذا وجد الذكاء الاصطناعي خمس مقالات تقول جميعها الشيء نفسه، فإنه يحبها كثيرًا. أما إذا وجد مقالًا واحدًا فريدًا يقول شيئًا مختلفًا، فغالبًا ما يتجاهله.
الخلاوة
تخلص الورقة إلى أن مجرد جعل الذكاء الاصطناعي "أكثر ذكاءً" أو إعطائه وصولاً أكبر إلى الإنترنت ليس كافيًا. المشكلة تكمن في كيفية "تفكير" الذكاء الاصطناعي أثناء بحثه.
ولإصلاح ذلك، نحتاج إلى بناء ذكاء اصطناعي يمكنه:
- رصد أخطائه مبكرًا (قبل أن تتحول إلى تأثير دومينو).
- الاستماع بشكل أفضل للقواعد المحددة التي تعطيها له.
- عدم التشتت بأول شيء يراه، بل الاستمرار في البحث عن الإجابة الأفضل.
باخت-صار، لا يمكننا مجرد تقييم التقرير النهائي بعد الآن. يجب علينا مشاهدة الفيلم بأكمله لفهم سبب فشل الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.