← أحدث الأبحاث
💬 NLP

HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

تقدم هذه الورقة البحثية HopRefusalBench، وهو أول معيار اختبار مصمم لتقييم كيفية تعامل الوكلاء المعززين بالبحث مع الأسئلة متعددة الخطوات غير القابلة للإجابة، مما يكشف أنه بينما تستطيع النماذج غالباً تحديد السبب الصحيح لعدم إمكانية الإجابة، إلا أنها تفشل تكراراً في الالتزام بالرفض المناسب، وتلجأ بدلاً من ذلك إلى الهلوسة أو استنفاد ميزانيات البحث.

المؤلفون الأصليون: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

نُشر 2026-08-04
📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك توظف محققاً فائق الذكاء لحل لغز ما. هذا المحقق يمتلك مكتبة سحرية يمكنه زيارتها فوراً، وهو بارع في ربط النقاط بين الكتب المختلفة للوصول إلى الإجابة. هكذا تعمل وكلاء الذكاء الاصطناعي "المعززة بالبحث" الحديثة: فهي نماذج لغوية كبيرة يمكنها الخروج والبحث في الإنترنت (أو قاعدة بيانات)، وتجميع المعلومات للإجابة على أسئلتك. عادةً ما يكون هذا أمراً مذهلاً. ولكن ماذا يحدث عندما تطرح سؤالاً لا يمكن الإجابة عليه؟ ربما تسأل: "من هو ملك فرنسا الحالي؟" (لا يوجد ملك حالياً)، أو "ما هو المكون السري في طبق غير موجود أصلاً؟"

في عالم الذكاء الاصطناعي، معرفة متى لا يجب الإجابة لا تقل أهمية عن معرفة كيفية الإجابة. إذا استمر محققك في البحث داخل المكتبة، مخترعاً ملكاً وهمياً، أو ضائعاً لساعات في البحث عن مكون غير موجود، فهو ليس مفيداً؛ بل هو عنيد ومبذر. يسمي العلماء هذا "الرفض" (refusal)؛ وهي القدرة على قول: "لا يمكنني الإجابة على هذا لأن السؤال معيب". وبينما نعلم أن محققي الذكاء الاصطناعي هؤلاء يزدادون براعة في حل الألغاز الصعبة، إلا أننا لم نكن نعرف حقاً كيف يتصرفون عندما يكون اللغز مستحيلاً الحل من الأساس. هل يتوقفون بسرعة؟ هل يصابون بالارتباك؟ أم أنهم ببساطة يبدؤون في اختلاق الأمور؟

تقدم هذه الورقة البحثية اختباراً جديداً يسمى HopRefusalBench لمعرفة كيف يتعامل محققو الذكاء الاصطناعي هؤلاء بالضبط مع الأسئلة المستحيلة. لقد صمم الباحثون 889 سؤالاً مخادعاً تهدف إلى إيقاع الذكاء الاصطناعي في الفخ. لم يكتفوا بطرح أسئلة بسيطة مثل "لا أعرف"، بل بنوا ألغازاً معقدة متعددة الخطوات حيث يمكن أن يكون الفخ في بداية الخيوط، أو في منتصف الأدلة، أو حتى في نهاية المطاف. أرادوا معرفة ما إذا كان الذكما الاصطناعي سيدرك أن السؤال معيب في وقت مبكر، أم أنه سيستمر في البحث وينتهي به الأمر إلى الهلوسة (اختلاق معلومات) لتقديم إجابة.

كانت النتائج بمثابة جرس إنذار. فحتى أذكى نماذج الذكاء الاصطناعي في الاختبار نجحت فقط في التوقف بشكل صحيح وقول "لا يمكنني الإجابة على هذا" في حوالي 42.9% من الحالات. وهذا يعني أنه في أكثر من نصف الحالات، فشلت النماذج في إدراك أن السؤال مستح المستحيل. وجدت الدراسة أن نماذج الذكاء الاصطناعي كانت جيدة جداً في تحديد سبب كون السؤال معيباً بمجرد حصولها على الدليل (أكثر من 84% من المرات استطاعت شرح المنطق)، لكنها واجهت صعوبة في الالتزام فعلياً بالتوقف. فبدلاً من قول "أنا أستسلم"، غالباً ما استمرت في البحث حتى نفد الوقت أو الطاقة، أو قامت ببساطة باختراع إجابة وهمية لإرضاء المستخدم.

اكتشف الباحثون أيضاً أن مكان وضع "الفخ" في السؤال كان أمراً مؤثراً. فقد كان من الأصعب على الذكاء الاصطناعي التوقف عندما تكون المشكلة في منتصف سلسلة الاستنتاج (مثل جسر مكسور بين جزيرتين) مقارنة بما لو كانت المشكلة في النهاية. علاوة على ذلك، فإن نوع السؤال المستحيل غيّر طريقة فشل الذكاء الاصطناعي: فبعض النماذج تميل إلى اختلاق الحقائق (الهلوسة)، بينما استمرت نماذج أخرى في البحث إلى الأبد حتى نفدت ميزانيتها.

باختصار، تظهر هذه الورقة أنه بينما يصبح محققو الذكاء الاصطناعي لدينا أفضل في العثور على المعلومات، إلا أنهم لا يزالون سيئين للغاية في معرفة متى يتوقفون. فهم غالباً ما يعلقون في حلقة مفرغة من البحث أو يبدؤون في اختلاق الأشياء بدلاً من الاعتراف بأن السؤال نفسه معيب. يقترح المؤلفون أنه لكي يكون وكلاء الذكاء الاصطناعي هؤلاء موثوقين حقاً، نحتاج إلى تعليمهم ليس فقط كيفية البحث، بل كيفية التعرف على الطريق المسدود والتوقف قبل إضاعة الوقت أو نشر معلومات مضللة. الخبر الجيد هو أن لدينا الآن خريطة (HopRefusalBench) تساعدنا في تشخيص مواضع فشلهم بدقة وكيفية إصلاحها.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →