Detecting and Correcting Reference Hallucinations in Commercial LLMs and Deep Research Agents
تقيم هذه الورقة بشكل منهجي مدى صحة روابط الاستشهاد (URLs) في النماذج اللغوية الكبيرة ووكلاء البحث العميق، كاشفةً عن معدلات كبيرة من الهلوسة والروابط غير القابلة للحل عبر مختلف المجالات، وتثبت أن أداة مفتوحة المصدر تسمى `urlhealth` يمكنها تقليل هذه الأخطاء بفعالية بمعدل يصل إلى 79 مرة من خلال التصحيح الذاتي الوكيل.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تطلب من أمين مكتبة ذكي جداً ومطلع (ذكاء اصطناعي) أن يكتب لك ورقة بحثية. تسأله: "ما هي أحدث الطفرات في أبحاث السرطان؟". فيسلمك التقرير جميلاً ومفصلاً. لكن هناك خدعة: في أسفل كل فقرة، توجد هوامش صغيرة تشير إلى كتب أو مقالات محددة على الرفوف، والتي يُفترض أنها تثبت ادعاءات أمين المكتبة.
هذه الورقة تشبه فريقاً من المحققين الذين ذهبوا إلى المكتبة للتحقق مما إذا كانت تلك الهوامش تؤدي بالفعل إلى كتب حقيقية، أم أن أمين المكتبة قد اخترعها فحسب.
إليك قصة تحقيقهم، مقسمة ببساطة:
1. المشكلة: "الكتب الشبحية"
وجد الباحثون أنه بينما يتميز هؤلاء "الأمناء الآليون" بالقدرة على الكتابة، إلا أنهم يعانون أحياناً من "هلوسة الاستشهاد". وهذا يعني أنهم يخترعون روابط (عناوين URL) تبدو حقيقية ولكنها لا تؤدي إلى أي مكان.
- التشبيه: الأمر يشبه قيام أمين المكتبة بالإشارة إلى كتاب على الرف وقوله: "اقرأ الصفحة 42 من كتاب تاريخ السفر عبر الزمن"، ولكن عندما تذهب لسحب ذلك الكتاب من الرف، لا تجده. الكتاب لم يكن موجوداً أصلاً.
- الواقع: وجدوا أن ما بين 3% و13% من الروابط التي تقدمها هذه الأنظمة هي "أشباح" — لم توجد من الأساس. وهناك نسبة أخرى تتراوح بين 5% و18% هي "روابط ميتة" — الكتاب كان موجوداً سابقاً، لكن شخصاً ما أزاله من الرف (تعطل الروابط).
2. المشتبه بهم: "الباحثون العميقون" مقابل "الباحثون السريعون"
درست الدراسة نوعين من الذكاء الاصطناعي:
- الباحثون السريعون: وهم أنظمة ذكاء اصطناعي تقوم بعملية بحث قياسية عبر جوجل وتعطيك الإجابة.
- الباحثون العميقون: وهم أنظمة الذكاء الاصطناعي الجديدة والمتطورة التي تقضي وقتاً طويلاً في "التفكير"، وقراءة صفحات متعددة، وكتابة تقارير طويلة ومفصلة تحتوي على مئات الهوامش.
المفاجأة: قد تعتقد أن "الباحثين العميقين" أكثر حذراً لأنهم يعملون بجهد أكبر. لكن الدراسة وجدت العكس تماماً! لأنه يحاولون كتابة الكثير والاستشهاد بمصادر كثيرة، فإنهم في الواقع يخترعون روابط وهمية أكثر من الباحثين السريعين. الأمر يشبه طالباً يحاول كتابة مقال من 50 صفحة في ليلة واحدة؛ فمن المرجح أن يخترع حقائق فقط لملء الصفحات.
3. تأثير "الموضوع": بعض المواضيع أكثر صعوبة
لاحظ الباحثون أن الذكاء الاصطناعي يعاني أكثر مع مواضيع معينة.
- التشبيه: تخيل أنك تسأل أمين المكتبة عن "الأعمال" (مستقرة، يمكن التنبؤ بها) مقابل "اللاهوت" أو "الطب" (سريعة التغير، ومعقدة).
- النتيجة: كان الذكاء الاصطناعي أكثر عرضة لابتكار روابط وهمية عند التحدث عن اللاهوت أو الطب. لماذا؟ لأن هذه المجالات مليئة بالمعلومات المتخصصة، أو الصعبة المنال، أو سريعة التغير. يبدأ الذكاء الاصطناعي بالارتباك ويبدأ بالتخمين. في المقابل، بالنسبة لمواضيع مثل "الأعمال" أو "العمارة"، كانت الروابط أكثر موثوقية.
4. قاعدة "الكثر ليس الأفضل"
كان هناك اعتقاد خاطئ بأن الحصول على استشهادات أكثر من الذكاء الاصطناعي يعني أن الجودة أفضل. أثبتت الدراسة خطأ ذلك.
- التشبيه: إذا قدم لك طاهٍ طبقاً يحتوي على 100 مكون، فهذا لا يعني أن الوجبة أفضل. بل يعني فقط أن هناك احتمالاً أكبر للعثور على حبة طماطم فاسدة في المجموعة.
- النتيجة: الأنظمة التي أنتجت أكبر عدد من الاستشهادات كانت هي التي سجلت أعلى معدلات الخطأ. الكمية لم تكن تعني الجودة.
5. الحل: أداة "فحص صحة الرابط"
لم يكتف الباحثون بالإشارة إلى المشكلة فحسب؛ بل صنعوا أداة لإصلاحها. لقد أنشأوا أداة مفتوحة المصدر تسمى urlhealth.
- كيف تعمل: تخيل "مدققاً إملائياً" للروابط. قبل أن تثق في تقرير الذكاء الاصطناعي، تقوم هذه الأداة بإجراء فحص سريع لكل رابط.
- هل الرابط حي؟ (ضوء أخضر)
- هل هو شبح؟ (ضوء أحمر - لم يوجد أبداً)
- هل هو ميت؟ (ضوء أصفر - كان موجوداً سابقاً، والآن اختفى)
- السحر: عندما سمحوا للذكاء الاصطناعي باستخدام هذه الأداة لـ "تصحيح ذاتي" (فحص عمله الخاص)، انخفض عدد الروابط الوهمية بشكل كبير — بمقدار 6 إلى 79 ضعفاً! تحول الذكاء الاصطناعي من تقديم تقرير فوضوي وغير موثوق إلى تقرير نظيف وموثوق.
الخلاصة الكبرى
تعلمنا هذه الورقة شيئين رئيسيين:
- لا تصدق كل ما تقرأه: حتى أذكى أنظمة الذكاء الاصطناعي يمكنها اختراع مصادر وهمية، خاصة عندما تحاول أن تكون مفيدة للغاية أو مفصلة للغاية.
- التحقق هو المفتاح: نحن بحاجة إلى أدوات تتحقق تلقائياً مما إذا كان الرابط حقيقياً قبل أن نثق في المعلومات. تماماً كما لا تشتري منزلاً دون التحقق من صك الملكية، لا ينبغي لك أن تثق في تقرير الذكاء الاصطناعي دون التحقق من الروابط.
لقلق الباحثون أداة "فحص صحة الرابط" الخاصة بهم متاحة للجميع، آملين في وقف انتشار الاستشهادات المزيفة في المستقبل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.