Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
تقدم هذه الورقة إطار تقييم مبتكر يستخدم محلل أشجار الإعراب المجردة (AST) لتقييم التقارير البحثية التي تولدها النماذج اللغوية الكبيرة عبر صحة الروابط، والصلة، والدقة الواقعية، مما يكشف عن فجوة حرجة حيث تحافظ حتى النماذج الرائدة على إمكانية وصول عالية للاقتباسات والصلة بالموضوع، لكنها تعاني من صعوبة في الاتساق الواقعي، وهي مشكلة تزداد سوءاً مع زيادة عمق الاسترجاع.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف فريقاً من المساعدين البحثيين الأذكياء جداً (نماذج ذكاء اصطناعي) لكتابة تقرير عن موضوع معقد. تقول لهم: "اذهبوا وابحثوا عن الحقيقة على الإنترنت، واكتبوا تقريراً، وتأكدوا من إدراج مكان وجود كل حقيقة وجدتموها بدقة".
الورقة البحثية التي شاركتها تشبه مفتش مراقبة الجودة الذي قرر فحص الواجبات المنزلية التي سلمها هؤلاء المساعدون من الذكاء الاصطناعي. فبدلاً من مجرد قراءة التقرير والإيماء بالموافقة، قام المفتش ببناء روبوت خاص للتحقق من كل حاشية كتبها الذكاء الاصطناعي.
إليك ما وجدوه، مشروحاً ببساطة:
الفحص المكون من ثلاث خطوات
بنى الباحثون نظاماً للتحقق من استشهادات الذكاء الاصطناعي بثلاث طرق محددة، مثل فحص أمني مكون من ثلاثة أجزاء:
- فحص "هل الباب مفتوح؟" (عمل الرابط): هل يعمل الرابط حقاً؟ إذا نقرت عليه، هل ينقلك إلى صفحة ويب، أم يظهر لك خطأ 404 (رابط معطل)؟
- فحص "هل هذا يدور حول نفس الشيء؟" (المحتوى ذو الصلة): إذا كان الرابط يعمل، هل تتحدث صفحة الويب بالفعل عما ادعى الذكاء الاصطناعي أنه يتحدث عنه؟ (مثلاً: يقول الذكاء الاصطناعي "هذا الرابط يثبت أن القطط هي كلاب"، لكن الرابط في الواقع هو وصفة لتحضير اللازانيا).
- فحص "هل هذا صحيح؟" (التحقق من الحقائق): هذا هو الجزء الأصعب. هل تحتوي صفحة الويب بالفعل على تلك الحقائق أو الأرقام أو التواريخ المحددة التي قال الذكاء الاصطناعي إنها موجودة؟
المفاجأة الكبرى: مشكلة "الغلاف اللامع"
الاكتشاف الصادم هو أن مساعدي الذكاء الاصطناعي بارعون في أول فحصين، لكنهم سيئون جداً في الفحص الثالث.
- التشبيه: تخيل طالباً يكتب بحثاً ويتضمن قائمة مراجع.
- في 94% من الحالات، تكون الكتب الموجودة في قائمة المراجع موجودة بالفعل على رفوف المكتبة (الرابط يعمل).
- في 80% من الحالات، تكون تلك الكتب مرتبطة بالفعل بالموضوع الذي يكتب عنه الطالب (المحتوى ذو صلة).
- ولكن، عندما تفتح الكتاب وتقرأ الصفحة المحددة التي استشهد بها الطالب، فقط في حوالي 40% إلى 77% من الحالات يكون الكتاب يقول بالفعل ما ادعى الطالب أنه قاله.
النتيجة المستخلصة: الذكاء الاصطناعي بارع جداً في إيجاد رابط يعمل لموقع ويب ذي صلة، ولكنه غالباً ما يكذب بشأن ما يقوله ذلك الموقع. الأمر يشبه المرشد السياحي الذي يأخذك دائماً إلى المتحف الصحيح، ولكنه يخبرك بقصة خاطئة عن المعروضات بداخله.
مفارقة "الأكثر يعني الأقل"
اختبر الباحثون أيضاً ماذا يحدث إذا أخبرنا الذكاء الاصطناعي أن يبحث بعمق أكبر ويطلع على المزيد من المواقع الإلكترونية. قد تعتقد: "إذا طلبت من الذكاء الاصطناعي قراءة 150 موقعاً بدلاً من موقعين فقط، فسيكون أكثر دقة، أليس كذلك؟"
خطأ.
- التشبيه: تخيل أنك تحاول حل لغز (بازل). إذا كان لديك قطعتان من اللغز، يمكنك رؤية الصورة بسهولة. إذا ألقى شخص ما 150 قطعة أمامك، فستشعر بالارتباك. قد تبدأ في إجبار القطع على التلاحم مع بعضها البعض حتى لو لم تكن متوافقة، فقط لإنهاء الصورة.
- النتيجة: بينما كان يُطلب من الذكاء الاصطناعي البحث في مصادر أكثر فأكثر (من 2 إلى 150)، فإن قدرته على قول الحقيقة انخفضت بنسبة 42% تقريباً. كانت الروابط لا تزال تعمل، والمواضيع كانت لا تزال ذات صلة، لكن الحقائق المحددة أصبحت فوضوية. لقد أصيب الذكاء الاصطناعي بـ "تخمة معلومات" وبدأ في اختلاق تفاصيل وهمية (هلوسة).
من أدى جيداً؟ ومن أدى بشكل سيء؟
- النماذج "الرائدة" (نماذج الشركات التقنية الكبرى): هذه النماذج (مثل تلك التابعة لـ OpenAI وAnthropic وGoogle) كانت جيدة جداً في إنشاء تقارير تبدو مثالية. لقد وجدت دائماً تقريباً روابط تعمل ومواضيع ذات صلة. ومع ذلك، حتى النماذج الأكثر ذكاءً لم تكن تصيب الحقائق إلا بنسبة تتراوح بين 39% إلى 77%.
- النماذج مفتوحة المصدر: عانت هذه النماذج بشكل أكبر. فالعديد منها لم يستطع حتى إتمام مهمة كتابة تقرير مع الاستشهادات. وعندما حاولوا، كانوا أسوأ بكثير في إيجاد روابط تعمل وفي ضبط الحقائق.
الخلاصة
تخلص الورقة البحثية إلى أنه لا يمكننا الوثوق في أبحاث الذكاء الاصطناعي لمجرد أن لديها قائمة من الروابط في الأسفل. فوجود قائمة طويلة من الروابط التي تعمل يخلق "شعوراً زائفاً بالثقة". مجرد كون الباب مفتوحاً والغرفة هي الغرفة الصحيحة، لا يعني أن القصة التي يرويها الذكاء الاصطناعي عما يوجد داخل الغرفة هي قصة حقيقية.
لقد بنى الباحثون هذا "روبوت التفتيش" لمساعدتنا على رؤية الفجوة بين استشهاد يبدو جيداً واستشهاد هو في الواقع صحيح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.