Hallucination Detection Using Evidence Retrieval and Natural Language Inference
تقدم هذه الورقة TruthLens، وهو مسار عمل قائم على الأدلة يكتشف الهلوسة في استجابات النماذج اللغوية الكبيرة عن طريق استخراج الادعاءات الفردية، واسترجاع الأدلة عبر نهج هجين يجمع بين BM25 وMiniLM، والتحقق منها باستخدام نموذج DeBERTa-v3 NLI، محققاً دقة متوسطة على مجموعة بيانات FEVER مع تسليط الضوء على القيود في التعميم وتغطية الأدلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الشاسع للذكاء الاصطناعي الحديث، أصبحت النماذج اللغوية الكبيرة ماهرة بشكل ملحوظ في الكتابة. فهي تستطيع صياغة مقالات بليغة، والإجابة على أسئلة معقدة، وسرد قصص متماسكة بثقة تبدو غالباً غير قابلة للتمييز عن الخبرة البشرية. ومع ذلك، يكمن وراء هذا السطح المصقول عيب مستمر: فهذه الأنظمة تصدر أحياناً عبارات تبدو منطقية ولكنها غير صحيحة واقعياً، أو غير مدعومة، أو مختلقة بالكامل. هذه الظاهرة، المعروفة باسم "الهلوسة"، تشكل تحدياً كبيراً لأن الإجابة الواحدة قد تحتوي على مزيج من الحقائق الصحيحة والخاطئة. فإذا وصف النظام إجابة كاملة بأنها "خاطئة" أو "صحيحة" فحسب، فإنه يغفل عن الدقة في تحديد أي الأجزاء تحديداً يمكن الوثوق بها. ولحل هذه المشكلة، يتجه الباحثون إلى طريقة للتحقق تعامل كل جملة كادعاء منفصل، وتفحصها مقابل مكتبة من الحقائق المعروفة لمعرفة ما إذا كانت الأدلة تدعم الادعاء، أو تناقضه، أو ببساطة تفشل في معالجته.
قام فريق من الباحثين في المعهد الهندي للتكنولوجيا بروركي (IIT Roorkee) ببناء نظام أولي يسمى "TruthLens" لمعالجة هذه المشكلة. وبدلاً من التخمين فيما إذا كانت الإجابة صحيحة أم لا، يعمل TruthLens مثل مدقق حقائق دقيق يقوم بتفكيك الإجابة الطويلة إلى جمل فردية. ولكل جملة، يبحث النظام في مكتبة رقمية ضخمة من النصوص للعثور على مقاطع ذات صلة. ويستخدم النظام استراتيجيتين مختلفتين للعثور على هذه المقاطع: إحداهما تبحث عن تطابقات الكلمات الدقيقة، بينما تفهم الأخرى المعنى الكامن وراء الكلمات، حتى لو اختلف الصياغة. ثم يدمج النظام نتائج هاتين البحثين لاختيار المرشح الأكثر احتمالاً ليكون دليلاً. وأخيراً، يستخدم نموذج لغوي متخصص لمقارنة الادعاء الأصلي مع الدليل المختار، ليقرر ما إذا كان الدليل يثبت الادعاء، أو ينفيه، أو يترك السؤال دون إجابة.
اختبر الباحثون هذا النهج باستخدام مجموعة بيانات تضم ما يقرب من عشرين ألف مثال مستمدة من معيار قياسي للتحقق من الحقائق. قاموا أولاً بقياس مدى قدرة نظامهم على إيجاد الدليل الصحيح. وعند استخدام بحث مطابقة الكلمات فقط، وجد النظام الدليل الصحيح في حوالي نصف الحالات. وعند استخدام البحث القائم على المعنى، تحسن الأداء قليلاً. ومع ذلك، عندما دمجوا كلا الطريقتين، نجح النظام في تحديد الدليل ذي الصلة في 56.51% من الحالات عند تخمينه الأول، وفي أكثر من 65% من الحالات إذا نظر في أفضل خمسة أو عشرة اقتراحات. وقد أثبت هذا النهج الهجين أنه الطريقة الأكثر فعالية لجمع الإثبات المحتمل، مما أظهر أن الاعتماد على طريقة بحث واحدة فقط ليس كافياً لاستيعاب جميع المعلومات الضرورية.
بمجرد أن يجد النظام أفضل دليل، يتعين عليه تحديد معنى ذلك الدليل. اختبر الباحثون عدة تكوينات لمعرفة أي إعداد ينتج الأحكام الأكثر دقة. ووجدوا أن تغذية نموذج التحقق بقطعة واحدة من أفضل الأدلة كان يعمل بشكل أفضل من محاولة تجميع قطع متعددة من الأدلة. وفي مجموعة منفصلة مكونة من ألفي مثال لم يسبق للنظام رؤيتها من قبل، صنف هذا الإعداد النهائي الادعاءات بشكل صحيح بنسبة 62.25% من الوقت. وبينما يعد هذا أداءً قوياً لنموذج أولي، فقد سلطت النتائج الضوء أيضاً على مواضع تعثر النظام؛ فقد كان النموذج جيداً بشكل خاص في تحديد الحالات التي يكون فيها الادعاء مدعوماً أو متناقضاً، لكنه وجد صعوبة في التمييز بين الادعاء الذي لا يدعمه النص المتاح وبين الادعاء الخاطب فعلياً. وفي هذه الحالات غير اليقينية، كان النظام يتردد غالباً، واصفاً إياها بأنها "غير معروفة" بدلاً من إصدار حكم قاطع.
كشفت الدراسة أيضاً أن نجاح النظام مرتبط ارتباطاً وثيقاً بجودة ونطاق الأدلة التي يمكنه الوصول إليها. لاحظ الباحثون أن نموذجهم الأولي يعتمد على مجموعة محددة ومحدودة من النصوص، ولا يمكنه التحقق من الادعاءات المتعلقة بأحداث أو حقائق لا توجد ضمن تلك المكتبة. علاوة على ذلك، يفشل النظام أحياناً عندما يتطلب الادعاء ربط قطع متعددة من المعلومات أو حل المراجع مثل الضمائر، مما قد يربك التحليل القائم على الجملة الواحدة. وفي محاولة لاختبار ما إذا كان بإمكان طريقتهم العمل على نوع مختلف من مجموعات البيانات المصممة للإجابة على الأسماط العامة، وجد الباحثون أن النظام لم ينتقل بشكل جيد، مما يشير إلى أن الأدوات المبنية لنوع محدد من مهام التحقق من الحقائق قد لا تعمل بشكل عالمي دون تعديلات كبيرة.
في نهاية المطاف، يوضح TruthLens أنه من الممكن بناء مسار عمل يقوم بتفكيك إجابات الذكاء الاصطناعي وفحصها مقابل قاعدة بيانات من الحقائق، ولكنه يكشف أيضاً عن حدود التكنولوجيا الحالية. فالنظام ليس عصا سحرية يمكنها الكشف الفوري عن الحقيقة المطلقة لأي بيان؛ بل هو أداة توضح ما يمكن التحقق منه بناءً على الأدلة المتاحة. إنه يحدد بنجاح متى يكون الادعاء مدعوماً أو متناقضاً مع النص الذي يمكنه العثود إليه، ولكنه يعترف بصدق أيضاً عندما تكون الأدلة مفقودة أو غير كافية. ويخلص الباحثون إلى أنه بينما يعمل نهج الاسترجاء والتحقق الهجين الخاص بهم، فإن العقبات الكبرى تظل في التعامل مع الاستدلال المعقد، وحل المراجع غير الواضحة، وتوسيع قدرة النظام على العمل عبر أنواع مختلفة من البيانات. وفي الوقت الحالي، يعمل النظام كنموذج أولي وظيفي يقدم لمحة عما يمكن للآلات أن تفعله يوماً ما لمساعدة البشر في التنقل عبر فيضان المعلومات، بشرط أن نتذكر أن الحكم النهائي لا يزال يتطلب إشرافاً بشرياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.