Evaluating Evidence Sensitivity and Robustness of Hallucination Detectors in Retrieval- Augmented Generation
تكشف هذه الدراسة أنه بينما تحقق كواشف الهلوسة أداءً قوياً ضمن النطاق، فإن موثوقيتها تتدهور بشكل كبير في ظل تحولات التوزيع، واضطرابات الأدلة، وزيادة الضجيج السياقي، مما يثبت أن دقة المعايير المجمعة وحدها غير كافية لتقييم متانتها وقدرتها على التعميم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، أصبحت النماذج اللغوية الكبيرة أدوات قوية لتوليد النصوص، قادرة على الإجابة عن الأسئلة، وتلخيص المستندات، والمساعدة في التفكير المعقد. ومع ذلك، تعاني هذه الأنظمة من خلل معروف: يمكنها إنتاج إجابات تبدو سلسة وواثقة تماماً بينما هي مختلقة بالكامل أو خاطئة واقعياً. هذه الظاهرة، المعروفة باسم "الهلوسة"، تشكل خطراً كبيقاً عندما تُستخدم هذه النماذج في مهام جادة مثل المشورة الطبية أو الأبحاث القانونية. ولإصلاح ذلك، غالباً ما يستخدم المطورون تقنية تسمى "التوليد المعزز بالاسترجاع". في هذا الإعداد، لا يُسمح للنموذج بالاعتماد فقط على ذاكرته الداخلية؛ بل بدلاً من ذلك، يتم عرضه أولاً على مجموعة من المستندات الحقيقية أو الأدلة من قاعدة بيانات، ويُتوقع منه بناء إجابته بناءً فقط على ما يجده هناك. والأمل هو أنه من خلال ترسيخ النموذج في الحقائق الحقيقية، سيتوقف عن اختلاق الأشياء. ولكن برز سؤال جديد: كيف نعرف ما إذا كان النموذج يستخدم بالفعل الأدلة التي أُعطيت له، أم أنه يتجاهل المستندات ويختلق إجابة على أي حال؟ هذا هو التحدي المركزي الذي يحاول الباحثون الآن حله من خلال بناء كواشف أفضل يمكنها رصد متى يكذب النموذج.
لقد وضعت دراسة حديثة هدفاً لاختبار مدى فاعلية هذه الكواشف، ليس فقط من خلال معرفة ما إذا كانت تحصل على الإجابة الصحيحة في اختبار قياسي، بل من خلال رؤية ما إذا كانت تتفاعل بشكل صحيح عندما تتغير الأدلة التي يُفترض بها التحقق منها. عامل الباحثون الكاشف كعالم يحتاج إلى التحقق من ادعاء ما. فقد أخضعوا نظاماً مدرباً على رصد الهلوسة لسلسلة من التجارب المنضبطة. أولاً، اختبروه على مجموعة بيانات مألوفة حيث حقق أداءً جيداً جداً، محققاً درجة (AUROC) بلغت 0.8483، مما يشير إلى أداء تصنيفي قوي في التمييز بين الادعاءات الكاذبة. ومع ذلك، تبين أن هذا النجاح الأولي كان مضللاً. فعندما نقل الباحثون الكاشف إلى مجموعة مختلفة تماماً من البيانات، انهار أداؤه، ليهبط إلى مستوى لا يتجاوز التخمين العشوائي. يشير هذا الاكتشاف إلى أن العديد من الكواشف الحالية لا تتعلم في الواقع كيفية التحقق من الحقائق؛ بل بدلاً من ذلك، تقوم بحفظ الأنماط الخاصة ببيانات التدريب، مثل أسلوب الكتابة أو أنواع الأسئلة المطروحة، بدلاً من فهم العلاقة بين الإجابة والدليل الداعم لها.
لفهم ما كان يحدث داخل "عقل" الكاشف، أجرى الباحثون سلسلة من التدخلات حيث قاموا بتغيير الأدلة المقدمة للنظام بشكل متعمد. في أحد الاختبارات، قاموا ببساطة بإزالة المستندات الداعمة تماماً. وفي اختبار آخر، استبدلوا المستندات الصحيحة بمستندات أخرى مختلفة تماماً من مثال آخر. وفي ثالث، أضافوا نصاً غير ذي صلة ومشتتاً إلى المزيج. كانت النتوايج كاشفة. فعندما تمت إزالة الأدلة الصحيحة أو استبدالها، تغيرت ثقة الكاشف بشكل كبير، وغالباً ما قلب قراره من "صادق" إلى "مهلوس" أو العكس. أظهر هذا أن الكاشف كان حساساً بالفعل للأدلة. ومع ذلك، عندما أضافوا قدراً صغيراً من النص غير ذي الصلة بجانب الأدلة الصحيحة، لم يلاحظ الكاشف ذلك تقريباً، واستمر في اتخاذ نفس القرار. يشير هذا إلى أنه بينما ينتبه النظام إلى الأدلة، فإنه لا يتحقق بالضرية من كل ادعاء مقابل كل جملة في النص المقدم. يبدو أنه يعتمد على شعور عام بوجود الأدلة وملاءمتها، بدلاً من إجراء تدقيق صارم جملة بجملة.
كما استكشفت الدراسة ما يحدث عندما تمتلئ "نافذة المراقبة" الخاصة بالكاشف بكمية متزايدة من المعلومات غير المفيدة. تخيل أن لدى الكاشف مساحة ثابتة للقراءة، مثل صفحة واحدة من كتاب. أبقى الباحثون السؤال والإجابة كما هما، ثم ملأوا تلك الصفحة تدريجياً بمزيد ومزيد من النصوص غير ذات الصلة، مما دفع الأدلة المفيدة إلى أسفل القائمة. ومع زيادة نسبة النص غير ذي الصلة من صفر إلى مائة بالمائة، تراجعت قدرة الكاشف على التمييز بين الحقيقة والأكاذيب بشكل مطرد. انخفضت دقته، وأصبح ثقته في توقعاته غير موثوقة بشكل متزايد. بدأ يخمن أن الإجابة هي هلوسة في كثير من الأحيان، حتى عندما لم تتغير الإجابة نفسها. يشير هذا إلى أن جودة السياق تهم بقدر أهمية وجود الأدلة؛ فإذا غرق المعلومات المفيدة في بحر من الضجيج، يفشل الكاشف، تماماً كما سيعاني القارئ البشري في العثور على الحقيقة في وسط المشتتات.
ولعل الاكتشاف الأكثر إثارة للدهشة جاء من تحليل المعلومات التي كان يستخدمها الكاشف بالضبط لاتخاذ قراراته. وجد الباحثون أن الإجابة المولدة نفسها احتوت على قدر كبير من المعلومات المرتبطة بملصق الهلوسة، مما سمح للكاشف بتحقيق درجة (AUROC) بلغت 0.7512 باستخدام نص الإجابة فقط. ومع ذلك، كان هذا الأداء أقل بكثير مما كان عليه عند استخدام المدخلات الكاملة. إذ أدى إضافة الأدلة إلى المزيج إلى تحسين قدرة الكاشف على التمييز والمعايرة بشكل ملحوظ، حيث رفع درجة (AUROC) إلى 0.8305. وعلى العكس من ذلك، عندما أزال الباحثون الإجابة وأعطوا الكاشف السؤال والأدلة فقط، انهار أداؤه إلى مستوى الصدفة العشوائية. يكشف هذا عن فارق دقيق وحاسم: الكاشف ليس مدقق حقائق نقي يقارن إجابة بمصدر بمعزل عن غيره. بدلاً من ذلك، هو نظام هجين يستخدم أسلوب ومحتوى الإجابة كإشارة أولية، بينما يستخدم الأدلة كإشارة ثانوية قوية لتعزيز دقته وموثوقيته.
في نهاية المطاف، تتحدى هذه الأبحاث الطريقة التي نقيم بها أدوات سلامة الذكاء الاصطناعي حالياً. فالكاشف الذي يسجل درجات عالية في اختبار قياسي قد لا يكون قوياً بما يكفي للاستخدام في العالم الحقيقي، حيث تبدو البيانات مختلفة وغالباً ما تكون الأدلة فوضوية أو غير مكتملة. توضح الدراسة أن الكاشف الموثوق يجب ألا يُختبر فقط على قدرته على الحصول على الإجابة الصحيحة، بل على كيفية سلوكه عندما تتغير الأدلة، وعندما يكون السياق مزدحماً، وعندما يُجبر على الاعتماد على أجزاء مختلفة من المدخلات. تشير النتائج إلى أننا بحاجة إلى تجاوز درجات الدقة البسيطة وتطوير طرق تقييم تقيس مدى حساسية واستقرار هذه الأنظمة تحت الضغط. فقط من خلال فهم نقاط الضعف هذه، يمكننا بناء كواشف تحمينا حقاً من الأخطاء الخفية والخطيرة للذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.