Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG
تقدم هذه الورقة RT4CHART، وهو إطار عمل للاختبار الرجعي (retromorphic) يستخدم التحقق الهرمي على مستوى الادعاء لتحقيق أفضل النتائج في الكشف عن الهلوسة دقيقة التفاصيل في أنظمة التوليد المعزز بالاسترجاع، بينما تكشف أيضاً أن المعايير المرجعية الحالية تقلل بشكل كبير من تقدير مدى انتشار الهلوسة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت مساعداً ذكياً ومطلعاً جداً (ذكاء اصطناعي) لكتابة تقرير لك. قدمت له مجموعة من الوثائق المحددة (السياق) وطرحت عليه سؤالاً. قام بكتابة إجابة تبدو رائعة. ولكن، ولأن الذكاء الاصطناعي ذكي جداً، فإنه أحياناً يخلط دون قصد بين ما هو موجود في وثائقك وبين أشياء "يتذكرها" من تدريبه العام، أو قد يختلق أشياء تبدو منطقية ولكنها ليست موجودة في وثائقك. هذا ما يسمى بـ "الهلوسة" (Hallucination).
المشكلة هي: كيف تمسك بهذه الأكاذيب؟
معظم الأدوات الحالية تشبه حارس أمن يحمل جهاز لاسلكي. ينظر إلى التقرير ككل ويقول: "هذا يبدو مشبوهاً بنسبة 30%" أو "هذا آمن بنسبة 90%". إنه يعطيك رقماً واحداً فقط. ولكن إذا كان التقرير مكوناً من 10 صفحات، فإن هذا الرقم لن يخبرك أي جملة هي الكذبة. ستجد نفسك في حيرة من أمرك.
يقدم هذا البحث نظاماً جديداً يسمى RT4CHART. فكر فيه ليس كحارس أمن، بل كـ محقق جنائي يستخدم تقنية خاصة لـ "الهندسة العكسية".
أدوات المحقق: كيف يعمل RT4CHART
يطلق المؤلفون على طريقتهم اسم "الاختبار الارتدادي الشكلي" (Retromorphic Testing). وهي طريقة معقدة تعني باختصار: "دعونا نعمل بشكل عكسي من الإجابة لنرى ما إذا كانت قد جاءت بالفعل من المصدر."
إليك كيف يحل المحقق القضية، خطوة بخوة:
1. تفكيك الإجابة إلى أدلة صغيرة (التفكيك - Decomposition)
بدلاً من النظر إلى المقال بأكمله، يقوم المحقق بتفكيك إجابة الذكاء الاصطناعي إلى جمل فردية مستقلة (ادعاءات).
- التشبيه: تخيل أن إجابة الذكاء الاصطناعي هي أحجية (Puzzle) ضخمة. يقوم المحقق بتفكيكها حتى يتمكن من فحص كل قطعة على حدة.
2. البحث "المحلي" (التحقق المحلي - Local Verification)
يأخذ المحقق مجموعة الوثائق المصدرية ويقطعها إلى قطع صغيرة متداخلة (مثل تمرير عدسة مكبرة فوق النص). ثم يتحقق من كل ادعاء صغير مقابل هذه القطع الصغيرة.
- المشكلة: أحياناً يكون الدليل على ادعاء ما مقسماً بين صفحتين مختلفتين. إذا نظرت إلى صفحة واحدة فقط في كل مرة، فقد تفوتك الصلة بينهما.
- الحل: يستخدم المحقق "نافذة منزلقة" بحيث تتداخل القطع، مما يضمن عدم ترك أي دليل عند الحواف.
3. المراجعة "العامة" (التحقق العام - Global Verification)
هذا هو السر وراء نجاح الطريقة. إذا لم يكن البحث المحلي متأكداً، يتراجع المحقق خطوة للوراء ويقرأ كامل مجموعة الوثائق مرة أخرى، مستخدماً نتائج البحث المحلي كمجرد تلميح.
- التشبيه: تخيل أنك تبحث عن كلمة محددة في كتاب. قد تمسح صفحة واحدة (بحث محلي) وتفشل في إيجادها لأنها مقسمة بين الصفحة 10 و11. لذا، تقرأ الفصل كاملاً (بحث عام) لتكون متأكداً تماماً.
- هذه الخطوة تعالج الأخطاء التي كان من الممكن أن يغفل عنها الفحص "المحلي" بسبب تشتت الأدلة.
4. الحكم مع الدليل (التصنيف - Labeling)
لكل جملة في إجابة الذكاء الاصطناعي، يعطي المحقق حكماً:
- مؤيد (أخضر): "نعم، هذا موجود في الوثائق."
- متناقض (أحمر): "لا، الوثائق تقول العكس تماماً."
- بلا أساس (أصفر): "لا يمكنني العث على هذا في أي مكان في الوثائق."
والأهم من ذلك، لكل حكم "أحمر" أو "أصفر"، يشير المحقق إلى الجملة المحددة في الوثيقة المصدرية التي تثبت خطأ الذكاء الاصطناعي.
لماذا هذا مهم: مفاجأة "نقص الإبلاغ"
أدرك الباحثون أيضاً أن "بطاقات التقييم" (المقاييس) المستخدمة لاختبار هلوسات الذكاء الاصطناعي كانت تخدعنا؛ فقد كانت تغفل الكثير من الأكاذيب.
- الطريقة القديمة: الاختبار القديم قال: "هذه الإجابة تحتوي على 86 كذبة".
- الطريقة الجديدة (RAGTruth-Enhance): أعاد الباحثون فحص الإجابات باستخدام طريقة المحقق الجديدة ووجدوا 685 كذبة.
لقد وجدوا أن الاختبارات القياسية كانت تغفل عن 1.68 ضعف عدد الهلوسات التي ظنوا أنها موجودة. وكان الكثير منها عبارة عن "هلوسات دقيقة" – أخطاء صغيرة مثل كتابة رقم خاطئ (قول "100 راكب" بدلاً من "100 شخص إجمالاً") أو ذكر رأي على أنه حقيقة.
الخلاصة
RT4CHART يشبه الانتقال من إشارة مرور تسأل "هل الطريق آمن؟" إلى نظام ملاحة (GPS) يحدد لك بالضبط أي طريق مغلق ويظهر لك الخريطة التي تثبت ذلك.
- إنه دقيق: لا يكتفي بالقول "إجابة سيئة"، بل يقول "الجملة الثالثة كذبة لأنها تناقض الصفحة 4، الفقرة 2".
- إنه هرمي: يفحص القطع الصغيرة أولاً، ثم الصورة الكاملة، لضمان عدم تفويت أي شيء.
- إنه صادق: يعترف عندما لا يجد دليلاً، بدلاً من التخمين.
في عالم يُستخدم فيه الذكاء الاصطناعي بشكل متزايد في القرارات القانونية والطبية والتجارية، تضمن هذه الأداة أن الذكاء الاصطناعي لا يبدو ذكياً فحسب، بل يلتزم فعلياً بالحقائق التي قدمتها له.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.