Mitigating Hallucinations in Healthcare LLMs with Granular Fact-Checking and Domain-Specific Adaptation
تقترح هذه الورقة إطار عمل لنماذج اللغات الكبيرة مخصص للرعاية الصحية يجمع بين نموذج تلخيص تم ضبطه باستخدام تقنية LoRA والتدريب على مجموعة بيانات MIMIC-III، وبين وحدة مستقلة للتحقق من الحقائق ذات دقة عالية، وذلك لتقليل الهلوسة بشكل كبير وضمان موثوقية المخرجات السريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
المشكلة الكبرى: الطبيب "الواثق ولكن المخطئ"
تخيل طالب طب عبقرياً، سريع الحديث، وقد قرأ كل كتاب في المكتبة. يمكنه تلخيص إقامة المريض الكاملة في المستشفى خلال ثوانٍ معدودة. ومع ذلك، لدى هذا الطالب عادة خطيرة: إنه أحياناً يختلق الأمور.
في عالم الذكاء الاصطيدي، يُطلق على هذا ما يسمى بـ "الهلوسة" (Hallucination). فقد يقول الذكاء الاصطناعي بكل ثقة إن المريض أُعطي 50 ملغ من عقار ما بينما أُعطي في الواقع 10 ملغ فقط، أو يدعي أن المريض خضع لعملية جراحية لم تحدث أبداً. وفي مجال الرعاية الصحية، يمكن لهذه الأكاذيب الصغيرة أن تؤدي إلى أخطاء كبيرة وخطيرة.
الحل: نظام سلامة مكون من خطوتين
قام مؤلفو هذه الورقة البحثية ببناء نظام لإيقاف هذه الأكاذيب. فكر في الأمر كأنه فريق مكون من شخصين يعملان معاً:
- الراوي (المولّد - The Generator): هو ذكاء اصطناعي متخصص تم تدريبه خصيصاً على السجلات الطبية. مهمته هي كتابة ملخص لما حدث للمريض.
- المحرر الصارم (مدقق الحقائق - The Fact-Checker): هو نجم العرض. على عكس "الراوي"، فإن "المحرر" لا يستخدم الذكاء الاصطناعي للتحقق من العمل، بل يستخدم مجموعة صارمة من القواعد المنطقية، مثل محقق يحمل عدسة مكبرة.
كيف يعمل "المحرر الصارم"؟
المحرر لا يكتفي بقراءة الملخص وتخمين ما إذا كان يبدو صحيحاً أم لا، بل يقوم بتفكيك القصة إلى حقائق صغيرة جداً تُسمى "الافتراضات" (Propositions).
- التشبيه: تخيل أن السجل الطبي للمريض (مصدر الحقيقة) هو خزانة ملفات ضخمة ومنظمة. أما الملخص فهو مجرد ملاحظة مكتوبة بخط اليد.
- العملية: يأخذ "المحرر" كل جملة من الملاحظة المكتوبة بخط اليد، ويفككها إلى أجزاء (مثلاً: "المريض تناول 50 ملغ من دواء ليسينوبريل")، ثم يذهب إلى خزانة الملفات للبحث عن الملف المطابق.
بمجرد العثور على الملف المطابق، يقوم بإجراء سلسلة من الاختبارات المنطقية:
- اختبار الرياضيات (التحقق الرقمي): هل الرقم متطابق؟ إذا ذكرت الملاحظة "50 ملغ" بينما يقول الملف "10 ملغ"، يضرب المحرر عليها ختمًا أحمر: فشل (FAIL).
- اختبار السفر عبر الزمن (التحقق الزمني): هل حدثت الأحداث بالترتيب الصحيح؟ إذا قالت الملاحظة "خرج المريض من المستشفى قبل انخفاض الحمى"، بينما يقول الملف إن الحمى انخفضت بعد الخروج، فإن المحرر يضع علامة تنبيه. فشل (FAIL).
- اختبار "نعم/لا" (التحقق من النفي): هل ذكرت الملاحظة "لا توجد مضادات حيوية" بينما يوضح الملف بوضوح أنه "أُعطيت مضادات حيوية"؟ فشل (FAIL).
- اختبار المنطق (التحقق من الاستلزام): إذا ذكرت الملاحظة أن المريض كان يعاني من الالتهاب الرئوي، فإن المنطق يقتضي أنه يجب أن يكون قد أُعطي مضادات حيوية. إذا ذكرت الملاحظة الالتهاب الرئوي لكنها نسيت المضادات الحيوية، فإن المحرر يكتشف الجزء المفقود. فشل (FAIL).
- اختبار "هل نسيت؟" (التحقق من الوجود): إذا ذكر الملف إجراء عملية جراحية كبرى لكن الملخص لم يذكرها على الإطلاق، فإن المحرر يضع علامة تنبيه. فشل (FAIL).
إذا اجتازت حقيقة ما جميع هذه الاختبارات، تحصل على ختم أخضر: مدعومة (Supported). وإذا فشلت في اختبار واحد فقط، تحصل على ختم أحمر: غير مدعومة (Not Supported).
لماذا هذا العمل مميز؟
تحاول معظم الأنظمة الأخرى حل هذه المشكلة عبر طلب من ذكاء اصطناعي آخر أن يراجع عمل الذكاء الاصطناعي الأول؛ لكن هذا يشبه طلب من طالب أن يصحح واجبه المنزلي بنفسه، فقد يرتكب كلاهما نفس الخطأ أو قد يكون أحدهما "لطيفاً جداً" لدرجة تمنعه من رصد الأخطاء.
نظام هذه الورقة البحثية فريد لأن "مدقق الحقائق" خالٍ من نماذج اللغات الكبيرة (LLM-free). فهو لا يخمن أو "يشعر" بما إذا كان الشيء صحيحاً، بل يستخدم المنطق الرياضي الصارم والمقارنات المباشرة ضد السجلات الطبية الأصلية. إنه يشبه الآلة الحاسبة التي تتحقق من مسألة رياضية بدلاً من إنسان يخمن الإجابة.
النتائج
اختبر الفريق هذا النظام على آلاف السجلات الحقيقية للمرضى (من قاعدة بيانات تسمى MIMIC-III).
- الراوي: كان بارعاً جداً في كتابة ملخصات تبدو طبيعية ودقيقة (سجل درجات عالية في اختبارات اللغة القياسية).
- المحرر الصارم: كان فعالاً للغاية في كشف الأكاذيب. فقد نجح في تحديد الحقائق المدعومة بنسبة 89% من المرات، وكشف الأكاذيب غير المدعومة بدقة عالية.
الخلاصة
تقدم هذه الورقة البحثية شبكة أمان للذكاء الاصطناعي الطبي. فهي لا تكتفي بالأمل في أن يكون الذكاء الاصطناعي صادقاً، بل تجبره على إثبات كل حقيقة مقابل السجلات الطبية الأصلية باستخدام منطق صارم بعيد عن الذكاء الاصطناعي. وهذا يجعل الملخص النهائي أكثر أماناً للأطباء عند اتخاذ القرارات المتعلقة برعاية المرضى.
ملاحظة حول القيود: يعترف المؤلفون بأنه رغم نجاح هذا النظام في الحالات الطبية الشائعة، إلا أنه قد يواجه صعوبة في التعامل مع الأمراض النادرة جداً أو الحالات المعقدة والمتخصصة للغاية حيث لا تكون "قواعد" المنطق واضحة تماماً. كما أشاروا إلى أن النظام حالياً يرصد الأخطاء ولكنه لا يصلحها تلقائياً؛ إذ لا يزال يتعين على البشر مراجعة العلامات الحمراء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.