MedRAGChecker: Claim-Level Verification for Biomedical Retrieval-Augmented Generation
يُعد MedRAGChecker إطار عمل للتحقق على مستوى الادعاءات لعمليات التوليد المعزز بالاسترجاع في المجال الحيوي الطبي، حيث يقوم بتفكيك الإجابات الطويلة إلى ادعاءات ذرية والتحقق منها باستخدام الاستدلال باللغة الطبيعية واتساق الرسم البياني للمعرفة لتقديم تشخيصات مفصلة حول الموثوقية، وفجوات الأدلة، والأخطاء الحرجة المتعلقة بالسلامة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الطبي الحديث، أصبح الذكاء الاصطناعي أداة قوية لتمشيط المكتبات الضخمة من الأبحاث والإجابة على الأسئلة المعقدة. تعمل الأنظمة المعروفة باسم "التوليد المعزز بالاسترجاع" (RAG) مثل أمين مكتبة لا يكتفي فقط بإيجاد الكتب الأكثر صلة، بل يكتب أيضاً ملخصاً بناءً على ما قرأه. ومع ذلك، يمكن أن تحتوي هذه الملخصات أحياناً على مزيج خطير من الحقائق: بعضها مدعوم تماماً بالأدلة، وبعضها مدعوم بشكل ضعيف، والبعض الآخر خاطئ ببساطة. وفي السياق الطبي، يمكن لجملة واحدة خاطئة حول الآثار الجانبية لدواء ما أو سلامة علاج معين أن تؤدي إلى عواقب وخيمة. التحدي الذي يواجه العلماء ليس فقط في معرفة ما إذا كانت الإجابة النهائية جيدة بشكل عام، بل في فحص كل جملة داخلها للتأكد من أنها تقف على أرض صلبة.
لقد طور باحثون في جامعة بيتسبرغ نظاماً جديداً يسمى MedRAGChecker لحل هذه المشكلة. فبدلاً من الحكم على إجابة طبية كاملة ككتلة واحدة، يقوم هذا النظام بتفكيك الاستجابة إلى أصغر وحداتها البنائية، والتي يسمونها "الادعاءات الذرية". تخيل الإجابة الطويلة كجدار مكون من طوب فردي؛ يقوم هذا النظام بفحص كل طوبة على حدة ليرى ما إذا كانت حقيقية أم مزيفة. لكل ادعاء، يقوم النظام بإجراء فحصين متميزين. أولاً، يقرأ النص الطبي الأصلي الذي استخدمه الكمبيوتر لتوليد الإجابة ليرى ما إذا كان النص يدعم البيان صراحةً. ثانياً، يستشير خريطة رقمية ضخمة للمعرفة الطبية، وهي بنية تربط بين الأدوية والأمراض والأعراض بطريقة منظمة، ليرى ما إذا كان الادعاء منطقياً ضمن القواعد الأوسع للطب.
اكتشف الباحثون أن مجرد إضافة هذه الخريطة الرقمية إلى عملية الفحص لم يكن كافياً؛ بل في الواقع، يمكن أن يؤدي الأمر أحياناً إلى جعل الأمور أسوأ. فقد وجدوا أنه إذا لم تكن الخريطة الرقمية تحتوي على معلومات حول موضوع معين، فإن النظام قد يصنف أحياناً عبارة صحيحة على أنها كذبة. حدث هذا لأن الخريطة كانت غير مكتملة، وافترض النظام أنه إذا لم تكن الحقيقة موجودة في الخريطة، فلا بد أنها خاطئة. ولإصلاح ذلك، قدم الفريق "مرشحاً ذكياً". يسمح هذا المرشح للخريطة الرقمية بتجاوز الفحص القائم على النص فقط عندما تكون الخريطة واثقة جداً من أن البيان خاطئ، ويكون النص واثقاً جداً من أنه صحيح. هذه الحالة المحددة هي حيث تقع أكثر الأخطاء خطورة، مثل ادعاء أن مسكناً شائعاً للألم آمن للأطفال المصابين بفيروس معين، بينما تعلم المعرفة الطبية أنه ليس كذلك. ومن خلال استخدام هذا المرشح الانتقائي، يتجنب النظام ارتكاب الأخطاء في المواضيع التي تصمت فيها الخريطة الرقمية، مع الاستمرار في رصد الأخطاء الحرجة حيث تمتلك الخريطة دليلاً واضحاً.
عند اختبار النظام الجديد على أربع مجموعات مختلفة من الأسئلة الطبية، أثبت فعالية عالية. فقد طابق دقة الأدوات العامة الموجودة، لكنه ذهب خطوة أبعد من خلال تحديد أخطاء محددة تتعلق بالسلامة لم تكتشفها الأدوات الأخرى. وأظهرت الدراسة أن جودة الخريطة الرقمية المستخدمة كانت مهمة للغاية. أحد إصدارات الخريطة، والذي ركز بشكل كبير على إعادة استخدام الأدوية، غطى حوالي 63 بالمائة فقط من المواضيع في الاختبار. وعند استخدامه، تسببت هذه الخريطة غير المكتملة في اتهام الإجابات الصحيحة بأنها خاطئة بنسبة تقارب 34 بالمائة. أما الإصدار الثاني، وهو نسخة أوسع من الخريطة، فقد غطى 94 بالمائة من المواضيع وقلل من هذه الاتهامات الخاطئة إلى حوالي 25 بالمائة. ومن خلال الجمع بين الفحص النصي والخريطة الأوسع وتطبيق المرشح الذكي، اتفق النظام مع الخبراء البشريين في الحالات الصعبة بنسبة 69.8 بالمائة، وهو تحسن ملحوظ عن استخدام الفحص النصي وحده.
يوضح هذا العمل أنه لكي يكون الذكاء الاصطناعي آمناً في المجالات عالية المخاطر مثل الطب، لا يمكننا الاعتماد على طريقة تحقق واحدة. نحن بحاجة إلى الجمع بين القدرة على قراءة وفهم النصوص وبين الفهم المنظم للحقائق الطبية، ولكن يجب القيام بذلك بحذر. وجد الباحثون أن اكتمال قاعدة المعرفة الطبية لا يقل أهمية عن الخوارزمية المستخدمة للتحقق من الإجابات. يقدم نهجهم طريقة لرصد "الهلوسة" الخطيرة — حيث يخترع الذكاء الاصطناعي حقائق — دون استبعاد المعلومات الصحيحة لمجرد أن حقيقة معينة كانت مفقودة من قاعدة البيانات. توفر هذه الطة وسيلة أكثر وضوحاً وموثوقية لضمان أن النصائح الطبية التي تولدها الحواسيب جديرة بالثقة، مما يحمي المرضى من الأخطاء الطفيفة ولكن الضارة التي يمكن أن تختبئ داخل الإجابات الطويلة والمعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.