Retrieval-Augmented Generation for Reducing Hallucinations in Drug-Related Question Answering Systems
تقدم هذه الورقة البحثية مسار عمل للجيل المعزز بالاسترجاع (RAG) يقلل بشكل كبير من الهلوسة ويحسن الدقة الواقعية في الإجابة على الأسئلة المتعلقة بالأدوية من خلال ربط استجابات النماذج اللغوية الكبيرة بقاعدة معرفية صيدلانية منسقة، مما يساهم في التخفيف من مخاطر سلامة المرضى الحرجة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتاً فائق الذكاء، ثرثاراً للغاية، وقد قرأ كل كتاب كُتب تقريباً. يمكنه أن يروي لك القصص، ويكتب القصائد، ويشرح الأفكار المعقدة في ثوانٍ. هذا الروبوت هو "نموذج لغوي كبير" (LLM). لكن هناك عقبة: هذا الروبوت يشبه قاصّاً بارعاً قد يخترع بعض الحقائق أحياناً لجعل القصة تبدو أفضل. في عالم الطب، حيث يمكن لحقيقة خاطئة عن حبة دواء أن تؤذي شخصاً ما، يُسمى هذا "اختلاق الحقائق" بـ الهلوسة. إنها ليست رؤية سحرية؛ بل هي مجرد قول الروبوت لشيء غير صحيح بكل ثقة. ولإصلاح ذلك، يحاول العلماء تزويد الروبوت بـ "ورقة مرجعية" أو مكتبة يمكنه التحقق منها قبل أن يتحدث. تُسمى هذه الطريقة التوليد المعزز بالاسترجاع (RAG). فبدلاً من مجرد التخمين من ذاكرته، يبحث الروبوت عن الإجابة في كتاب موثوق أولاً، ثم يخبرك بما وجده. تسأل هذه الورقة سؤالاً بسيطاً ولكنه ينقذ الأرواح: إذا أعطينا روبوتاً طبياً مكتبة من الحقائق الدوائية، فهل سيتوقف عن ارتكاب أخطاء خطيرة؟
قرر مؤلفا هذه الورقة، براتيك كومار وراجات فيرما، اختبار هذه الفكرة خصيصاً للأسئلة المتعلقة بالأدوية. لقد بنيا نظاماً حيث يتعين على روبوت (باستخدام نموذج يسمى Llama 3.2) الإجابة على أسئلة حول أدوية مثل الوارفارين أو الإيبوبروفين. ولكن قبل أن يجيب، يتعين عليه الذهاب إلى مكتبة رقمية، وإيجاد الصفحات الدقيقة المتعلقة بذلك الدواء، وقراءتها. لقد قارنا بين هذا "الروبوت القارئ للمكتبة" وبين "روبوت الذاكرة فقط" الذي يعتمد فقط على التخمين بناءً على ما تعلمه أثناء تدريبه.
كانت النتائج بمثابة راحة كبيرة لأي شخص قلق بشأن سلامة الذكاء الاصطناعي. كان روبوت "الذاكرة فقط" مثيراً للمشاكل نوعاً ما: فقد اختلق حقائق خطيرة في 47.8% من الحالات. وهذا يعني أنه كان مخطئاً بكل ثقة في نصف الحالات تقريباً. ومع ذلك، بمجرد إضافة المكتبة (نظام RAG)، انخفضت أخطاء الروبوت بشكل كبير لتصل إلى 12.3% فقط. هذا يمثل انخفاضاً بنسبة 74.3% في الأخطاء. لم يصبح الروبوت أفضل قليلاً فحسب، بل أصبح أكثر موثوقية بكثير. وعندما كان يرتكب خطأً، فغالباً ما كان ذلك بسبب عدم قدرته على إيجاد الإجابة في المكتبة (وهو نوع آمن من الخطأ)، بدلاً من اختلاق حقيقة مزيفة (وهو نوع خطير من الخطأ).
ولإثبات أن الأمر لم يكن مجرد صدفة، اختبر الباحثون النظام على 150 سؤالاً مختلفاً حول عشرة أدوية شائعة، تغطي كل شيء من أدوية القلب إلى المسكنات. ووجدوا أن الروبوت القارئ للمكتبة كان أكثر دقة وأمانة. على سبيل المثال، عندما سُئل عما إذا كان من الآمن خلط الوارفارين (مسيل للدم) مع الإيبوبروفين (مسكن للألم)، أعطى روبوت "الذاكرة فقط" إجابة خطيرة بـ "نعم"، قائلاً إنه من الآمن تناوله بجرعة تصل إلى 400 ملجم مرتين يومياً. كان من الممكن أن يؤدي ذلك إلى نزيف يهدد الحياة. أما الروبوت القارئ للمكتبة، فقد تحقق من مصادره وقال بشكل صحيح: "لا، هذا خطير ويمكن أن يسبب نزيفاً حاداً"، مستشهداً بملصقات الأدوية الرسمية.
تظهر الورقة أنه بينما يستغرق نظام القراءة من المكتبة وقتاً أطول قليلاً للإجابة (حوالي 3.2 ثانية بدلاً من 1.1)، فإن هذه المقايضة تستحق العناء لأنها تمنع الروبوت من الكذب بشأن الدواء. ويعترف الباحثون بأن نظامهم ليس مثالياً بعد — فهو لا يزال يرتكب بعض الأخطاء، خاصة مع تركيبات الأدوية النادرة جداً، وهو يعمل بالنصوص الإنجليزية فقط. لكن عملهم يثبت أن تزويد الذكاء الاصطناعي بمصدر موثوق للتحقق من حقائقه هو وسيلة قوية لإيقاف "هلوسته"، مما يجعله أكثر أماناً للمرضى الذين قد يطلبون المساعدة منه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.