Deterministic Fact Validation for Retrieval-Augmented Generation of Clinical Data Reviewer's Guides: A Proposed Architecture
تقترح هذه الورقة وتُحاكي بنية تحقق حتمية وغير قائمة على النماذج اللغوية الكبيرة للتحقق من أدلة مراجعي البيانات السريرية، والتي، رغم نطاق تغطيتها الأضيق، تتفوق بشكل كبير على التحقق الذاتي القائم على النماذج اللغوية الكبيرة في اكتشاف الأخطاء ودقة الوثيقة النهائية عبر استبدال عمليات التحقق الاحتمالية بعمليات البحث المباشر في البيانات الوصفية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الطب الحديث، يجب أن يمر كل عقار جديد عبر اختبارات صارمة قبل أن يصل إلى المرضى. فعندما تنهي شركة الأدوية تجربة سريرية، يتعين عليها تقديم حزمة ضخمة من الأدلة إلى الجهات التنظيمية الحكومية. تتضمن هذه الحزمة نوعين متميزين من الوثائق اللذين يجب أن يرويا القصة ذاتها تماماً؛ الأول هو البيانات الخام، المنظمة في جداول صارمة قابلة للقراءة آلياً تسجل كل قياس تم أخذه من كل متطوع. والثاني هو دليل سردي، وهو وثيقة كتبها بشر تشرح البيانات، وتوضح ما هو مهم ولماذا. وإذا تعارضت هاتان الوثيقتان، يمكن رفض التقديم بأكمله، مما يؤدي إلى تأخير العلاجات المنقذة للحياة.
ولتسريع هذه العملية، بدأت الشركات في استخدام الذكاء الاصطناعي لكتابة هذه الأدلة السردية. تعمل هذه التكنولوجيا من خلال تغذية الكمبيوتر بالبيانات الخام وقواعد الدراسة، ثم تطلب منه صياغة النص. ومع ذلك، فإن هذه البرامج الحاسوبية لديها عيب معروف: فهي أحياناً تخترع حقائق بثقة تامة، وهو سلوك يُعرف باسم "الهلوسة". فإذا كتب الكمبيوتر أن دراسة ما ضمت 500 مشارك بينما كان عدد المشاركين الفعلي 450، ولم يكتشف أحد هذا الخطأ، فقد يتسلل الخطأ إلى السجل الرسمي. ويتمثل التحدي المركزي للباحثين في كيفية إيقاف هذه الاختراعات الاصطناعية دون إبطاء العملية أو جعل مهمة المراجعين البشريين مستحيلة.
تقترح دراسة جديدة طريقة محددة لحل هذه المشكلة من خلال تغيير كيفية فحص الكمبيوتر لعمله الخاص. يقترح المؤلف، ساي كريشنا بولي، أنه بدلاً من مطالبة ذكاء اصطناعي ثانٍ بمراجعة مسودة الأول، ينبغي لنا استخدام نظام بسيط قائم على القواعد يعمل مثل الآلة الحاسبة. سيبحث هذا النظام في أرقام وحقائق محددة في المسودة، مثل عدد الأشخاص في مجموعة العلاج، ويبحث عنها فوراً في سجلات الدراسة الأصلية. إذا تطابقت الأرقام، تُحدد الحقيقة كمعلومات تم التحقق منها، وإذا لم تتطابق، يقوم النظام برصد الخطأ فوراً. يعامل هذا النهج عملية التحقق ليس كقرار تقديري، بل كعملية بحث مباشر، تماماً كما تتحقق ورقة العمل (Spreadsheet) مما إذا كانت الصيغة الرياضية صحيحة.
لا تصف الورقة نظاماً تم بناؤه واختباره في مستشفى حقيقي أو مكتب تنظيمي، بل قام المؤلف بإنشاء محاكاة مفصلة لمعرفة ما إذا كانت هذه الفكرة ستنجح من الناحية النظرية. أنشأت المحاكاة 2000 وثيقة وهمية لكل سيناريو من أربعة سيناريوهات مختلفة لمعرفة كيفية أدائها. كان السيناريو الأول عبارة عن ذكاء اصطناعي أساسي بدون مساعدة. واستخدم الثاني الطريقة القياسية لاسترجاع البيانات قبل الكتابة. وأضاف الثالث ذكاءً اصطناعياً ثانياً للتحقق من عمل الأول. أما الرابع، وهو المقترح من قبل المؤلف، فقد أضاف نظاماً قائماً على القواعد (كالآلة الحاسبة) للتحقق من الحقائق.
كشفت نتائج المحاكاة عن مقايضة مفاجئة. فالنظام الذي استخدم ذكاءً اصطناعياً ثانياً لمراجعة العمل كان سريعاً جداً وادعى أنه فحص كل جملة. ومع ذلك، لم يكتشف سوى حوالي نصف الأخطاء الفعلية التي كان من المفترض أن يجدها. والأهم من ذلك، عندما أخطأ في القول بأن حقيقة خاطئة هي حقيقة صحيحة، كان المراجعون البشريون أقل عرضة لاكتشاف الخطأ بأنفسهم، وهي ظاهرة تُعرف باسم "الرضا عن الأتمتة" (Automation Complacency). لقد وثق المراجعون في علامات التحقق الخضراء أكثر من اللازم وتوقفوا عن التدقيق بعناية.
في المقابل، فحص النظام القائم على القواعد عدداً أقل من الجمل لأنه استطاع فقط التحقق من الحقائق التي ترتبط برقم أو فئة واضحة، وتجاهل الجمل التفسيرية المعقدة التي تتطلب حكماً بشرياً. ومع ذلك، وبالنسبة للحقائق التي فحصها، كان النظام مثالياً تقريباً، حيث رصد 99.5 بالمائة من الأخطاء. ولأنه كان موثوقاً للغاية، ظل المراجعون البشريون يقظين. وعلى الرغم من أن النظام استغرق وقتاً أطول قليلاً للتشغيل وتطلب من المراجعين قضاء وقت أكثر لكل وثيقة، إلا أن النتيجة النهائية كانت أكثر دقة بكثير. فقد بلغت نسبة الدقة النهائية للوثائق المنتجة بهذه الطريقة 34.6 بالمائة، مقارنة بـ 16.1 بالمائ Prozent فقط للنظام الذي استخدم ذكاءً اصطناعياً ثانياً للتحقق من العمل.
تخلص الدراسة إلى أن محاولة التحقق من كل شيء باستخدام برنامج حاسوبي ثانٍ قد تجعل المنتج النهائي أسوأ في الواقع من خلال تخدير البشر بشعور زائف بالأمان. إن نظاماً أكثر ضيقاً وصرامة، يتحقق فقط مما يمكن إثباته من خلال البحث المباشر، يحافظ على تفاعل المراجع البشري ويضمن صحة الحقائق الأكثر أهمية. ويؤكد المؤلف أن هذه النتائج تستند إلى محاكاة، وأن الخطوة التالية يجب أن تكون اختباراً في العالم الحقيقي باستخدام وثائق ومراجعين بشريين حقيقيين. وإلى أن يحدث ذلك، تظل الفكرة تصميماً واعداً وليست حلاً مثبتاً، لكنها تقدم مساراً واضحاً لجعل الكتابة الطبية المدعومة بالذكاء الاصطناعي أكثر أماناً وموثوقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.