Toward Automatic Filling of Case Report Forms: A Case Study on Data from an Italian Emergency Department
تتناول هذه الورقة ندرة البيانات المشروحة لعملية التعبئة التلقائية لنماذج تقارير الحالات (CRF) من خلال تقديم مجموعة بيانات جديدة لقسم الطوارئ باللغة الإيطالية، وتحديد المهمة ومقاييس التقييم، وإثبات أنه بينما يمكن للنماذج اللغوية الكبيرة الحديثة أداء هذه المهمة في إطار التعلم الصفري، فإن مخرجاتها تتطلب تصحيحاً بسبب الانحيازات المتأصلة مثل الحذر المفرط.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طبيب تعمل في غرفة طوارئ مزدحمة. في كل مرة يدخل فيها مريض، يتعين عليك كتابة قصة عما حدث: أعراضهم، تاريخهم المرضي، الاختبارات التي أجريتها، وما تعتقد أنه المشكلة لديهم. تكتب هذا بأسلوب حر وفوضوي، مثل تدوينة في مذكرات يومية. هذا هو الملاحظة السريرية (Clinical Note).
الآن، تخيل أن باحثاً يريد لاحقاً دراسة هؤلاء المرضى لإيجال أنماط (مثل "هل الأشخاص الذين يعانون من حمى عالية عادة ما يعانون من نوع معين من الصداع؟"). للقيام بذلك، لا يمكنه قراءة آلاف المذكرات اليومية الفوضوية. إنه بحاجة إلى بيانات منظمة ومرتبة وفي تنسيق مربعات محددة. هذا التنسيق المكون من مربعات يسمى نموذج تقرير الحالة (CRF).
المشكلة: كابوس "النسخ واللصق"
تقليدياً، يتعين على إنسان قراءة المذكرات اليومية الفوضوية وتعبئة المربعات المنظمة يدوياً. هذه العملية بطيئة، مملة، وعرضة للأخطاء المطبعية.
في السنوات الأخيرة، بنينا حواسيب ذكية جداً (تسمى النماذج اللغوية الكبيرة أو LLMs) وهي بارعة في قراءة وفهم اللغة. الفكرة بسيطة: دع الذكاء الاصطناعي يقرأ المذكرات الفوضوية ويملأ المربعات المنظمة نيابة عنا.
ولكن هناك عقبة: لتعليم الذكاء الاصطناعي كيفية القيام بذلك، تحتاج إلى آلاف الأمثلة حيث قام شخص ما بالفعل بإنجاز العمل بشكل مثالي (مذكرة فوضوية بجانبها مربع تم ملؤه بشكل مثالي). لفترة طويلة، لم تكن هذه الأمثلة موجودة، خاصة باللغة الإيطالية. كان الأمر يشبه محاولة تعليم روبوت القيادة دون إظهار صورة واحدة للطريق له.
الحل: "صالة ألعاب رياضية للتدريب" جديدة
تقدم هذه الورقة البحثية "صالة ألعاب رياضية للتدريب" جديدة للذكاء الاصطعي. ذهب الباحثون إلى مستشفى سان جيوفاني بوسكو في تورينو بإيطاليا، وجمعوا 290 ملاحظة حقيقية من غرفة الطوارئ. ثم جعلوا أطباء حقيقيين يملؤون بعناية "المربعات المنظمة" (CRFs) المقابلة لكل ملاحظة.
النموذج (CRF) الذي استخدموه ضخم للغاية — فهو يحتوي على 134 سؤالاً مختلفاً (مثل "هل كان لدى المريض حمى؟"، "ما هو ضغط الدم؟"، "ما هو التشخيص النهائي؟").
العقبة المتعلقة بالبيانات:
بسبب قوانين الخصوصية الصارمة، توجب عليهم مسح جميع الأسماء والمعرفات. هذا يعني أن الذكاء الاصطناعي لا يمكنه رؤية القصة الكاملة للمريض عبر فترات زمنية (مثل ملاحظة من الصباح وملاحظة أخرى من المساء لنفس الشخص). إنه يرى ملاحظة واحدة فقط في كل مرة. هذا يجعل المهمة أصعب، ولكنه أكثر أماناً لخصوصية المريض.
التجربة: تعليم الذكاء الاصطناعي
أخذ الباحثون ذكاءً اصطناعياً قوياً مفتوح المصدر (يسمى LLaMA-3) وأعطوه اختباراً بسيطاً:
- المدخلات: ملاحظة إيطالية فوضوية من غرفة الطوارئ.
- المهمة: "إليك قائمة بـ 134 سؤالاً. اقرأ الملاحظة وأجب عنها. إذا كانت الملاحظة لا تحتوي على الإجابة، اكتب 'غير معروف'."
- المخرجات: نموذج مكتمل.
لقد فعلوا ذلك في إعداد "Zero-Shot" (بدون تدريب مسبق)، مما يعني أنهم لم يقضوا شهوراً في تدريب الذكاء الاصطناعي على هذه البيانات المحددة أولاً. لقد طلبوا منه فقط القيام بالمهمة فوراً، مثل طلب من طالب ذكي أن يؤدي اختباراً دون دراسة الكتاب المدرسي الخاص به أولاً.
النتائج: جيدة، ولكن بحذر
إليك ما حدث:
- "الأساس الكسول": إذا أخبرت الذكاء الاصطناعي ببساطة أن يجيب بـ "غير معروف" على كل سؤال، فسيكون صحيحاً بنسبة 96% من الوقت. لماذا؟ لأن الملاحظة في معظم الأوقات لا تحتوي على الإجابة لكل واحد من الـ 134 سؤالاً. (تخيل ملاحظة عن كسر في الساق؛ لن تذكر لون عين المريض، لذا فإن "غير معروف" هي الإجابة الصحيحة).
- أداء الذكاء الاصطناعي: كان الذكاء الاصطناعي أقل دقة بشكل عام (92%) لأنه حاول أن يكون مفيداً وخمن الإجابات عندما لم يكن متأكداً. ومع ذلك، فقد كان أفضل بكثير في العثين على الإجابات النادرة والمهمة التي فاتته "الأساس الكسول".
- الانحياز "الحذر": كان الذك de الذكاء الاصطناعي خجولاً بعض الشيء. فقد فضل قول "غير معروف" بدلاً من المخاطرة بالتخمين الخاطئ. في الطب، كونك حذراً للغاية هو أمر جيد في الواقع (من الأفضل قول "لا أعرف" بدلاً من إعطاء تشخيص خاطئ)، ولكن لكي يكون الكمبيوتر مفيداً حقاً، نحتاج إلى تعليمه أن يكون شجاعاً بما يكفي للعثور على الأدلة المخفية دون ارتكاب أخطاء.
الصورة الكبيرة
فكر في هذه الورقة البحثية كأنها تضع الأساس لبناء جديد.
- الأساس: بنوا أول مجموعة بيانات عامة للملاحظات الإيطالية في حالات الطوارئ مقترنة بنماذج مهيكلة.
- المخطط الهندسي: حددوا بدقة كيفية قياس ما إذا كان الذكاء الاصطناعي يقوم بعمل جيد.
- اختبار الإجهاد: أظهروا أن الذكاء الاصطناعي الحالي يمكنه القيام بالمهمة، لكنه يحتاج إلى مزيد من التدريب والضبط ليكون مثالياً.
ببساء الكلمات: أثبت الباحثون أن الذكاء الاصطناعي يمكنه قراءة ملاحظات غرف الطوارخ الإيطالية وتعبئة نماذج طبية معقدة تلقائياً. إنه ليس مثالياً بعد (فهو حذر للغاية)، ولكن الآن بعد أن أصبح لدينا البيانات والمنهجية، يمكننا بناء أدوات أذكى وأفضل لمساعدة الأطباء والباحثين على توفير الوقت وإنقاذ الأرواح.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.