💬 NLP

Conformal Prediction for Risk-Controlled Medical Entity Extraction Across Clinical Domains

تقترح هذه الورقة إطار عمل للتنبؤ المطابق يضمن النشر الآمن والمخصص للمجال لنماذج اللغات الكبيرة (LLMs) لاستخراج الكيانات الطبية، وذلك عبر تكييف عتبات المعايرة لمواجهة عدم الثقة المتميز الملاحظ في ملصقات هيئة الغذاء والدواء (FDA) المهيكلة، والثقة المفرطة في تقارير الأشعة ذات النصوص الحرة، مما يحقق ضمانات تغطية مستهدفة مع معدلات رفض يمكن السيطرة عليها عبر مختلف الإعدادات السريرية.

المؤلفون الأصليون: Manil Shrestha, Edward Kim

نُشر 2026-03-10

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Manil Shrestha, Edward Kim

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك وظفت مساعداً عبقرياً ولكنه غير موثوق تماماً (ذكاء اصطناعي) لقراءة آلاف الوثائق الطبية واستخراج الحقائق الهامة، مثل الآثار الجانبية للأدوية أو نتائج الأشعة السينية. المشكلة هي أن هذا المساعد سيء جداً في معرفة متى يكون مصيباً ومتى يكون مخطئاً. فأحياناً يكون واثقاً بنسبة 100% من صحة إجابته بينما هو في الواقع يرتكب خطأً (ثقة مفرطة)، وأحياناً أخرى يكون مرتجفاً من الخوف بينما هو في الواقع مصيب تماماً (نقص في الثقة).

إذا تركت هذا المساعد يدير مستشفى دون التحقق من عمله، فقد يقدم نصائح خطيرة بصمت.

تقدم هذه الورقة البحثية "نظام شبكة الأمان" (المسمى بالتنبؤ المطابق - Conformal Prediction) لإصلاح ذلك. فبدلاً من الثقة في "حدس" الذكاء الاصطناعي، يعمل النظام مثل حارس أمن صارم عند ملهى ليلي، يقرر أي الإجابات يسمح لها بالمرور وأيها يعيدها للمراجعة البشرية، مما يضمن بقاء معدل الأخطاء تحت حد آمن.

إليك تفصيل لاكتشافهم باستخدام تشبيهات بسيطة:

1. العالمان المختلفان

اختبر الباحثون شبكة الأمان الخاصة بهم في "غرفتين" مختلفتين تماماً:

الغرفة (أ): المكتبة المنظمة (ملصقات الأدوية من هيئة الغذاء والدواء FDA)
- الأجواء: هذه وثائق حكومية رسمية. إنها جامدة، تتبع قواعد صارمة، وتبدو كأنها نماذج جاهزة.
- سلوك الذكاء الاصطناعي: كان الذكاء الاصطناعي هنا متردداً (لديه نقص في الثقة). كان يشبه طالباً قلقاً يعرف الإجابة لكنه يخشى رفع يده. كان يقول: "أنا متأكد بنسبة 60% فقط أن هذا الدواء يسبب الغثيان"، رغم أنه كان في الواقع صحيحاً بنسبة 100%.
- النتيجة: نظرًا لأن الذكاء الاصطناعي كان حذراً للغاية، لم تضطر شبكة الأمان للعمل بجهد كبير. لقد سمحت بمرور كل شيء تقريباً لأن الذكاء الاصطناعي نادراً ما كان مخطئاً، بل كان خائفاً فقط.
الغرفة (ب): غرفة الطوارئ الفوضوية (تقارير الأشعة)
- الأجواء: هذه ملاحظات أطباء مكتوبة بخط اليد (تم تحويلها لنسخ رقمية). إنها فوضوية، تستخدم اختصارات، ومليئة بكلمات مثل "ربما" أو "يحتمل".
- سلوك الذكاء الاصطناعي: كان الذكاء الاصطناعي هنا واثقاً بشكل مفرط. كان يشبه شخصاً مغروراً يخمن بعشوائية ولكنه يتحدث بسلطة مطلقة. كان يقول: "أنا متأكد بنسبة 99% أن الرئة سليمة"، حتى عندما يشير التقرير إلى "لا يمكن استبعاد وجود التهاب رئوي".
- النتيجة: اضطرت شبكة الأمان للعمل فوق طاقتها. كان عليها استبعاد جزء كبير من إجابات الذكاء الاصطناعي للحفاظ على معدل الخطأ منخفضاً.

2. آلية "حارس الأمن" (التنبؤ المطابق)

فكر في درجة ثقة الذكاء الاصطناعي كأنها تذكرة:

في المكتبة المنظمة، كانت التذاكر ذات أرقام منخفضة في الغالب (ذكاء اصطناعي متردد)، لكن المحتوى كان جيداً. قال الحارس: "حسناً، يمكنكم جميعاً الدخول".
في غرفة الطوارم الفوضوية، كانت التذاكر ذات أرقام عالية (ذكاء اصطناعي واثق)، لكن الكثير منها كان مزيفاً. اضطر الحارس لفحص كل تذكرة.
- النموذج (أ) (GPT-4.1): كان واثقاً بشكل مفرط وفوضوياً لدرجة أن الحارس اضطر لرفض 60% من إجاباته للحفاظ على السلامة.
- النموذج (ب) (Llama-4): كان أفضل قليلاً في معرفة حدوده. اضطر الحارس لرفض 20% فقط من إجاباته.

3. المفاجأة الكبرى: "المقاس الواحد لا يناسب الجميع"

الدرس الأكثر أهمية من هذه الورقة هو أن ك قواعد الأمان نفسها لا يمكن استخدامها لكل أنواع الوثائق الطبية.

إذا جعلت شبكة الأمان فضفاضة جداً بالنسبة لملاحظات الطوارى الفوضوية، سيتعرض المرضى للخطر بسبب الإنذارات الكاذبة.
إذا جعلت شبكة الأمان ضيقة جداً بالنسبة لملصقات الأدوية المنظمة، فستضيع الوقت في التحقق من إجابات كانت مثالية بالفعل.

وجد الباحثون أن "شخصية" الذكاء الاصطناعي (سواء كان طالباً قلقاً أو شخصاً مغروراً) تتغير بناءً على نوع المستند.

4. لماذا يهم هذا؟

في الماضي، حاول الناس "معايرة" الذكاء الاصطناعي مرة واحدة وتطبيقه في كل مكان، مثل ضبط راديو لمحطة واحدة وتوقع أن يعمل على جميع المحطات الأخرى. تثبت هذه الورقة أن ذلك لا ينجح.

الحل: نحن بحاجة إلى شبكة أمان ديناميكية.

عندما يقرأ الذكاء الاصطناعي ملصق دواء جامداً، يمكننا الوثوق به أكثر.
عندما يقرأ ملاحظة طبيب فوضوية، نحتاج لأن نكون أكثر تشككاً وأن نجعل البشر يراجعون المزيد من العمل.

الخلاصة

تقدم هذه الورقة البحثية "حزام أمان" رياضياً للذكاء الاصطناعي في الطب. إنها تضمن أنه بغض النظر عن مدى الثقة التي يدعيها الذكاء الاصطناعي، يمكننا ضمان رياضياً أن عدد الأخطاء سيبقى تحت حد آمن (مثل 5% أو 10%). إنها تعلمنا أنه في الطب، السياق هو سيد الموقف: القواعد التي تحدد مدى الثقة في الذكاء الاصطناعي يجب أن تتغير اعتماداً على ما إذا كان يقرأ نموذجاً رسمياً أو ملاحظة فوضوية.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التنبؤ بالتوافق للتحكم في مخاطر استخراج الكيانات الطبية عبر المجالات السريرية" من تأليف مانيل شريستا وإدوارد كيم.

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لاستخراج كيانات طبية مهيكلة من النصوص السريرية غير المهيكلة (مثل ملصقات الأدوية، وتقارير الأشعة). ومع ذلك، فإن نشرها في البيئات السريرية يعوقه مشكلتان حرجتان:

سوء المعايرة (Miscalibration): غالبًا ما تكون احتمالات "softmax" في النماذج اللغوية الكبيرة سيئة المعايرة. يمكن أن تكون النماذج مفرطة في الثقة بشكل منهجي (بإعطاء احتمالية عالية للتنبؤات الخاطئة) أو ضعيفة الثقة (بإعطاء احتمالية منخفضة للتنبؤات الصحيحة).
الافتقار إلى الضمانات الرسمية: تتطلب تقنيات المعايرة اللاحقة القياسية (مثل "temperature scaling") بيانات تحقق مستبعدة ولا توفر ضمانات على العينات المحدودة لمعدلات الخطأ. في البيئات السريرية عالية المخاطر، يمكن للنموذج الذي يهلوِس بثقة بوجود كيان ما أن يؤدي إلى انتشار أخطاء صامتة عبر مسارات اتخاذ القرار.

يهدف المؤلفون إلى معالجة ذلك من خلال تطبيق التنبؤ بالتوافق (Conformal Prediction - CP) للتحكم في معدل الاكتشاف الخاطئ (False Discovery Rate - FDR) — وهو نسبة الاستخراجات المقبولة التي تكون غير صحيحة — عبر مجالات سريرية متباينة.

2. المنهجية

يقترح المؤلفون خط سير عمل مكون من أربع خطوات للتنبؤ بالتوافق المتحكم في معدل الاكتشاف الخاطئ (FDR) والمطبق على مجالين سريريين متميزين:

أ. البيانات والنماذج

المجال 1: ملصقات أدوية FDA (مهيكلة)
- البيانات: 1,000 ملصق دواء من هيئة الغذاء والدواء (FDA) عبر 8 أقسام معيارية (مثل: دواعي الاستعمال، الآثار الجانبية).
- النموذج: GPT-4.1.
- الحقيقة الأرضية (Ground Truth): تم التحقق منها عبر نهج "النموذج اللغوي كحكم" (GPT-5-mini) باستخدام إطار عمل VeriFact، والذي يخصص درجات حقيقة (0–3). تُعتبر فقط الكيانات التي تم التحقق منها بالكامل (درجة 3) صحيحة.
- النطاق: حوالي 128,906 كيان مستخرج.
المجال 2: تقارير الأشعة (نص حر)
- البيانات: 100 تقرير أشعة سينية للصدر من قاعدة بيانات MIMIC-CXR.
- المخطط (Schema): RadGraph (4 فئات للكيانات: وجود التشريح، وجود الملاحظة/غيابها/عدم اليقين؛ والعلاقات).
- النماذج: GPT-4.1 و Llama-4-Maverick (17B).
- الحقيقة الأرضية: معيار ذهبي مدون من قبل الأطباء (يتطلب تطابقًا تامًا).
- التلقين (Prompting): تم التقييم باستخدام تلقين بـ 5 أمثلة (5-shot) وتلقين بدون أمثلة (zero-shot).

ب. خط العمل التقني

تقدير ثقة النطاق (Span Confidence Estimation):
- تخرج النماذج احتمالات "log-probabilities" لكل رمز (token).
- يتم حساب ثقة النطاق ( $\hat{p}_e$ ) كـ متوسط هندسي لاحتمالات الرموز. تم اختيار هذا لأن رمزًا واحدًا منخفض الاحتمالية (مثل خطأ إملائي) غالبًا ما يبطل النطاق بأكمله، مما يجعل المتوسط الهندسي أكثر حساسية للأخطاء من المتوسط الحسابي.
درجة عدم التوافق (Nonconformity Score):
- يتم تحويل الثقة إلى درجة عدم توافق ( $s_e$ ) باستخدام دالة اللوجيت (logit function): $s_e = \text{logit}(\hat{p}_e)$ . يعمل هذا على توزيع منطقة الثقة العالية حيث تتجمع معظم الكيانات.
المعايرة المتحكم في FDR:
- يتم تقسيم البيانات إلى مجموعة معايرة (50%) ومجموعة اختبار (50%).
- يتم اختيار العتبات ( $\tau_{d,c}$ ) لضمان ألا يتجاوز معدل FDR التجريبي في مجموعة المعايرة القيمة المستهدفة $\alpha$ .
- قاعدة القرار: يتم قبول الكيانات التي يكون فيها $s_e \geq \tau_{d,c}$ ؛ ويتم رفض غيرها للمراجعة البشرية.
- الضمان: نسبة الاستخراجات المقبولة ولكن غير الصحيحة مضمونة بأن لا تتجاوز $\alpha$ .

3. المساهمات الرئيسية

إطار عمل متحكم في المخاطر: إطار تنبؤ بالتوافق يوفر ضمانات FDR للعينات المحدودة لاستخراج الكيانات الطبية القائمة على النماذج اللغوية الكبيرة عبر مجالات متباينة.
اكتشاف انعكاس المعايرة: النتيجة التجريبية التي تشير إلى أن اتجاه سوء معايرة النماذج اللغوية الكبيرة ينعكس اعتمادًا على بنية المستند:
- النص المهيكل (FDA): النماذج ضعيفة الثقة.
- النص الحر (الأشعة): النماذج مفرطة في الثقة.
تحليل التباين (Heterogeneity Analysis): إثبات أن العتبات العالمية تحجب التباينات الكبيرة لكل فئة ولكل قسم. يكشف تحليل كل فئة أن بعض الأقسام (مثل "الاستخدام لدى الأطفال" في ملصقات FDA) غير مناسبة للقبول الآلي عند مستويات خطأ صارمة، بينما تعتبر أقسام أخرى موثوقة للغاية.
قدرة التمييز للنموذج: إظهار أن عتبات التحكم في FDR لا تعتمد فقط على دقة الاستخراج (F1)، بل على قدرة النموذج على التمييز بين الاستخراجات الصحيحة والخاطئة عبر درجات الثقة.

4. النتائج الرئيسية

ملصقات أدوية FDA (مهيكلة)

المعايرة: نموذج GPT-4.1 ضعيف الثقة عبر معظم الأقسام (يتراوح خطأ المعايرة المتوقع [ECE] بين 0.012–0.055). يمنح النموذج احتمالات متحفظة للكيانات الصحيحة.
التحكم في FDR:
- خط الأساس العالمي لـ FDR منخفض (~2.3%)، مما يحقق $\alpha = 0.05$ دون الحاجة لرفض أي بيانات.
- تباين الأقسام: تتطلب ثلاثة أقسام تصفية قوية. قسم "تفاعلات الأدوية" يتطلب رفض 59.8%، و"موانع الاستعمال" 41.5%، و"الاستخدام لدى الأطفال" يتطلب رفض 100% (لا يمكن لأي عتبة تحقيق $\alpha=0.05$ بسبب ارتفاع خطأ الأساس والمبالغة في الثقة في هذا القسم تحديدًا).

تقارير الأشعة (نص حر)

المعايرة: كلا النموذجين مفرطان في الثقة (المنحنيات تحت القطر)، حيث يمنحان احتمالات تقترب من اليقين للاستخراجات الخاطئة. نموذج Llama-4-Maverick أفضل معايرة (ECE 0.085) من GPT-4.1 (ECE 0.147).
التحكم في FDR:
- عند $\alpha = 0.05$ ، يجب على كلا النموذجين رفض 100% من الاستخراجات لأن معدل الخطأ الأساسي (15–20%) يتجاوز الهدف.
- عند $\alpha = 0.10$ $α = 0.10$ ، تحدث مرحلة انتقالية حادة:
  - Llama-4-Maverick: يرفض 19.6% فقط من الاستخراجات.
  - GPT-4.1: يرفض 59.3% من الاستخراجات.
- يسلط هذا الضوء على أن درجات ثقة Llama-4-Maverick تفصل بشكل أفضل بين التنبؤات الصحيحة والخاطئة، مما يسمح بمعدلات قبول أعلى عند نفس مستوى المخاطر.
خصوصيات الفئات: يرفض كلا النموذجين 100% من "الملاحظات غير المؤكدة" (OBS-U)، مما يؤكد أن اللغة السريرية الغامضة لا يمكن استخراجها آليًا بشكل موثوق عند هذا المستوى من تحمل الخطأ.

مقارنة عبر المجالات

انعكاس المعايرة: عائلة النموذج نفسها (GPT-4.1) ضعيفة الثقة في ملصقات FDA المهيكلة ولكنها مفرطة في الثقة في تقارير الأشعة ذات النص الحر. يُعزى ذلك إلى وضوح اللغة التنظيمية المهيكلة مقابل غموض واختصار اللغة السريرية.
حساسية العتبة: يكشف التحكم في FDR عن التباين الذي تخفيه الأساليب العالمية القائمة على التغطية. العتبة العالمية الواحدة غير كافية؛ إذ يتطلب الأمر معايرة خاصة بكل مجال وكل فئة.

5. الأهمية والآثار المترتبة

السلامة في النشر السريري: تثبت هذه الدراسة أن نهج "النموذج الواحد المناسب للجميع" في المعايرة أمر خطير. يتطلب النشر الآمن معايرة توافق خاصة بالمجال تتكيف مع بنية المستند وهندسة النموذج.
الامتثال التنظيمي: يوفر إطار العمل حدودًا يمكن إثباتها رياضيًا لمعدلات الخطأ (FDR)، وهو أمر ضروري لتلبية المتطلبات التنظيمية في الرعاية الصحية.
اختيار النموذج: تشير النتائج إلى أنه بالنسبة لتدفقات العمل المتحكم في FDR، قد يكون النموذج ذو F1 أقل قليلاً ولكن بمعايرة ثقة أفضل (Llama-4-Maverick) مفضلًا على النموذج ذو F1 الأعلى ولكن بمعايرة سيئة (GPT-4.1)، لأنه يتطلب مراجعة بشرية أقل بكثير (معدلات رفض أقل).
القيود والعمل المستقبلي: يتطلب النهج الحالي الوصول إلى "log-probabilities" على مستوى الرمز (وهو أمر غير متاح في جميع النماذج التي تعمل كصندوق أسود). يشمل العمل المستقبلي توسيع هذه الضمانات لتشمل نماذج الصندوق الأسود، والمقارنة مع النماذج الأساسية اللاحقة، واختبارها في تدفقات العمل السريرية الحية.