Training a Large Language Model for Medical Coding Using Privacy-Preserving Synthetic Clinical Data
تُثبت هذه الورقة أن الضبط الدقيق لنموذج Llama 3-70B باستخدام بيانات سريرية اصطناعية تحافظ على الخصوصة ومستمدة من السجلات الصحية الإلكترونية يحسن بشكل كبير من دقته في مهام الترميز الطبي، محققاً درجة F1 للمطابقة التامة تتجاوز 0.70 مع الحفاظ على الأداء في الاستيعاب الطبي العام دون الكشف عن معلومات صحية محمية.
المؤلفون الأصليون:John Cook, Michael Wyatt, Peng Wei, Iris Chin, Santosh Gupta, Van Zyl Van Vuuren, Richie Siburian, Amanda Spicer, Kristen Viviano, Alda Cami, Raunaq Malhotra, Zhewei Yao, Jeff Rasley, Gaurav Kaushik
تخيل المستشفى كمكتبة ضخمة تعج بالحركة. في كل مرة يزور فيها مريضٌ المستشفى، يكتب الطبيب قصة مفصلة عما حدث (الملاحظة السريرية). ولكي يتمكن المستشفى من الحصول على مستحقاته من شركات التأمين وللحفاظ على دقة السجلات الطبية، يجب ترجمة هذه القصص إلى أكواد محددة للغاية وصارمة (مثل أكواد ICD-10 أو CPT).
المشكلة: في الوقت الحالي، يتعين على "أمين مكتبة" بشري (المبرمج الطبي) قراءة هذه القصص والعثور على الأكواد الصحيحة. وهذا أمر مرهق، وعرضة للأخطاء، كما أن القصص غالباً ما تكون فوضوية، أو غامضة، أو مكتوبة بأساليب مختلفة. وأحياناً يخطئ المبرمجون، مما يؤدي إلى تأخر المدفوعات أو حدوث ارتباك في السجلات.
الحل المقترح: تساءل مؤلفو هذه الورقة البحثية: هل يمكننا تعليم ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير) القيام بهذه الوظيفة؟
لقد حاولوا تعليم ذكاء اصطناعي يُدعى Llama 3 (وهو "عقل" يحتوي على 70 مليار معلمة/بارامتر) ليكون مبرمجاً ماهراً. لكن كان هناك عقبة كبيرة: الخصوصية. لا يمكنك ببساطة تغذية الذكاء الاصطناعي بقصص حقيقية للمرضى لأن ذلك يشبه تسليم مذكراتك الشخصية لشخص غريب؛ وهذا أمر غير قانوني وخطير.
الحل الإبداعي: "صندوق الرمل الاصطناعي" (The Synthetic Sandbox) بدلاً من استخدام مذكرات المرضى الحقيقيين، قام الفريق ببناء صندوق رمل افتراضي مليء بقصص مرضى مزيفة ولكنها واقعية.
كيف فعلوا ذلك: أخذوا هيكل الملاحظات الطبية الحقيقية (الطريقة التي يصف بها الأطباء الأعراض) ولكنهم قاموا بتجريدها من جميع الأسماء، والتواريخ، والأسرار. ثم استخدموا قواعد ونماذج لتوليد الآلاف من قصص المرضى المزيفة الجديدة التي تبدو وتسمع تماماً مثل القصص الحقيقية، ولكنها لا تحتوي على أي معلومات خاصة حقيقية.
التشبيه: تخيل أنك تريد تعليم طيار كيفية الطيران في عاصفة. بدلاً من إرساله إلى عاصفة حقيقية (وهو أمر خطير)، تضعه في جهاز محاكك طيران عالي التقنية. العاصفة تبدو وتشعر وكأنها حقيقية، ولكن إذا تحطم، فلن يتأذى أحد. استخدمت هذه الورقة البحثية "محاكي طيران" للترميز الطبي.
عملية التدريب:
المعلم: قاموا بتغذية الذكاء الاصطناعي بالملايين من هذه القصص المزيفة المقترنة بالأكواد "الصحيحة" (مفتاح الإجابة).
القواعد: أخبروا الذكاء الاصطناعي: "لا تكتفِ بالتخمين فحسب؛ بل اشرح لماذا اخترت هذا الكود وأشر إلى الجزء من القصة الذي يثبت ذلك".
التمرين: جعلوا الذكاء الاصطناعي يتدرب على حالات أصعب فأصعب، حيث يقوم أحياناً بدمج عدة قصص معاً لجعله يفكر بعمق أكبر.
النتائج:
قبل التدريب (محاولة "الصفر المعرفة" أو Zero-Shot): عندما طلبوا من الذكاء الاصطناعي غير المدرب تخمين الأكواد، كان سيئاً للغاية. فقد أصاب في الإجابة الصحيحة في أقل من 20% من المرات. كان الأمر يشبه سؤال سائح لترجمة وثيقة قانونية معقدة دون وجود قاموس لديه.
بعد التدريب: بمجرد أن تدرب الذكاء الاصطناعي في "صندوق الرمل الاصطناعي"، أصبح محترفاً. فقد ارتفعت دقة نتائجه إلى أكثر من 70%.
أصبح جيداً جداً في الحالات الواضحة (مثل "الوهن" أو "الأمراض المتقدمة").
كان جيداً في الحالات الصعبة (مثل العوامل الاجتماعية المؤثرة على الصحة)، رغم أنها كانت لا تزال أكثر صعوبة.
والأهم من ذلك، لم ينسَ الذكاء الاصطناعي كيف يكون طبيباً؛ فقد ظل يعرف الحقائق الطبية العامة، بل تعلم مهارة جديدة ومحددة (الترميز) فوق معرفته الموجودة مسبقاً.
لماذا هذا الأمر مهم:
الأمان: بما أنهم استخدموا بيانات مزيفة، لم تكن خصوصية أي مريض معرضة للخطر أبداً.
الكفاءة: لن يحل هذا الذكاء الاصطناعي محل المبرمجين البشر فوراً. بدلاً من ذلك، فكر فيه كـ مساعد فائق القدرة. يمكنه قراءة القصة، واقتراح الأكود، وتسليط الضوء على الدليل. ثم يقوم المبرمج البشري بمجرد مراجعة العمل والتحقق منه. هذا يقلل من الاحتراق الوظيفي ويسرع العملية.
المستقبل: يثبت هذا أنه يمكنك تدريب ذكاء اصطناعي قوي على مهام طبية حساسة دون رؤية أي بيانات خاصة لمريض حقيقي واحد.
باختاتصار: بنى الباحثون "مستشفى مزيفاً" لتدريب ذكاء اصطناعي ليكون مبرمجاً طبياً. تعلم الذكاء الاصطناعي بشكل جيد لدرجة أنه تحول من مبتدئ مرتبك إلى مساعد ماهر للغاية، وكل ذلك دون أن يرى معلومة خاصة واحدة لأي مريض حقيقي. وهذا يمهد الطريق لعمليات فوترة طبية وحفظ سجلات أكثر أماناً وسرعة ودقة.
فيما يلي ملخص تقني مفصل لورقة البحث بعنوان: "تدريب نموذج لغوي كبير للترميز الطبي باستخدام بيانات سريرية اصطناعية تحافظ على الخصوصية."
1. بيان المشكلة
يعد الترميز الطبي (تعيين أكواد ICD-10-CM وCPT للوثائق السريرية) عملية بالغة الأهمية ولكنها تتطلب جهداً مكثفاً وعرضة للأخطاء، مما يؤثر بشكل مباشر على إيرادات الرعاية الصحية، والامتثال، وجودة البيانات الثانوية. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) واعدية في فهم النصوص الطبية، فإن تطبيقها على مهام الترميز المهيكلة يواجه عقبات كبيرة:
فشل القدرة على التعلم من المحاولة الأولى (Zero-Shot Failure): تؤدي النماذج التأسيسية الأساسية أداءً ضعيفاً في مهام الترميز دون تكييف محدد، حيث غالباً ما تولد أكواداً غير صالحة أو "هلوسات" (درجة F1 للمطابقة الدقيقة منخفضة لتصل إلى 0.18).
خصوصية البيانات: يشكل التدريب على السجلات الصحية الإلكترونية (EHRs) الحقيقية مخاطر خصوصية شديدة بسبب احتمال حفظ النماذج اللغوية الكبيرة للمعلومات الصحية المحمية (PHI). وغالباً ما يكون إزالة الهوية غير كافٍ للتخفيف من مخاطر إعادة تحديد الهوية.
التعقيد: يتطلب الترميز التنقل عبر أساليب توثيق متباينة، وإرشادات دقيقة، وتوزيعات ذات ذيل طويل للأكواد النادرة، واستدلال سريري متعدد الخطوات (مثل حالات الأمراض المتقدمة أو الوهن).
2. المنهجية
يقترح المؤلفون إطار عمل لتكييف نموذج تأسيسي مفتوح الأوزان حديث للوصول إلى مستوى الخبراء في الترميز باستخدام بيانات اصطناعية تحافظ على الخصوصية بدلاً من سجلات المرضى الحقيقية.
أ. بنية النموذج والتدريب
النموذج الأساسي: Llama-3-70B-Instruct.
استراتيجية التدريب: الضبط الدقيق تحت الإشراف (SFT) على ملاحظات سريرية مقترنة بأكواد معتمدة (Gold-standard).
قيود المخرجات: يتم تقييد النموذج لإنتاج مخرجات JSON مهيكلة تحتوي على الكود المتوقع، والمنطق السريري، وتحديد موقع الدليل لضمان الصلاحية النحوية.
البنية التحتية: ضبط دقيق كامل المعلمات (Full-parameter fine-tuning) باستخدام إطار عمل ArcticTraining مع تحسين ZeRO-3، ودقة FP16، ومحسن Adam (معدل تعلم 1e-5) عبر 8 وحدات معالجة رسومية من نوع H200 لمدة 4 دورات تدريبية (epochs).
ب. توليد بيانات اصطناعية تحافظ على الخصوصية
للقضاء على التعرض للمعلومات الصحية المحمية (PHI)، طور الفريق مساراً محكماً لتوليد بيانات واقعية سريرياً ولكنها اصطناعية بالكامل:
توليد ICD-10-CM:
المرحلة الأولى (التخليق): تم تحليل وثائق سريرية حقيقية لاستخراج أوصاف وصفية مجردة (الهيكل/الأسلوب) مع تجريد تفاصيل المريض. تم اختيار كود (seed) من نوع ICD-10، وقام نموذج لغوي كبير بتوليد ملاحظة سريرية اصطناعية مشروطة بالوصف المجرد ومجموعة الأكواد.
المرحلة الثانية (التصنيف): تم تقسيم المخططات الاصطناعية. قام نظام استرجاع بتحديد الأكواد المرشحة، ثم اختار نموذج لغوي كبير الأكواد الأكثر ملاءمة مع ربط صريح بالأدلة.
توليد CPT: مشابه لـ ICD-10 ولكن مع التركيز على الملاحظات الإجرائية. تم أخذ عينات من أكواد CPT الأولية، ثم تم توليد ملاحظات إجرائية. ولتجنب الهلوسة، قام النظام بتوليد أوصاف إجرائية قصيرة أولاً، والتي تمت مطابقتها لاحقاً مع كتالوج CPT مفهرس عبر تشابه الجيوب التناظرية (cosine similarity) لاسترجاع أكواد صالحة.
تعزيز البيانات: خضع 30% من مجموعة التدريب لتعزيز قائم على الصعوبة، حيث تم دمج ملاحظات سريرية متعددة لإجبار النموذج على الاستدلال عبر حالات طبية متعددة المشكلات.
تعبئة التسلسل (Sequence Packing): لتحسين الكفاءة، تم تعبئة أزواج (الملاحظة-الكود) المتعددة في تسلسلات واحدة بطول 8,192 رمزاً (token)، مما قلل من عبء الحشو (padding).
ج. التقييم
مجموعات البيانات: مخططات اصطناعية مستبعدة (held-out) مع تسميات معتمدة (gold-standard).
المقاييس:
ICD-10-CM: تم التقييم عند 5 مستويات هرمية (من الفئة العامة إلى الكود الدقيق مع تحديد موقع الدليل). شملت المقاييس: المطابقة التامة، مطابقة الكود فقط، وتحديد موقع الدليل (تشابه Jaccard).
CPT: تم التقييم باستخدام مطابقة المجموعة التامة (الدقة، الاستدعاء، F1).
المراجعة البشرية: تمت مراجعة مجموعة فرعية مكونة من 100 مخطط من قبل خبراء سريريين لتحديد حقيقة أرضية (ground truth) قائمة على الأسس السريرية.
المعرفة العامة: تم استخدام اختبارات مرجعية (MedQA, MMLU, PubMedQA) لضمان عدم تراجع الاستدلال الطبي العام نتيجة الضبط الدقيق.
3. المساهمات الرئيسية
مسار تدريب يضع الخصوصية أولاً: أثبتت الدراسة طريقة قابلة للتطبيق لتدريب نماذج ترميد طبي عالية الأداء باستخدام بيانات اصطناعية بالكامل مشتقة من قوالب مستندة إلى السجلات الصحية الإلكترونية، مما فصل عملية تدريب النموذج عن التعرض للمعلومات الصحية المحمية (PHI).
تحسينات كبيرة في الأداء: أظهرت أن الضبط الدقيق على بيانات اصطناعية مدركة للسياسات يمكن أن يحول نموذجاً لغوياً عاماً إلى وكيل ترميد متخصص، مما يسد الفجوة بين فشل التعلم من المحاولة الأولى وأداء مستوى الخبراء.
الاستقرار الهرمي: أثبتت أن النموذج يتعلم القصد التشخيصي عبر مستويات متفاوتة من التفصيل، محافظاً على أداء عالٍ حتى مع انتقال المهمة من التصنيف العام إلى تعيين الكود الدقيق.
الحفاظ على المعرفة العامة: أكدت أن التخصص في الترميد لا يؤدي إلى "النسيان الكارثي" للمعرفة الطبية العامة.
4. النتائج الرئيسية
الأداء العام:
ICD-10-CM: حقق النموذج بعد الضبط الدقيق درجة F1 بلغت 0.704 للمطابقة التامة للكود، وهو تحسن هائل مقارنة بالأساس (zero-shot) الذي بلغ 0.180.
CPT: حقق النموذج بعد الضبط الدقيق درجة F1 بلغت 0.736، مقارنة بالأساس البالغ 0.193.
الأداء النوعي المتخصص:
الوهن والأمراض المتقدمة: أعلى أداء (F1 > 0.86)، ويرجع ذلك على الأرجوات لأنماط التوثيق الصريحة.
المحددات الاجتماعية للصحة (SDoH): أداء أقل ولكن لا يزال قوياً (F1 = 0.767)، مما يشير إلى قدرة النموذج على التقاط الإشارات الاجتماعية الضمنية رغم عدم اتساق التوثيق.
التحليل الهرمي: انخفض الأداء تدريجياً مع زيادة التحديد (من المستوى 0 للفئة إلى المستوى 3 للكود الدقيق) ولكنه ظل مستقراً، دون حدوث هبوط مفاجئ. المهمة الأكثر صرامة (الكود الدقيق + الدليل) حققت F1 قدره 0.629.
التحقق من الخبراء البشر: عند التقييم مقابل الحقيقة الأرضية التي تحقق منها الخبراء، أظهر النموذج استدعاءً (Recall) عالياً (0.86–0.93) ولكن دقة (Precision) أقل (0.32–0.40). يشير هذا إلى أن النموذج ممتاز في تحديد المفاهيم ذات الصلة ولكنه يميل إلى توليد عدد كبير من الأكواد المرشحة.
المعرفة العامة: أدى الضبط الدقيق إلى تراجع طفيف فقط في الاختبارات المرجعية الطبية العامة (متوسط الانخفاض حوالي 0.03)، مما يؤكد احتفاظ النموذج بقدراته الاستدلالية التأسيسية.
5. الأهمية والآثار المترتبة
مسار عملي للذكاء الاصطناعي في الرعاية الصحية: يوفر هذا العمل طريقاً آمناً وقابلاً للتوسع لنشر النماذج اللغوية الكبيرة في الترميد الطبي دون المخاطر القانونية والأخلاقية للتدريب على بيانات المرضى الخام.
تحول في نموذج الذكاء الاصطناعي: تشير النتائج إلى أنه لا ينبغي النظر إلى النماذج اللغوية الكبيرة كبدائل مستقلة تماماً للمرمزين، بل كـ مساعدين مدعومين بالذكاء الاصطناعي. إن استدعاءهم العالي يجعلهم مثاليين لإظهار الأكود المرشحة وتقليل العبء المعرفي، بينما يتولى الخبراء البشريون عملية الفصل النهائي ومعالجة الاستثناءات.
التدريب المدرك للسياسات: تسلط الدراسة الضوء على أن البيانات الاصطناعية "المدركة للسياسات" (التي تتضمن إرشادات الترميد وربط الأدلة) أمر بالغ الأهمية لتعليم النماذج القيود المحددة للفواتير والامتثال.
الاتجاهات المستقبلية: يحدد المؤلفون أنه بينما يظل اختيار الكود الدقيق يمثل عقبة (خاصة لأكواد SDoH الضمنية)، فإن التكنولوجيا ناضجة بما يكفي للتكامل في سير عمل "الإنسان في الحلقة" (human-in-the-loop) لتحسين الكفاءة وتقليل معدلات الرفض.
في الختام، تثبت الورقة أن البيانات الاصطناعية المدركة للسياسات هي ممكّن قوي لتدريب نماذج لغوية طبية متخصصة، مما يحقق أداءً بمستوى الخبراء مع حماية خصوصية المرضى بصرامة.