Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

ملخص تقني: التشخيص العظمي متعدد اللغات الموجه نحو الموثوقية

بيان المشكلة
تواجه أنظمة دعم القرار السريري متعددة اللغات تحديات كبيرة في البيئات الرعائية ذات الموارد اللغوية المحدودة، لا سيما حيث تكون السجلات الصحية الإلكترونية وأدوات الذكاء الاصطناعي متمحورة بشكل أساسي حول اللغة الإنجليزية بينما تتم التفاعلات السريرية بلغات إقليمية مثل الهندية والبنجابية. يؤدي هذا التباين اللغوي إلى زيادة خطر سوء التفسير وعدم اتساق تقديم الرعاية. ويعد تشخيص أمراض العظام مجال اختبار عالي المخاطر لهذه القضية بسبب تداخل الأعراض، والمصطلحات المتباينة، والحاجة الماسة إلى تصنيف موثوق ومنظم بدلاً من التوليد مفتوح النهايات. تعتمد النهج الحالية غالباً على مشفرات متعددة اللغات عامة الغرض أو نماذج لغوية كبيرة (LLMs) تعمل بنمط "التعلم الصفري" (zero-shot)، والتي يرى المؤلفون أنها تفتقر إلى التخصص الكافي في المجال، وتظهر عدم استقراراً مرتبطاً باللغة، وتعاني من فجوات في المعايرة في السياقات الحرجة للسلامة.

المنهجية
تقترح الدراسة تحليلاً على مستوى النظام يقارن بين ثلاثة أنظمة نمذجة مقابل النماذج اللغوية الكبيرة (LLMs) التي تعمل بنمط التعلم الصفري لتشخيص أمراض العظام عبر اللغات الإنجليزية والهندية والبنجابية.

1. بناء مجموعة البيانات: قام المؤلفون بتجميع مجموعة بيانات عظمية ضخمة متعددة اللغات من مستشفى باهاوالبور فيكتوريا وشركاء هنود، تضم حوالي 135,000 ملاحظة سريرية. خضعت البيانات لعملية تنقية صارمة، بما في ذلك إزالة التكرار، وتصفية الضجيج، ومواءمة الملصقات (labels) من قبل أطباء عظام مرخصين. تم وضع إعدادين للتقييم:

   • المتحكم فيه (المتوازن): 18,000 ملاحظة موزعة بالتساوي عبر اللغات وست فئات تشخيصية (العمود الفقري، الجهاز العضلي الهيكلي، العظام، الورك، أخرى، غير معروف).
   • الطبيعي (الواقعي): حوالي 135,000 ملاحظة تحتفظ بالانحراف الأصلي للفئات والانتشار لمحاكاة ظروف النشر.

2. أنظمة النمذجة:

   • الضبط الدقيق للمهمة فقط (Task-Only Fine-Tuning): تقييم مشفرات متعددة اللغات عامة الغرض (XLM-RoBERTa، IndicBERT، mDeBERTa) ونموذج أساسي خفيف الوزن متمحور حول الإنجليزية (DistilBERT) تم ضبطه بدقة من البداية إلى النهاية على المهمة العظمية.
   • البنية التكيفية مع المجال (IndicBERT-HPA): امتداد مقترح لنموذج IndicBERT يدمج رؤوس محولات (adapter heads) خاصة باللغة والمجال الطبي. تستخدم هذه البنية عمليات إسقاط عنق الزجاجة (bottleneck projections) لخرائط التمثيلات اللغوية العامة إلى فضاء فرعي عظمي مميز سريرياً مع الحفاظ على قدرة النقل عبر اللغات.
   • النماذج اللغوية الكبيرة (LLMs) بنمط التعلم الصفري: تقييم النماذج اللغوية الكبيرة الموجهة بالتعليمات (DeepSeek Open، Mistral-7B Instruct، Zephyr-7B) في إعداد التعلم الصفري لتقييم سلاستها التوليدية مقابل موثوقية التصنيف المنظم دون ضبط دقيق.

3. بروتوكول التقييم: تم قياس الأداء باستخدام الدقة (precision)، والاستدعاء (recall)، ومقياس F1، والدقة (accuracy)، وROC-AUC، وAUPRC. ومن الأهمية بمكان أن الدراسة دمجت خطأ المعايرة المتوقع (ECE) لتقييم موثوقية الثقة.

4. إطار التحقق المفاهيمي: بناءً على أنماط الفشل التجريبية، يقترح المؤلفون طبقة تحقق حتمية قائمة على الوكلاء (agents). يفصل هذا الإطار بين توليد التشخيص وتفويض القرار، حيث يستخدم وكلاء فحص الأدلة، وفحوصات الاتساق اللغوي، وبوابات بشرية متحفظة (human-in-the-loop) لإرجاء التنبؤات منخفضة الثقة أو المتناقضة.

المساهمات الرئيسية

1. مجموعة بيانات متعددة اللغات منسقة: إنشاء مجموعة بيانات عظمية ضخمة تم التحقق منها من قبل الأطباء تغطي اللغات الإنجليزية والهندية والبنجابية، مما يدعم كلاً من تحليل التوزيع المتوازن والطبيعي.
2. بنية IndicBERT-HPA: تقديم نموذج متكيف مع المجال يعمل على نمذجة البنية النوعية للمجال صراحةً عبر محولات خاصة باللغة، مما يثبت أن التخصص البنيوي يمكن أن يتفوق على حجم النموذج في البيئات السريرية ذات الموارد المحدودة.
3. تقييم موجه نحو الموثوقية: بروتوكول شامل يتجاوز الدقة الإجمالية لتحليل الأداء لكل فئة، وسلوك المعايرة (ECE)، وعدم الاستقرار عبر اللغات، مما يسلط الضوء على أن التمييز العالي لا يضمن النشر الآمن.
4. إطار التحقق المفاهيمي: تصميم نظري لنظام حتمي قائم على الوكلاء يفرض اتساق الأدلة والبوابات المتحفظة، مما يجعل فصل التنبؤ عن التفويض شرطاً أساسياً للأنظمة الحرجة للسلامة.

النتائج

• النماذج اللغوية الكبيرة (LLMs) بنمط التعلم الصفري: رغم السلاسة اللغوية القوية، أظهرت هذه النماذج معايرة غير مستقرة، وضعفاً في ترسيخ الملصقات (label grounding)، وتباينًا كبيرًا عبر اللغات. كان أداؤها باستمرار أقل من المشفرات الخاضعة للإشراف، لا سيية في اللغات ذات الموارد المحدلة (البنجابية) وفي مهام التصنيف المنظمة.
• المهمة فقط مقابل التكيف مع المجال: بينما حققت النماذج الضبطت بدقة للمهمة (مثل DistilBERT) درجات إجمالية قوية، إلا أنها أظهرت معايرة هشة وأداءً غير متساوٍ عبر اللغات. حقق نموذج IndicBERT-HPA أقوى تمييز إجمالي (Macro-F1 ~0.88–0.89 في الإعدادات الواقعية) وأكثر سلوك متسق عبر اللغات. كما أظهر جودة ترتيب فائقة (AUROC/AUPRC) وإشارات ثقة أكثر قابلية للتنبؤ مقارنة بالنماذج الأساسية.
• المعايرة والمتانة: وجدت الدراسة أن النماذج ذات الـ AUROC العالي قد لا تزال تعاني من الثقة المفرطة (ارتفاع ECE). حافظ IndicBERT-HPA، رغم وجود خطأ معايرة متوسط، على قدرة فصل مستقرة، وهو ما يرى المؤلفون أنه أكثر أهمية للسلامة من الدقة الخام، حيث يمكن تصحيح سوء المعايرة لاحقاً بينما لا يمكن تصحيح ضعف التمييز.
• الأداء في العالم الحقيقي: في ظل عدم توازن الفئات الطبيعي، تفوقت المشفرات الخاضعة للإشراف بشكل كبير على النماذج اللغوية الكبيرة (LLMs) بنمط التعلم الصفري. ومع ذلك، أظهرت جميع النماذج حساسية تجاه التحولات التوزيعية، مما يعزز الحاجة إلى طبقات تحقق صريحة.

الأهمية والادعاءات
تجادل الورقة بأن دعم القرار السريري متعدد اللغات الموثوق لا يمكن أن يعتمد فقط على حجم النموذج أو السلاسة التوليدية. بدلاً من ذلك، يتطلب نهجاً على مستوى النظام يدمج:

1. التخصص المتكيف مع المجال: المحاذاة البنيوية الصريحة مع التصنيف الطبي وقيود اللغة أكثر فعالية من التدريب المسبق عام الغرض للمهام المنظمة.
2. التقييم الواعي بالموثوقية: يجب أن تتضمن المقاييس المعايرة والاستقرار لكل فئة، وليس فقط الدقة الإجمالية، لتحديد أنماط الفشل في سياقات السلامة الحرجة.
3. الحوكمة والتحقق: يعد فصل توليد التنبؤ عن تفويض القرار عبر طبقات تحقق حتمية وقائمة على القواعد أمراً ضرورياً لإدارة المخاطر، وضمان القابلية للتدقيق، وتمكين الإشراف البشري.

يخلص المؤلفون إلى أنه بينما تظهر النماذج اللغوية الكبيرة (LLMs) وعوداً في المهام التوليدية، فإن تطبيقها بنمط التعلم الصفري على التشخيص متعدد اللغات المنظم وعالي المخاطر لا يزال غير كافٍ حالياً. يوفر هيكل IndicBERT-HPA المقترح وإطار التحقق المفاهيمي مساراً نحو أنظمة ذكاء اصطنيعي سريرية أكثر أماناً وموثوقية تعطي الأولوية للمساءلة وتخفيف المخاطر على اتخاذ القرار المستقل.