Reliability-Oriented Multilingual Orthopedic Diagnosis: A Domain-Adaptive Modeling and a Conceptual Validation Framework

Resumen Técnico: Diagnóstico Ortopédico Multilingüe Orientado a la Fiabilidad

Enunciado del Problema
El apoyo a la decisión clínica multilingüe enfrenta desafíos significativos en entornos sanitarios lingüísticamente diversos y con recursos limitados, particularmente donde los registros de salud electrónicos y las herramientas de IA son predominantemente centrados en inglés, mientras que las interacciones clínicas ocurren en idiomas regionales como el hindi y el punyabí. Esta discrepancia lingüística aumenta el riesgo de interpretación errónea y de prestación de atención inconsistente. El diagnóstico ortopédico sirve como banco de pruebas de alto riesgo para este problema debido a los síntomas superpuestos, la terminología heterogénea y la necesidad crítica de una clasificación fiable y estructurada en lugar de una generación abierta. Los enfoques existentes a menudo dependen de codificadores multilingües de propósito general o de Modelos de Lenguaje Grandes (LLM) de cero disparos, los cuales, según argumentan los autores, carecen de especialización de dominio suficiente, exhiben inestabilidad condicional al idioma y sufren brechas de calibración en contextos críticos para la seguridad.

Metodología
El estudio propone un análisis a nivel de sistema que compara tres regímenes de modelado frente a LLM de cero disparos para el diagnóstico ortopédico en inglés, hindi y punyabí.

1. Construcción del Conjunto de Datos: Los autores curaron un corpus ortopédico multilingüe a gran escala del Hospital Victoria de Bahawalpur y socios indios, que comprende aproximadamente 135.000 notas clínicas. Los datos sufrieron un refinamiento riguroso, que incluyó la eliminación de duplicados, la filtración de ruido y la alineación de etiquetas por parte de médicos ortopedistas con licencia. Se establecieron dos escenarios de evaluación:

   • Controlado (Balanceado): 18.000 notas distribuidas uniformemente entre idiomas y seis categorías diagnósticas (Columna, Musculoesquelético, Hueso, Cadera, Otro, Desconocido).
   • Natural (Mundo Real): ~135.000 notas que conservan el sesgo de clase original y la prevalencia para simular condiciones de implementación.

2. Regímenes de Modelado:

   • Ajuste Fino Solo de Tarea: Evaluación de codificadores multilingües de propósito general (XLM-RoBERTa, IndicBERT, mDeBERTa) y una línea base ligera centrada en inglés (DistilBERT) ajustada de extremo a extremo en la tarea ortopédica.
   • Arquitectura Adaptativa al Dominio (IndicBERT-HPA): Una extensión propuesta de IndicBERT que integra cabezales adaptadores ortopédicos específicos del idioma. Esta arquitectura utiliza proyecciones de cuello de botella para mapear representaciones lingüísticas generales en un subespacio ortopédico clínicamente discriminativo, preservando al mismo tiempo la capacidad de transferencia interlingüística.
   • LLM de Cero Disparos: Evaluación de LLM ajustados a instrucciones (DeepSeek Open, Mistral-7B Instruct, Zephyr-7B) en un escenario de cero disparos para evaluar su fluidez generativa frente a la fiabilidad diagnóstica estructurada sin ajuste fino.

3. Protocolo de Evaluación: El rendimiento se midió utilizando precisión, recuperación, puntuación F1, exactitud, ROC-AUC y AUPRC. Crucialmente, el estudio incorporó el Error de Calibración Esperado (ECE) para evaluar la fiabilidad de la confianza.

4. Marco de Validación Conceptual: Basándose en modos de fallo empíricos, los autores proponen una capa de validación determinista y basada en agentes. Este marco separa la generación del diagnóstico de la autorización de la decisión, empleando agentes de verificación de evidencia, comprobaciones de consistencia lingüística y un control conservador con intervención humana para posponer predicciones de baja confianza o contradictorias.

Contribuciones Clave

1. Conjunto de Datos Multilingüe Curado: La creación de un conjunto de datos ortopédicos a gran escala, validado por médicos, que abarca inglés, hindi y punyabí, apoyando tanto el análisis de distribución balanceada como natural.
2. Arquitectura IndicBERT-HPA: La introducción de un modelo adaptativo al dominio que modela explícitamente la estructura del dominio mediante adaptadores específicos del idioma, demostrando que la especialización arquitectónica puede superar a la escala en entornos clínicos con recursos limitados.
3. Evaluación Orientada a la Fiabilidad: Un protocolo integral que va más allá de la exactitud agregada para analizar el rendimiento por clase, el comportamiento de calibración (ECE) y la inestabilidad interlingüística, destacando que una alta discriminación no garantiza una implementación segura.
4. Marco de Validación Conceptual: Un diseño teórico para un sistema determinista basado en agentes que hace cumplir la consistencia de la evidencia y un control conservador, posicionando la separación entre la predicción y la autorización como un requisito fundamental para sistemas críticos para la seguridad.

Resultados

• LLM de Cero Disparos: A pesar de una fuerte fluidez lingüística, los LLM de cero disparos exhibieron una calibración inestable, un anclaje de etiquetas débil y una variabilidad interlingüística significativa. Su rendimiento fue consistentemente inferior al de los codificadores supervisados, particularmente en idiomas con recursos limitados (punyabí) y para tareas de clasificación estructurada.
• Solo Tarea vs. Adaptativo al Dominio: Mientras que los modelos ajustados solo para la tarea (como DistilBERT) lograron puntuaciones agregadas sólidas, mostraron una calibración frágil y un rendimiento desigual entre idiomas. IndicBERT-HPA logró la discriminación general más fuerte (Macro-F1 ~0,88–0,89 en escenarios del mundo real) y el comportamiento interlingüístico más consistente. Demostró una calidad de clasificación superior (AUROC/AUPRC) y señales de confianza más predecibles en comparación con las líneas base.
• Calibración y Robustez: El estudio encontró que los modelos con alta AUROC aún podían sufrir de sobreconfianza (ECE alto). IndicBERT-HPA, aunque mostró un error de calibración moderado, mantuvo una separabilidad estable, lo que los autores argumentan es más crítico para la seguridad que la exactitud bruta, ya que la mala calibración puede corregirse a posteriori, mientras que la mala discriminación no.
• Rendimiento en el Mundo Real: Bajo desequilibrio de clases natural, los codificadores supervisados superaron significativamente a los LLM de cero disparos. Sin embargo, todos los modelos mostraron sensibilidad a los cambios distribucionales, reforzando la necesidad de capas de validación explícitas.

Significado y Afirmaciones
El artículo argumenta que el apoyo a la decisión clínica multilingüe fiable no puede depender únicamente de la escala del modelo o de la fluidez generativa. En cambio, requiere un enfoque a nivel de sistema que integre:

1. Especialización Adaptativa al Dominio: La alineación arquitectónica explícita con la taxonomía médica y las restricciones lingüísticas es más efectiva que el preentrenamiento de propósito general para tareas estructuradas.
2. Evaluación Consciente de la Fiabilidad: Las métricas deben incluir la calibración y la estabilidad por clase, no solo la exactitud agregada, para identificar modos de fallo en contextos críticos para la seguridad.
3. Gobernanza y Validación: La separación de la generación de predicciones de la autorización de decisiones mediante capas de validación deterministas y basadas en reglas es esencial para gestionar el riesgo, garantizar la auditabilidad y permitir la supervisión con intervención humana.

Los autores concluyen que, aunque los LLM muestran promesa en tareas generativas, su aplicación de cero disparos al diagnóstico multilingüe estructurado y de alto riesgo es actualmente insuficiente. La arquitectura IndicBERT-HPA propuesta y el marco de validación conceptual ofrecen un camino hacia sistemas de IA clínica más seguros y fiables que priorizan la responsabilidad y la mitigación de riesgos sobre la toma de decisiones autónoma.