Resumen Técnico: Soporte de Decisión Ortopédica Multilingüe Fiable a partir de Narrativas Clínicas

1. Declaración del Problema

El soporte de decisión clínica (CDS, por sus siglas en inglés) multilingüe enfrenta obstáculos significativos en entornos sanitarios lingüísticamente diversos y de bajos recursos, particularmente en el sur de Asia, donde las interacciones clínicas ocurren en lenguas regionales (por ejemplo, hindi, punjabi), mientras que las herramientas de IA siguen siendo predominantemente centradas en el inglés. El soporte de decisión ortopédica es un caso de uso crítico debido a la naturaleza de las narrativas de los pacientes, que a menudo contienen síntomas superpuestos, evidencia incompleta, terminología heterogénea y patrones de documentación dependientes del idioma.

Los enfoques existentes luchan con varios desafíos específicos:

• Inestabilidad Condicional al Idioma: El rendimiento y la calibración de los modelos varían significamente entre idiomas, especialmente bajo distribuciones de prevalencia clínica natural donde el desequilibrio de clases es severo.
• Especialización de Dominio: Los codificadores multilingües de propósito general y los Modelos de Lenguaje Extensos (LLMs) de aprendizaje cero (zero-shot) a menudo carecen del fundamento específico requerido para la categorización clínica de conjunto cerrado y sensible a la seguridad.
• Brechas de Fiabilidad: Las métricas de precisión agregada oscurecen modos de falla clínicamente significativos, tales como predicciones excesivamente confiadas en casos inciertos o sesgos específicos de idioma.
• Falta de Mecanismos de Diferimiento: Los sistemas actuales suelen carecer de mecanismos explícitos para diferir las predicciones inciertas para la revisión humana, un requisito crucial para los sistemas de CDS orientados a la seguridad.

2. Metodología

El estudio propone un marco orientado a la fiabilidad que comprende un conjunto de datos curado, una arquitectura de modelo de adaptación de dominio y una capa de verificación post-predicción determinista.

2.1 Construcción del Conjunto de Datos

Los autores construyeron un corpus clínico ortopédico multilingüe curado a gran escala que contiene 134,979 registros en inglés, hindi y punjabi. Los datos se obtuvieron de un hospital de cuidados terciarios en Pakistán (con colaboración de hospitales indios) e incluye notas redactadas de forma natural, no traducciones.

• Etiquetas Diagnósticas: Seis categorías: Espinal, Musculoesquelético, Hueso, Cadera, Otro y Desconocido (que denota evidencia insuficiente).
• Configuraciones de Evaluación: Se definieron dos distribuciones:
  1. Equilibrado Controlado: 18,000 registros (1,000 por clase por idioma) para permitir una comparación interlingüística justa.
  2. Prevalencia Natural: El corpus refinado completo que refleja el sesgo de etiquetas clínicas realista (por ejemplo, las quejas de cadera dominan en inglés/hindi; la espinal domina en punjabi).

2.2 Arquitectura Propuesta: IndicBERT-HPA

Para abordar los desajustes de dominio y de idioma, los autores introdujeron IndicBERT-HPA (Adaptadores Hindi–Punjabi).

• Base: Un codificador IndicBERT compartido proporciona un espacio de representación multilingüe común.
• Adaptación:
  • Inglés: Sigue la ruta directa del codificador compartido.
  • Hindi y Punjabi: Pasan a través de cabezales adaptadores ortopédicos ligeros y específicos de cada idioma. Estos adaptadores utilizan una transformación residual de cuello de botella para proyectar las representaciones compartidas en un espacio clínicamente discriminativo sin duplicar el codificador completo.
• Entrenamiento: El modelo se entrena de extremo a extremo utilizando una pérdida de entropía cruzada, optimizando conjuntamente el codificador compartido, los adaptadores y el cabezal de clasificación.

2.3 Baselines y Comparaciones

El estudio compara IndicBERT-HPA contra:

• Codificadores Supervisados: XLM-RoBERTa, mDeBERTa, IndicBERT estándar y DistilBERT (ajustados finamente para la tarea).
• LLMs de Aprendizaje Cero (Zero-Shot): DeepSeek Open, Mistral-7B Instruct y Zephyr-7B evaluados en un entorno de conjunto cerrado de etiquetas sin ajuste fino específico de la tarea ni aumento de recuperación (retrieval augmentation).

2.4 Capa de Verificación Selectiva Determinista

Se implementa una capa post-predicción para separar la predicción diagnóstica de la autorización de la decisión. No modifica los parámetros del modelo, sino que determina si una predicción debe ser aceptada automáticamente o diferida. La función de decisión $g$ se basa en tres señales:

1. Control de Confianza: Rechaza las predicciones por debajo de un umbral $\tau$ (establecido en 0.60).
2. Verificación de Consistencia de Evidencia: Verifica si la categoría predicha está respaldada por reglas de evidencia de síntoma-diagnóstico.
3. Tamizaje de Riesgo de Idioma: Marca los registros con discrepancias de script, ruido de transliteración excesivo o mezclas anormales.
   Si cualquiera de las condiciones falla ($\text{señal}_i < \tau$ O evidencia $\neq$ respaldada O riesgo = alto), el caso es diferido para revisión humana.

3. Contribuciones Clave

1. Corpus Ortopédico Multilingüe Curado: Un conjunto de datos a gran escala que abarca inglés, hindi y punjabi, soportando la evaluación tanto de equilibrio como de prevalencia natural para analizar el desequilibrio de clases y la heterogeneidad lingüística.
2. Codificador de Adaptación de Dominio (IndicBERT-HPA): Una arquitectura que aumenta IndicBERT con adaptadores ortopédicos conscientes del idioma, preservando las representaciones compartidas mientras permite una especialización dirigida para idiomas de bajos recursos.
3. Protocolo de Evaluación Orientado a la Fiabilidad: Una evaluación exhaustiva que se extiende más allá de la precisión agregada para incluir rendimiento por clase, ROC-AUC, AUPRC, Error de Calibración Esperado (ECE) y estabilidad interlingüística bajo prevalencia natural.
4. Capa de Verificación Selectiva Determinista: Un sistema basado en reglas que combina confianza, consistencia de evidencia y riesgo de idioma para autorizar la aceptación o diferir casos inciertos, abordando explícitamente los requisitos de seguridad y de humano en el bucle (human-in-the-loop).

4. Resultados Experimentales

4.1 Rendimiento de los Codificadores Supervisados

• Configuración Controlada: IndicBERT-HPA logró el mayor rendimiento general, con un Macro-F1 promedio de 0.8177, un Macro-AUROC de 0.9302 y un AUPRC de 0.9147. Superó consistentemente a los baselines en la clasificación de Musculoesquelético y "Desconocido" (evidencia insuficiente).
• Configuración de Prevalencia Natural: IndicBERT-HPA mantuvo su robustez, logrando un Macro-F1 promedio de 0.8792, un Macro-AUROC de 0.894 y un AUPRC de 0.902. Superó significativamente a todos los baselines, incluyendo XLM-RoBERTa y DistilBERT.
• Calibración: Aunque IndicBERT-HPA mostró una fuerte discriminación, exhibió un Error de Calibración Esperado (ECE) más alto que algunos baselines en idiomas específicos (por ejemplo, inglés), lo que motivó la necesidad de la capa de verificación en lugar de confiar solo en la confianza.

4.2 Rendimiento de los LLMs de Aprendizaje Cero (Zero-Shot)

Los LLMs de aprendizaje cero funcionaron sustancialmente peor que los codificadores adaptados a la tarea para la clasificación de conjunto cerrado:

• DeepSeek Open (el LLM más fuerte) logró un F1-score promedio de 0.6121 bajo prevalencia natural.
• IndicBERT-HPA superó al mejor LLM por un margen amplio (0.8792 vs. 0.6121).
• Los LLMs exhibieron una inestabilidad significativa dependiente del idioma y carecieron del fundamento específico de la tarea requerido para la categorización clínica estructurada sin ajuste fino.

4.3 Resultados de la Verificación Selectiva

Evaluado en un subconjunto de 5,000 registros:

• Baseline de Aceptación Total (Accept-All): 71.5% de precisión, 0.65 Macro-F1.
• Con Verificación: El sistema aceptó el 72.3% de los casos (diferiendo el 27.7%) y logró una precisión selectiva del 84.4% y un Macro-F1 selectivo de 0.76.
• Impacto en la Seguridad: La capa redujo los errores de aceptación inseguros en un 60.4% en comparación con la política de aceptación total, derivando eficazmente los casos inciertos para la revisión humana sin modificar el clasificador subyacente.

5. Significado y Reivindicaciones

El artículo sostiene que el soporte de decisión ortopédica multilingüe requiere un cambio del diagnóstico autónomo hacia la asistencia orientada a la fiabilidad. El estudio demuestra que:

• La Adaptación de Dominio es Crítica: La adaptación de dominio explícita (IndicBERT-HPA) supera significativamente tanto a los codificadores multilingües generales como a los LLMs de aprendizaje cero en entornos clínicos multilingües de bajos recursos.
• La Prevalencia Natural Importa: La evaluación bajo distribuciones clínicas naturales revela modos de falla y problemas de calibración que los benchmarks equilibrados ocultan.
• El Diferimiento Mejora la Seguridad: La verificación selectiva determinista mejora eficazmente la fiabilidad de las predicciones aceptadas automáticamente al filtrar casos de baja confianza o inconsistentes, reduciendo así el riesgo de errores automatizados en los flujos de trabajo clínicos.
• Necesidad de Humano en el Bucle: Los resultados apoyan un flujo de trabajo donde la IA proporciona una categorización preliminar con señales de incertidumbre explícitas, derivando los casos complejos o riesgosos a los clínicos, en lugar de intentar un diagnóstico totalmente autónomo.

Los autores enfatizan que estos hallazgos son retrospectivos y específicos de un subconjunto; se requiere una validación prospectiva con clínicos en el bucle antes de su despliegue en flujos de trabajo del mundo real. El estudio no afirma que los LLMs de aprendizaje cero estén listos para esta tarea específica sin adaptación, ni afirma que la capa de verificación reemplace el juicio clínico.