EPPC-OASIS: Ontology-Aware Adaptation and Structured Inference Refinement for Electronic Patient-Provider Communication Mining in Secure Messages

Resumen Técnico: EPPC-OASIS

Enunciado del Problema
Los mensajes seguros entre pacientes y proveedores contienen comportamientos comunicativos ricos y clínicamente significativos (por ejemplo, coordinación de la atención, preocupaciones emocionales, toma de decisiones compartida) que son difíciles de caracterizar manualmente a gran escala. Aunque el marco de Comunicación Electrónica entre Paciente y Proveedor (EPPC) proporciona una ontología estructurada para codificar estos comportamientos, la extracción automatizada sigue siendo un desafío. La tarea requiere más que una clasificación de etiqueta única; los modelos deben identificar comportamientos comunicativos, mapearlos a un sistema jerárquico de códigos de alto nivel y subcódigos específicos, y fundamentar estas predicciones en segmentos de texto específicos del mensaje original.

Los enfoques actuales enfrentan dos limitaciones principales:

1. Brecha de Representación: El ajuste fino supervisado (SFT) estándar trata las anotaciones como secuencias de salida aisladas, sin aprovechar la naturaleza jerárquica, desequilibrada y semánticamente adyacente de la ontología EPPC. En consecuencia, los modelos a menudo cometen errores estructurados, como asignar un subcódigo plausible bajo un código padre incorrecto o confundir comportamientos semánticamente similares.
2. Rigidez de Inferencia: La inferencia se trata típicamente como un único paso de generación. Sin embargo, los errores en la extracción EPPC a menudo se manifiestan de manera diferente para la asignación de etiquetas frente a la fundamentación de la evidencia (selección de segmentos). Una salida codiciosa podría tener un segmento correcto pero un subcódigo incorrecto, mientras que una salida muestreada podría tener la etiqueta correcta pero un segmento desplazado. Los métodos estándar no abordan simultáneamente estos modos de fallo distintos.

Metodología
Los autores proponen EPPC-OASIS, un marco de dos etapas diseñado para mejorar la extracción estructurada de EPPC: Adaptación Consciente de la Ontología (entrenamiento) y Refinamiento de Inferencia Estructurada (inferencia).

1. Adaptación Consciente de la Ontología (Entrenamiento)
La innovación central es la integración de la estructura de la ontología EPPC directamente en el objetivo de ajuste fino utilizando una señal de alineación de Wasserstein.

• Construcción de Vectores de Ontología: Las anotaciones de oro se convierten en vectores multicalientes que representan la unión de códigos y subcódigos activos.
• Prior de Similitud de Ontología: Se construye una matriz de prior ($P$) basada en la similitud semántica entre las descripciones de los códigos. Esto define una similitud objetivo entre ejemplos, transformando la superposición plana de etiquetas en una medida de similitud estructurada que respeta la jerarquía EPPC.
• Alineación de Banco de Memoria de Wasserstein: Para abordar la escasez de ejemplos relacionados en los mini-lotes estándar (especialmente para modelos grandes), el método emplea un banco de memoria prellenado y congelado que contiene representaciones de todos los ejemplos de entrenamiento.
  • Para cada entrada, el modelo calcula una distribución de vecindad de representación ($p_{rep}$) basada en similitudes de estados ocultos.
  • Compara esta distribución contra una distribución de vecindad de ontología ($p_{ont}$) derivada de las puntuaciones de similitud objetivo.
  • Un costo de transporte óptimo regularizado entrópicamente (pérdida de Sinkhorn) alinea estas dos distribuciones.
• Objetivo: La pérdida total combina la pérdida de extracción supervisada estándar ($\mathcal{L}_{SFT}$) con la pérdida de alineación de ontología ($\mathcal{L}_{ont}$), ponderada por $\lambda_{ont}$. Esto incentiva al modelo a organizar su espacio de representaciones para reflejar la estructura de la ontología EPPC.

2. Refinamiento de Inferencia Estructurada
Para abordar los errores residuales, el marco aplica una capa de refinamiento desplegable que no altera el objetivo de entrenamiento pero mejora el conjunto final de anotaciones mediante verificación y agregación:

• Auto-refinamiento de Cadena de Pensamiento (CoT-SR): Genera una salida codiciosa, verifica la fundamentación del segmento (comprobando la presencia literal o una alta superposición Jaccard) y utiliza un prompt de auto-refinamiento para corregir tripletes sin soporte o corregir errores menores de segmento.
• Auto-consistencia: Muestra múltiples salidas para estabilizar la asignación de etiquetas (pares Código/Subcódigo) mediante votación, seleccionando el segmento con la mayor similitud de consenso.
• Corrección Híbrida: Combina las fortalezas de las salidas codiciosas y de auto-consistencia. Conserva el segmento de evidencia de una predicción codiciosa si se superpone suficientemente con un segmento de auto-consistencia, reemplazando las etiquetas con las etiquetas de auto-consistencia más estables.
• Selector/Ensemble: Utiliza criterios internos (por ejemplo, validez del segmento, conteos de pares distintos) para seleccionar la mejor predicción entre los candidatos de CoT-SR y auto-consistencia, o fusiona predicciones a través de múltiples semillas aleatorias para modelos de alta capacidad.

Contribuciones Clave

1. Método EPPC-OASIS: Un método de adaptación consciente de la ontología que utiliza el inventario de códigos/subcódigos de EPPC para definir un objetivo de alineación de Wasserstein durante el ajuste fino, asegurando que las representaciones del modelo se alineen con la estructura jerárquica de la ontología.
2. Marco de Inferencia Estructurada: Un pipeline desplegable que combina auto-verificación, auto-consistencia, corrección híbrida de etiquetas y selección/ensamblaje para abordar modos de fallo específicos en la asignación de etiquetas y la fundamentación de la evidencia.
3. Evaluación Exhaustiva: Evaluación en múltiples familias de modelos de pesos abiertos (Llama, Mistral, Qwen, DeepSeek) y escalas (de 1B a 70B), comparando frente a prompting, SFT estándar, optimización basada en preferencias (DPO, IPO, etc.) y líneas base orientadas a la robustez (STaR-DRO).
4. Análisis Diagnóstico: Estudios de ablación que separan los efectos del entrenamiento consciente de la ontología del refinamiento en tiempo de inferencia, y distinguen el rendimiento del pipeline desplegable de los límites superiores teóricos (puntuaciones óptimas por componente).

Resultados
El marco se evaluó en un corpus desidentificado de 867 ejemplos anotados (5.516 anotaciones) utilizando puntuaciones F1 promediadas a nivel micro para Código, Subcódigo, Segmento, Código+Subcódigo y Triplete (Código+Subcódigo+Segmento).

• Ganancias de Rendimiento: En todas las familias de modelos, el mejor pipeline desplegable logró 77,13% de F1 en Código+Subcódigo y 63,83% de F1 en Triplete.
• Comparación con Líneas Base: Estos resultados representan ganancias absolutas modestas pero consistentes de +1,39 y +2,12 puntos F1, respectivamente, sobre la línea base de ajuste fino supervisado más fuerte.
• Impacto de la Ontología: EPPC-OASIS superó consistentemente al SFT estándar y a las líneas base basadas en preferencias en métricas estructurales (F1 de Código+Subcódigo), demostrando una preservación superior de la jerarquía de etiquetas. Aunque los métodos basados en preferencias (por ejemplo, DPO) mostraron un rendimiento competitivo en la localización exacta del segmento, EPPC-OASIS fue superior en mantener la coherencia de las etiquetas.
• Escala del Modelo: Los beneficios de la adaptación consciente de la ontología fueron más pronunciados en modelos más pequeños (por ejemplo, Llama-3.2-1B) y se estabilizaron aún más a través de diferentes arquitecturas (incluyendo Qwen y DeepSeek) mediante el promediado de pesos de puntos de control.
• Hallazgos de Ablación: Eliminar el término de alineación de ontología, el banco de memoria o el prior de similitud semántica resultó en una degradación del rendimiento, confirmando que las ganancias no se debieron meramente al ajuste fino específico de la tarea, sino específicamente a la señal de alineación estructurada.

Significado y Afirmaciones
El artículo afirma que EPPC-OASIS apoya la minería escalable y retrospectiva de la comunicación electrónica entre paciente y proveedor al mejorar la fiabilidad de la extracción estructurada.

• Habilitación de Informática: El valor principal es habilitar la investigación retrospectiva, la medición de calidad y el análisis a nivel de cohorte de patrones de comunicación, en lugar del soporte de decisiones clínicas inmediatas o la automatización en tiempo real.
• Auditabilidad: Al extraer segmentos de evidencia fundamentada junto con las etiquetas, el sistema permite a los investigadores auditar el texto subyacente a los comportamientos predichos, lo cual es crítico para categorías sensibles como los Determinantes Sociales de la Salud (SDOH).
• Avance Metodológico: El trabajo demuestra que incorporar ontologías de dominio directamente en el objetivo de adaptación (mediante alineación de Wasserstein) es más efectivo para tareas jerárquicas y multietiqueta que tratar la ontología únicamente como un esquema de evaluación a posteriori o un vocabulario de salida.
• Advertencias: Los autores declaran explícitamente que se requiere validación externa antes de su uso operativo. Los resultados actuales no establecen mejoras en resultados clínicos, triaje o coordinación de la atención. Además, los pipelines de refinamiento de inferencia implican un mayor costo computacional (múltiples pasadas o muestreo), lo cual es aceptable para el análisis retrospectivo pero podría requerir optimización (por ejemplo, destilación) para su implementación en tiempo real.