Resumen Técnico: MasonNLP en MEDIQA-SYNUR 2026

Definición del Problema

El artículo aborda el desafío de convertir transcripciones conversacionales entre enfermeras y pacientes en observaciones clínicas estructuradas y adherentes a un esquema. Si bien la documentación clínica es vital para la continuidad de la atención, impone una carga significativa a los profesionales sanitarios, quienes dedican un tiempo considerable a tareas de registros electrónicos de salud (EHR) en lugar de a la atención directa al paciente. La tarea específica, MEDIQA-SYNUR, requiere que los sistemas extraigan observaciones clínicamente relevantes de las transcripciones y las normalicen en un esquema predefinido de 193 conceptos de observación. Este esquema incluye restricciones estrictas de tipo de valor (numérico, cadena, selección única, selección múltiple) y requisitos de validez enumerados para valores categóricos. La dificultad radica en el gran espacio de salida heterogéneo y en la necesidad de que el modelo evite alucinar nombres de conceptos o violar restricciones de tipo, que son modos de fallo comunes en los modelos de lenguaje grandes (LLM) bajo condiciones de esquema estrictas.

Metodología

Los autores proponen una tubería modular de generación aumentada por recuperación (RAG) diseñada para condicionar las salidas de los LLM tanto en ejemplos recuperados como en restricciones de esquema. El sistema comprende los siguientes componentes:

1. Corpus de Recuperación y Base de Conocimiento:

   • El conjunto de entrenamiento sirve como único corpus de recuperación.
   • Cada instancia de entrenamiento se representa mediante dos vistas textuales: la transcripción original y un "resumen de nombre de concepto" derivado de mapear los IDs de concepto de etiqueta dorada a sus nombres de esquema.
   • Las incrustaciones se generan utilizando Sentence-Transformers all-MiniLM-L6-v2 para la base Llama-4 y OpenAI text-embedding-3-large para la base GPT-5.2.

2. Recuperación de Ejemplos (RAG):

   • Se recupera un grupo de candidatos mediante similitud coseno en las incrustaciones de las transcripciones.
   • El grupo se reordena utilizando una puntuación ponderada que combina la similitud de la transcripción ($w_t=0.70$), la similitud del resumen de nombre de concepto ($w_c=0.25$) y la superposición léxica mediante similitud Jaccard ($w_l=0.05$).
   • Los $k$ mejores ejemplos (variando $k \in \{3, 5, 10, 20, 30, 50\}$) se insertan en el prompt como demostraciones de pocos ejemplos, emparejando la transcripción del ejemplo con su salida JSON de etiqueta dorada.

3. Restricciones de Esquema:
   El estudio compara dos estrategias de prompting para condicionar el LLM sobre el esquema $S$:

   • Prompting de Esquema Completo: El modelo recibe la lista completa de 193 conceptos, incluidos identificadores, nombres, tipos de valor y valores categóricos permitidos.
   • Prompting de Esquema de Candidatos Recortado: Se construye un conjunto de candidatos por instancia $C(x)$ puntuando conceptos basándose en coincidencias léxicas con la transcripción, similitud semántica con los nombres de los conceptos y expansión por recuperación (añadiendo conceptos encontrados en los ejemplos recuperados). Esto limita el espacio de salida a un subconjunto compacto de conceptos relevantes.

4. Inferencia y Postprocesamiento:

   • Se instruye al LLM para que solo emita una lista JSON de pares (id, v).
   • Expansión Determinista: Para prevenir alucinaciones de nombres o tipos, el sistema postprocesa la salida buscando el nombre y el value_type canónicos para cada id predicho en el esquema.
   • Validación de Esquema: Las predicciones se validan contra el esquema; los IDs desconocidos se descartan y los valores se normalizan (por ejemplo, convirtiendo cadenas numéricas a flotantes, imponiendo listas enumeradas para tipos categóricos).

5. Auditoría de Segundo Paso:
   Una etapa de refinamiento donde un LLM auditor revisa la transcripción original, el esquema y la predicción del primer paso. Se le instruye para eliminar elementos sin respaldo, corregir problemas de adherencia al esquema y añadir únicamente observaciones faltantes claramente respaldadas.

La tubería se evaluó utilizando dos bases de LLM: Llama-4-Scout-17B-16E-Instruct (pesos abiertos) y GPT-5.2 (pesos cerrados).

Resultados Clave

Los experimentos, resumidos en la Tabla 2 del artículo, arrojan las siguientes métricas de rendimiento (puntuaciones F1):

• Mejor Configuración: El rendimiento más alto se logró utilizando GPT-5.2 con prompting de Esquema Completo, RAG (con $k=30$ ejemplos) y Auditoría de Segundo Paso, resultando en una puntuación F1 de 80.36%.
• Impacto de RAG: La generación aumentada por recuperación mejoró consistentemente el rendimiento en ambos modelos y configuraciones de esquema al reducir los falsos negativos y reforzar la estructura JSON esperada y la normalización de valores.
• Interacción de Esquema:
  • Llama-4 (Pesos abiertos): Rindió mejor con el Esquema de Candidatos Recortado (F1 73.20% con RAG). Reducir el espacio de salida ayudó al modelo más pequeño a adherirse a las restricciones y enfocarse en conceptos relevantes.
  • GPT-5.2 (Pesos cerrados): Rindió mejor con el Esquema Completo (F1 80.27% con RAG). El modelo más grande se benefició del contexto completo para desambiguar conceptos relacionados, mientras que el recorte provocó una caída en la precisión (un "sesgo tipo lista de verificación" que fomenta la sobreextracción).
• Auditoría de Segundo Paso: Proporcionó ganancias adicionales modestas (por ejemplo, +0.09 F1 para GPT-5.2), principalmente al corregir errores residuales de adherencia al esquema y normalización en lugar de alterar significativamente la cobertura de extracción.

Análisis de Errores

El análisis de errores (Tablas 3 y 4) revela que la mayoría de los errores no son desacuerdos de valores casi acertados, sino más bien:

• Falsos Positivos (608 instancias): El 81.9% fueron predicciones de conceptos espurios (IDs no presentes en la verdad fundamental). Los conceptos sobre-predichos comúnmente incluyeron "Diagnóstico secundario" e "Identificación del paciente", que eran clínicamente plausibles pero rara vez anotados en el estándar de oro.
• Falsos Negativos (485 instancias): El 78.8% fueron conceptos omitidos por completo.
• Problemas Sistemáticos: Una parte significativa de los errores provino de discrepancias a nivel de representación, como ceros a la izquierda en los IDs de concepto (por ejemplo, "03" vs "3") y diferencias de codificación en tokens categóricos (por ejemplo, unidades de temperatura). Estos problemas destacan la fragilidad de la coincidencia estricta de cadenas en esquemas heterogéneos.

Significado y Contribuciones

El artículo afirma tres contribuciones principales al campo de la Extracción de Información Clínica (IE):

1. Restricción de Esquema Consciente del Modelo: El estudio demuestra que la estrategia óptima para restringir las salidas de los LLM no es universal, sino que depende de la escala y la arquitectura del modelo. Los esquemas de candidatos recortados son beneficiosos para modelos más pequeños de pesos abiertos para reducir el espacio de decisión, mientras que los modelos más grandes de pesos cerrados se benefician del contexto completo del esquema para aprovechar sus capacidades de razonamiento.
2. Interacción RAG y Esquema: El trabajo proporciona evidencia sistemática de que la Generación Aumentada por Recuperación mejora consistentemente la extracción restringida por esquema, pero su eficacia se modula por cómo se presenta el esquema al modelo.
3. Refinamiento vs. Componente Central: Los autores muestran que la auditoría de segundo paso produce mejoras modestas al corregir errores residuales de normalización, pero no sustituye a los mecanismos centrales de RAG y restricciones de esquema. Se utiliza mejor como una etapa final de refinamiento.

En general, los hallazgos sugieren que una extracción efectiva de observaciones restringidas por esquema requiere una estrategia que seleccione conjuntamente enfoques de recuperación y restricción de esquema adaptados a las capacidades específicas del LLM subyacente.