Resumen Técnico: RASC+ – Adjudicación de LLM con Restricción de Recuperación para la Autoría de Conjuntos de Valores Clínicos

Definición del Problema

Los conjuntos de valores clínicos definen la terminología estandarizada (por ejemplo, SNOMED-CT, ICD-10-CM, RxNorm) requerida para la medición de la calidad electrónica, la fenotipificación y el soporte de decisiones clínicas. La autoría de estos conjuntos no es una tarea estándar de generación de texto; requiere seleccionar un subconjunto preciso de un universo terminológico masivo y controlado por versiones.

El benchmark de Recuperación de Completado de Conjuntos (RASC, por sus siglas en inglés) demostró previamente que la generación directa de modelos de lenguaje de gran tamaño (LLM) en modo zero-shot es inadecuada para esta tarea. Los LLM tienen dificultades para memorizar los vastos sistemas de códigos versionados y generan con frecuencia códigos ausentes en el corpus de la Autoridad de Conjuntos de Valores (VSAC). El enfoque original de RASC planteó el problema como un proceso de dos etapas: recuperar conjuntos de valores previos similares para formar un grupo de candidatos y luego clasificar los candidatos. Sin embargo, el pipeline original, que dependía de embeddings de SAPBert y un cross-encoder, logró un F1 macro de solo 0.298 en el conjunto de prueba completo, con caídas significativas de rendimiento en editores fuera de distribución (OOD).

Metodología

Este trabajo propone RASC+, una optimización por etapas de la formulación de recuperación y selección. Los autores desacoplan el problema en dos objetivos distintos:

1. Etapa 1 (Construcción del Grupo de Candidatos): Maximizar la exhaustividad o recall (exponer la mayor cantidad de códigos verdaderos posible) incluso a costa de la precisión, asegurando que el "techo de recuperación" sea alto.
2. Etapa 2 (Adjudicación de Candidatos): Maximizar la precisión seleccionando el subconjunto correcto del grupo expandido, preservando la restricción de seguridad de que todos los resultados deben originarse en el grupo de candidatos auditable.

Etapa 1: Construcción de un Grupo Mejorado

Los autores reemplazan el recuperador de títulos SAPBert original con un pipeline más robusto:

• Recuperación Semántica: Utiliza Qwen3-Embedding-0.6B para recuperar los 15 ($K=15$) vecinos más cercanos de conjuntos de valores (un aumento respecto a $K=10$) basados en la similitud de coseno de los embeddings de títulos normalizados.
• Expansión Consciente del Vocabulario: Para capturar códigos estructuralmente cercanos a las semillas recuperadas pero ausentes en los conjuntos de origen, el sistema expande el grupo utilizando grafos específicos de vocabulario:
  • ICD-10-CM: Enlaces de descendencia (hijos) y hermandad (hermanos).
  • RxNorm y SNOMED-CT: Enlaces de vecindad de relación.
  • Restricciones: La expansión está limitada (máximo 3 nuevos códigos por semilla, 60 por vocabulario) para mantener la revisabilidad del grupo.
• Recuperación de Rescate de la Explicación del Código: Para abordar las discrepancias de fraseología entre los títulos de destino y los títulos del corpus de entrenamiento (un modo de falla crítico para editores OOD), el sistema indexa las cadenas de explicación de los códigos mediante BM25. Los 10 mejores encuentros por vocabulario se añaden como semillas, seguidos del mismo proceso de expansión basado en grafos.

El grupo de candidatos final ($C_v$) es la unión de los códigos derivados de la fuente, los códigos expandidos por vocabulario y los códigos de rescate de la explicación del código.

Etapa 2: Adjudicación Restringida

Se evalúan dos selectores sobre el mismo grupo expandido:

1. Cross-Encoder SAPBert: El clasificador original de RASC aplicado al grupo expandido sin reentrenamiento ni ajuste de umbral. Esto sirve como un control conservador para probar si un grupo más grande mejora por sí solo el rendimiento.
2. Adjudicación GPT-5: Un LLM restringido que recibe los metadatos del conjunto de valores objetivo y el grupo de candidatos. Tiene estrictamente prohibido generar nuevos códigos; debe devolver una lista JSON de IDs de candidatos provenientes del grupo suministrado.
   • Cegamiento: El prompt excluye OIDs, nombres de editores y etiquetas de verdad de campo (ground truth) para evitar la memorización o filtraciones.
   • Fragmentación (Chunking): Para grupos que exceden los 1,200 candidatos, el grupo se divide en fragmentos deterministas. El modelo procesa cada fragmento de forma independiente, y las predicciones finales son la unión de los IDs seleccionados.

Contribuciones Clave

1. Elevación del Techo de Recuperación: Los autores demuestran que la optimización de la recuperación y la expansión eleva significativamente el techo de recuperación. En el conjunto de prueba completo, la recuperación del grupo de candidatos aumentó de la línea base original de RASC de 0.553 a 0.730. Para editores mantenidos fuera de la distribución (OOD), la recuperación mejoró de 0.543 a 0.655.
2. Superioridad de la Adjudicación: El estudio muestra que un LLM restringido (GPT-5) puede filtrar eficazmente el grupo más grande y ruidoso donde los cross-encoders tradicionales fallan. Reemplazar SAPBert con GPT-5 en el grupo expandido aumentó el F1 macro del test completo de 0.287 a 0.549.
3. Robustez OOD: El enfoque mejora significativamente la generalización a editores no vistos. En editores OOD, GPT-5 logró un F1 macro de 0.533, comparado con el 0.233 de SAPBert en el mismo grupo.

Resultados

El artículo reporta las siguientes métricas clave sobre la división de prueba de 3,744 conjuntos de valores:

Métrica	RASC Original (SAPBert)	Grupo Expandido + SAPBert	Grupo Expandido + GPT-5
Recuperación del Grupo (Test Completo)	0.553	0.730	0.730
F1 Macro (Test Completo)	0.298	0.287	0.549
F1 Macro (OOD)	0.233*	0.233	0.533
Precisión Macro (OOD)	-	0.229	0.642
Recuperación Macro (OOD)	-	0.415	0.564

*Nota: El F1 OOD de RASC original se infiere del texto como línea base para la comparación, aunque el desglose específico del OOD para el SAPBert original no fue detallado explícitamente en el manuscrito original; el artículo compara el nuevo resultado de SAPBert en el grupo expandido con el resultado del test completo original.

Los resultados indican que, si bien el grupo expandido introduce más falsos positivos (reduciendo la precisión de la recuperación sola), el adjudicador GPT-5 filtra estos con éxito mientras retiene una alta fracción de verdaderos positivos. La "recuperación restringida al grupo" (fracción de códigos verdaderos en el grupo que son seleccionados) para GPT-5 es de 0.757, lo que indica que el modelo pierde algunos códigos recuperables pero desempeña significativamente mejor que el cross-encoder.

Significado y Reivindicaciones

El artículo afirma que la adjudicación de LLM con restricción de recuperación es un paradigma superior para la autoría de conjuntos de valores clínicos en comparación con la generación sin restricciones o los cross-encoders estáticos.

• Seguridad y Auditabilidad: Al restringir al LLM para que seleccione solo de un grupo de candidatos recuperado, el sistema preserva la propiedad de "seguridad basada en el corpus". Esto evita la generación de códigos inválidos o alucinados, un requisito crítico para aplicaciones clínicas.
• Descomposición de Tareas: El trabajo valida la hipótesis de que separar la recuperación (construcción del grupo) de la precisión (adjudicación) permite una optimización especializada. Un grupo de alta recuperación proporciona el "techo" necesario para el rendimiento, el cual un LLM fuerte puede navegar de manera más efectiva que un clasificador tradicional.
• Rol de Soporte de Decisiones: Los autores posicionan el sistema como una herramienta de soporte de decisiones en lugar de un editor autónomo. Reduce la carga de revisión humana al presentar un conjunto de candidatos clasificados y con procedencia rica, aunque reconoce que los curadores humanos aún deben validar las decisiones de modelado específicas de la gestión (stewardship) y las posibles omisiones en la terminología de origen.

El artículo concluye que el benchmark RASC sirve como un banco de pruebas riguroso para estos sistemas y que la combinación de estrategias de recuperación de alta exhaustividad con la selección de LLM restringida ofrece un camino prometedor para la autoría de conjuntos de valores clínicos.