CUICurate: A GraphRAG-based Framework for Automated Clinical Concept Curation for NLP applications

Resumen Técnico: CUICurate

Planteamiento del Problema
Las aplicaciones de Procesamiento de Lenguaje Natural (NLP) clínico dependen frecuentemente del mapeo de términos clínicos de texto libre a Identificadores de Concepto Único (CUI) del Sistema de Lenguaje Médico Unificado (UMLS). Si bien el UMLS ofrece una cobertura amplia, su inclusividad genera desafíos: los conceptos suelen solaparse, utilizar una redacción ambigua o carecer de vínculos jerárquicos consistentes. Para muchas tareas posteriores, como el fenotipado, la unidad clínicamente significativa no es un solo CUI, sino un "conjunto de conceptos": una colección de sinónimos relacionados, subtipos y conceptos asociados. Actualmente, la construcción de estos conjuntos es un proceso laborioso y manual que depende del juicio clínico especializado y de la búsqueda iterativa. Las herramientas existentes, como el Explorador del Metaterosauro UMLS o la plataforma OHDSI Athena, ofrecen un soporte limitado para la generación automatizada y coherente de conjuntos de conceptos, particularmente para procesos de NLP que operan sobre texto libre en lugar de datos codificados estructurados. Además, confiar únicamente en la expansión jerárquica es insuficiente, ya que las variantes relevantes pueden existir fuera de las relaciones directas de padre-hijo o en diferentes ramas de la ontología.

Metodología
Los autores presentan CUICurate, un marco basado en GraphRAG diseñado para automatizar la curación de conjuntos de conceptos de UMLS. El marco opera a través de un flujo de trabajo de tres etapas:

1. Construcción y Embebido del Grafo de Conocimiento:

   • Se construye un grafo de conocimiento bidireccional a partir de archivos RRF (Rich Release Format) de UMLS, utilizando SNOMED CT–US, NCI Thesaurus (NCIt) y Medical Subject Headings (MeSH).
   • Los nodos representan CUIs y las aristas representan relaciones semánticas.
   • Los nodos se procesan mediante embeddings utilizando tres modelos: text-embedding-3-large (OpenAI), SapBERT (específico de dominio) y e5-large-v2 (propósito general de código abierto).
   • Los embeddings se indexan usando FAISS (Facebook AI Similarity Search) para la recuperación semántica.

2. Recuperación de Grafos (Generación de Candidatos):

   • Para un concepto objetivo dado, se embebe una descripción orientada a la recuperación para recuperar los $k$ mejores CUIs "semilla" semánticamente similares.
   • El sistema realiza una expansión de grafo jerárquica (expansión recursiva de hijos y expansión de un salto de padres/sinónimos) para capturar conceptos relacionados.
   • Los conjuntos de candidatos están restringidos por filtros de tipo semántico y límites de vecindad (max_neighbors) para asegurar que el conjunto resultante sea computacionalmente manejable para el procesamiento posterior.

3. Curación Basada en LLM (Filtrado y Clasificación):

   • Los CUIs recuperados son procesados por Modelos de Lenguaje de Gran Escala (LLMs) en un flujo de trabajo de dos etapas:
     • Filtrado: Retención de conceptos que indican o sugieren fuertmente el fenotipo objetivo.
     • Clasificación: Categorización de los CUIs incluidos como "definitivos" (indican explícitamente el concepto) o "dependientes del contexto" (requieren información clínica adicional).
   • Se evaluaron dos modelos: GPT-5 (vía API de OpenAI) y Qwen3-32B (código abierto, desplegado localmente).

Estrategia de Evaluación
El marco fue evaluado en cinco conceptos clínicos léxicamente heterogéneos: Insuficiencia Cardíaca Crónica (CHF), Ictus Isquémico (IS), Sobrecarga de Líquidos (FO), Disfunción Sistólica del Ventrículo Izquierdo (LVSD) y Movilidad Reducida (PM).

• Benchmarks: Se crearon conjuntos de conceptos manuales (M) utilizando especialistas clínicos mediante el explorador de UMLS.
• Estándar de Oro (Gold Standard): Se construyó un conjunto de estándar de oro adjudicado ($G_a$) mediante la combinación de estrategias de recuperación y modelos de embedding, seguido de una anotación independiente por parte de clínicos.
• Métricas: La recuperación se evaluó mediante la exhaustividad (recall) frente a $G_a$. El rendimiento del filtrado se midió utilizando precisión, exhaustividad y puntuación F1 contra el subconjunto de $G_a$ presente en los candidatos recuperados.
• Observabilidad: Los conceptos omitidos se analizaron mediante su presencia en 10,000 notas clínicas de MIMIC-III para evaluar su significancia práctica.

Resultados Clave

• Tamaño y Completitud del Conjunto de Conceptos: CUICurate generó conjuntos de conceptos sustancialmente más grandes y completos que los benchmarks manuales. Los conjuntos manuales oscilaron entre 30 y 130 CUIs, mientras que los conjuntos de estándar de oro oscilaron entre 163 y 675 CUIs.
• Rendimiento de Recuperación: El modelo text-embedding-3-large superó a los modelos específicos de dominio y otros de código abierto. Una única configuración (500 CUIs semilla, expansión de un salto, máximo 1,000 vecinos) logró una alta exhaustividad para conceptos definitivos (superando 0.90 para todos los conceptos excepto Movilidad Reducida) manteniendo los conjuntos de candidatos manejables (~750 CUIs por concepto).
• Rendimiento de Filtrado de LLM:
  • GPT-5 superó la curación manual en todos los conceptos. Retuvo al menos el 95% de los CUIs definitivos del estándar de oro para los cinco conceptos objetivo, a pesar de una menor exhaustividad para el conjunto completo de conceptos dependientes del contexto.
  • Qwen3-32B logró un rendimiento comparable pero ligeramente inferior al de GPT-5, aunque aun así superó significativamente la curación manual en cuanto a exhaustividad.
• Observabilidad Clínica: Una parte significativa de los CUIs omitidos del estándar de oro (particularmente los dependientes del contexto) no fueron observados en las notas de MIMIC-III muestreadas, lo que sugiere que algunas pérdidas de exhaustividad pueden tener un impacto práctico limitado en la minería de texto clínico.
• Costo y Eficiencia: El proceso es costo-eficiente. El costo de embedding de una sola vez fue de aproximadamente $8.20 USD. El procesamiento por consulta con GPT-5 costó aproximadamente $0.88 USD y tomó ~21 minutos, en comparación con 1–2 horas de tiempo de un clínico requerido para la curación manual.

Significancia y Reivindicaciones
El artículo afirma que CUICurate ofrece un enfoque escalable, reproducible y costo-eficiente para generar conjuntos de conceptos de UMLS revisables por clínicos. Su contribución principal es demostrar que un marco de GraphRAG puede restringir eficazmente el espacio de búsqueda de la masiva ontología UMLS, permitiendo que los LLM prioricen conceptos clínicamente relevantes para la revisión experta.

Los autores enfatizan que este enfoque aborda las limitaciones de la recuperación puramente jerárquica y la curación manual. Al automatizar la expansión y el filtrado iniciales, CUICurate reduce la carga manual produciendo conjuntos de conceptos que son más exhaustivos que los creados mediante búsquedas tradicionales en el navegador de UMLS. El marco se posiciona no como una solución de "caja negra" totalmente automatizada, sino como una herramienta de diseño iterativo que permite a los investigadores generar rápidamente conjuntos de conceptos específicos para estudios, adaptados a diferentes objetivos analíticos, equilibrando la sensibilidad y la especificidad con un costo computacional mínimo.