PromptRad: Knowledge-Enhanced Multi-Label Prompt-Tuning for Low-Resource Radiology Report Labeling

Resumen Técnico: PromptRad

Definición del Problema
El etiquetado automático de informes radiológicos es esencial para extraer hallazgos clínicos de texto no estructurado y facilitar la investigación a gran escala en imágenes médicas. Sin embargo, las soluciones existentes enfrentan limitaciones significativas en entornos clínicos con pocos recursos. Los métodos tradicionales basados en reglas (por ejemplo, MetaMap, NegBio) dependen de mapeos predefinidos y luchan con las descripciones diversas y no convencionales que se encuentran en los informes clínicos. Por el contrario, el ajuste fino de Modelos de Lenguaje Preentrenados (PLM) como BioBERT o PubMedBERT generalmente requiere grandes cantidades de datos etiquetados, que son escasos en entornos clínicos debido al alto costo de la anotación por expertos. Además, si bien el ajuste de prompts ofrece una alternativa de aprendizaje con pocos ejemplos, los enfoques existentes están diseñados principalmente para la clasificación multiclase con categorías mutuamente excluyentes, sin abordar la naturaleza multietiqueta inherente de los informes radiológicos donde coexisten múltiples hallazgos.

Metodología
Los autores proponen PromptRad, un enfoque de ajuste de prompts multietiqueta potenciado por conocimiento, diseñado para el etiquetado de informes radiológicos con pocos recursos. El método reformula la tarea de clasificación multietiqueta como un problema de modelado de lenguaje enmascarado (MLM), aprovechando un PLM preentrenado sin introducir capas de clasificación adicionales.

Los componentes clave de la metodología incluyen:

1. Verbalizador de Múltiples Palabras: A diferencia del ajuste de prompts estándar que mapea una clase a una sola palabra, PromptRad incorpora sinónimos del Metatezaurus UMLS (específicamente SNOMEDCT) para crear un verbalizador de múltiples palabras. Por ejemplo, la etiqueta "Carcinoma Hepatocelular" se mapea tanto a "hcc" como a "hepatoma". Esto enriquece las representaciones de categorías y mitiga el sesgo hacia una única forma léxica.
2. Marco de Ajuste de Prompts: El informe de entrada se formatea con una plantilla de texto que contiene un token [MASK] (por ejemplo, "El informe radiológico está relacionado con [MASK]."). El modelo predice el token en la posición enmascarada para determinar la presencia de hallazgos específicos.
3. Generación Automática de Prompts: Para optimizar la selección de plantillas, los autores emplean un modelo generativo T5 para crear y clasificar automáticamente varias plantillas de prompts basándose en la verosimilitud conjunta, seleccionando la plantilla de mejor rendimiento para el entrenamiento.
4. Objetivo de Entrenamiento: El modelo se ajusta fino utilizando una pérdida de entropía cruzada binaria sobre los logits de los tokens enmascarados. Cuando existen múltiples mapeos de palabras para una etiqueta, el sistema selecciona el mapeo con la mayor probabilidad.

Contribuciones Clave
El artículo describe tres contribuciones principales:

• Formulación: Plantea el etiquetado de informes radiológicos con pocos recursos como un problema de ajuste de prompts multietiqueta, adaptando los modelos de lenguaje enmascarados para predecir múltiples hallazgos clínicos simultáneamente a partir de un solo informe.
• Integración de Conocimiento: Introduce un verbalizador de múltiples palabras informado por UMLS y una estrategia de generación automática de prompts para mejorar la representación de etiquetas y la selección de plantillas dentro de contextos clínicos.
• Evaluación Empírica: Evalúa PromptRad en un conjunto de datos real de tomografías computarizadas (TC) de hígado, demostrando su efectividad bajo supervisión limitada, incluidos casos desafiantes de negación.

Resultados
Se realizaron experimentos en un conjunto de datos de informes de TC de hígado de un solo centro médico, comparando PromptRad con líneas base basadas en diccionarios (MetaMap, NegBio), PLM ajustados fino (PubMedBERT) y modelos de lenguaje grandes (GPT-4).

• Rendimiento con Pocos Recursos: Utilizando solo 32 ejemplos de entrenamiento etiquetados, PromptRad superó a los métodos basados en diccionarios y a las líneas base de ajuste fino estándar en la mayoría de las categorías.
• Comparación con Modelos de Lenguaje Grandes (LLM): PromptRad logró un rendimiento competitivo con GPT-4, y la versión que utiliza generación automática de plantillas (PromptRad+AutoT) superó ligeramente a GPT-4 en puntuaciones promedio, a pesar de utilizar un modelo significativamente más pequeño y desplegable localmente.
• Manejo de Negación: El análisis de casos de negación (informes que mencionan un nombre de hallazgo pero están anotados como negativos) mostró que PromptRad capturó patrones de negación complejos de manera más efectiva que los enfoques basados en reglas como NegBio, que a menudo fallaban en estructuras de oraciones cortas o no estándar.
• Ablación: Se demostró que el uso del verbalizador de múltiples palabras mejora el rendimiento promedio y reduce la varianza entre ejecuciones en comparación con los verbalizadores de una sola palabra.

Significado y Afirmaciones
Los autores posicionan a PromptRad como una solución práctica para escenarios clínicos caracterizados por escasez de datos, altos costos de anotación y requisitos estrictos de privacidad de datos. Al ajustar fino un modelo ligero (PubMedBERT, ~110 millones de parámetros) sin APIs externas, PromptRad ofrece una alternativa desplegable localmente a los modelos de lenguaje grandes propietarios. El artículo afirma que este enfoque cierra efectivamente la brecha entre la necesidad de un etiquetado de alto rendimiento y la realidad de los datos etiquetados limitados en entornos clínicos. Los autores señalan que, aunque el método es prometedor, su generalizabilidad está actualmente limitada al dominio específico (TC de hígado) y al idioma (inglés) del estudio, y se requiere una validación adicional para aplicaciones clínicas más amplias.