FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts

1. Problema y Contexto

El artículo aborda el desafío de la extracción de información estructurada a partir de textos clínicos no estructurados en español, específicamente centrado en el reconocimiento de entidades nombradas (NER) relacionadas con hábitos tóxicos (uso y abuso de sustancias).

• Contexto: Se estima que el 80% de los datos clínicos existen en formato no estructurado, lo que dificulta su análisis automatizado. El abuso de sustancias es un problema de salud pública global significativo.
• Tarea: Participación en la tarea compartida ToxHabits (parte del taller BioCreative IX), específicamente en la Subtarea 1: detectar menciones de uso/abuso de sustancias en informes de casos clínicos en español y clasificarlas en cuatro categorías: Tabaco, Alcohol, Cannabis y Drogas.
• Desafío: Los textos clínicos carecen de estructura, presentan variabilidad lingüística y las entidades a extraer (frases detonadoras o trigger phrases) pueden ser complejas, incluyendo negaciones o contextos específicos.

2. Metodología

El equipo propuso un enfoque basado en el aprendizaje en contexto (in-context learning) utilizando Grandes Modelos de Lenguaje (LLMs), específicamente la familia GPT-4 desplegada en Azure OpenAI.

• Preprocesamiento:
  • Los informes clínicos se dividen en secciones basadas en saltos de línea para reducir la longitud de la entrada, mejorando la recuperación de entidades.
  • Se utiliza la librería DsPy para la gestión de prompts y optimización.
• Estrategia de Prompting:
  • Se compararon enfoques zero-shot (sin ejemplos) y few-shot (con ejemplos).
  • Se seleccionaron aleatoriamente 3, 5 o 7 ejemplos del conjunto de entrenamiento para incluir en el prompt. El rendimiento óptimo se logró con 5 ejemplos.
  • El prompt instruye al modelo para extraer frases específicas para cada categoría (tabaco, alcohol, cannabis, drogas) utilizando un formato de salida estructurado.
• Post-procesamiento:
  • Las frases extraídas por el LLM se buscan en el texto original para determinar los índices de inicio y fin (spans).
  • En caso de solapamiento, se selecciona el span más corto, basándose en la observación de que las anotaciones humanas tienden a ser más concisas.
• Optimización:
  • Se experimentó con el optimizador MIPROv2 (Multiprompt Instruction Proposal Optimizer) para refinar el prompt automáticamente.
  • Se realizó una optimización manual del prompt, ajustando parámetros como la temperatura (1) y el límite de tokens (hasta 16,000), logrando mejoras adicionales en precisión y F1.
  • Se intentó un optimizador basado en kNN (selección de ejemplos por similitud semántica), pero no se completó debido a limitaciones de tiempo.

3. Contribuciones Clave

• Evaluación de LLMs en Español Clínico: Demuestra la viabilidad de usar LLMs de propósito general (GPT-4.1) para tareas de NER en dominio médico en español, un área donde los modelos suelen tener dificultades.
• Comparativa de Estrategias: Proporciona un análisis detallado del rendimiento de zero-shot vs. few-shot y la optimización de prompts en un contexto de salud.
• Análisis de Errores: Identifica que el principal error no es la detección de la entidad en sí, sino la delimitación precisa de los límites (boundary detection). El modelo tiende a incluir contexto adicional (métodos, cantidades, negaciones) en la entidad extraída.
• Recursos Abiertos: El código y los prompts utilizados se han hecho públicos en GitHub para fomentar la reproducibilidad.

4. Resultados

El equipo evaluó varios modelos en el conjunto de desarrollo (dev) y de prueba (test):

• Mejor Modelo: GPT-4.1 con few-shot prompting (5 ejemplos) y prompt optimizado manualmente.
  • Puntuación en el Test: Logró un F1 de 0.65, con una Precisión de 0.59 y una Recall de 0.72.
• Comparativa con Baselines:
  • El modelo few-shot superó al enfoque zero-shot en aproximadamente un 6% en F1.
  • Superó a la línea base de diccionario en un 2% en F1.
  • Aunque el modelo Spanish Clinical RoBERTa (entrenado específicamente) obtuvo un F1 superior en el conjunto de desarrollo (~0.79), el enfoque basado en LLM mostró un rendimiento prometedor sin necesidad de entrenamiento supervisado masivo.
• Métricas de Superposición (Overlap):
  • Se midió qué porcentaje de las entidades "gold" (humanas) estaban contenidas dentro de las entidades predichas. GPT-4.1 logró que la entidad correcta estuviera contenida en su predicción en un 78-83% de los casos, aunque a menudo con límites extendidos.
• Fallo en Combinaciones: La combinación de la línea base de diccionario con el modelo GPT resultó contraproducente, disminuyendo el rendimiento general.

5. Significado y Conclusiones

• Viabilidad Multilingüe: El estudio confirma que los LLMs son una herramienta potente para la NER clínica en idiomas distintos al inglés, ofreciendo flexibilidad y capacidad de adaptación con pocos ejemplos (few-shot).
• Limitaciones Identificadas:
  • Delimitación de Entidades: Los LLMs tienden a extraer spans más largos de lo necesario, incluyendo contexto (ej. "consumo abusivo de alcohol" en lugar de solo "alcohol").
  • Sesgo de Anotación: Algunas entidades específicas (como tipos de alcohol o medicamentos recetados) fueron identificadas por el modelo pero no etiquetadas por los expertos humanos, sugiriendo variabilidad en las guías de anotación.
• Trabajo Futuro:
  • Implementar un paso de post-procesamiento para refinar los límites de las entidades extraídas.
  • Explorar la selección de ejemplos few-shot basados en similitud semántica (kNN) para mejorar la precisión.
  • Combinar la extracción de detonadores y atributos en una sola tarea unificada para aprovechar mejor las capacidades de los LLMs.

En resumen, el artículo presenta un enfoque robusto que, aunque no supera a los modelos BERT finetuneados en métricas estrictas de coincidencia exacta, ofrece una solución escalable y prometedora para la extracción de información clínica en español, destacando la importancia de la optimización de prompts y el manejo de los límites de las entidades.