Can Language Models Identify Side Effects of Breast Cancer Radiation Treatments?

Resumen Técnico: ¿Pueden los Modelos de Lenguaje Identificar los Efectos Secundarios de los Tratamientos de Radioterapia para el Cáncer de Mama?

Declaración del Problema
Comunicar con precisión los efectos secundarios del tratamiento es crítico para los supervivientes de cáncer, particularmente en el consentimiento informado y la planificación de la atención de supervivencia. Sin embargo, esta tarea se ve obstaculizada por datos fragmentados de la historia clínica electrónica (HCE) y déficits de conocimiento clínico sobre las toxicidades a largo plazo del tratamiento. Aunque los Modelos de Lenguaje de Gran Escala (LLM) ofrecen el potencial de resumir y comunicar estos efectos, su fiabilidad en oncología sigue siendo poco comprendida. Específicamente, no está claro cómo se desempeñan los LLM cuando la documentación del paciente varía en especificidad (por ejemplo, menciones generales de radioterapia frente a objetivos anatómicos específicos), cómo manejan diferentes estrategias de prompting y si pueden capturar de manera fiable efectos secundarios raros o a largo plazo esenciales para la atención de supervivencia.

Metodología
Los autores proponen un marco de pruebas de estrés orientado a la implementación para evaluar la fiabilidad de los LLM en la identificación de efectos secundarios de la radioterapia para el cáncer de mama. El estudio utiliza 21 perfiles sintéticos de pacientes con cáncer de mama derivados de conjuntos de datos públicos (Chen et al., 2023; Palepu et al., 2025).

• Diseño Experimental: Para cada perfil de paciente, los autores crearon versiones emparejadas: un "Perfil Base" que menciona la radioterapia de manera general y un "Perfil Especificado" que añade tipos específicos de radioterapia o ubicaciones anatómicas (por ejemplo, "pared torácica", "ganglios"). Toda la demás información clínica permaneció fija para aislar el efecto de la especificidad de la documentación.
• Verdad Terrena: Se desarrolló una lista de referencia curada por clínicos por un equipo de más de siete oncólogos radioterapeutas de mama, mapeando modalidades y ubicaciones de radioterapia a efectos secundarios establecidos. Cada efecto secundario fue anotado por frecuencia (Común a Extremadamente Raro) y inicio temporal (Corto plazo vs. Largo plazo).
• Modelos Evaluados: Se probaron siete LLM ajustados con instrucciones: LLaMA-3.1-8B, Gemma-2-9B, Mistral-7B, Qwen-2.5-7B, Phi-3-Medium, O4-Mini y GPT-5.3.
• Regímenes de Prompting: Se evaluaron cuatro regímenes:
  1. Generación de forma libre (sin restricciones).
  2. Generación de forma libre con una restricción de tamaño de lista (20–30 elementos).
  3. Selección de una lista predefinida y curada por clínicos.
  4. Selección de una lista predefinida con una restricción de tamaño de lista.
• Métricas de Evaluación: Se calcularon Precisión, Recuperación (Recall) y puntuaciones F1 estándar contra la referencia clínica. Además, se calculó una Tasa de Superposición entre las salidas de los perfiles base y especificados para medir la robustez ante cambios menores en la documentación. Se realizó una coincidencia semántica utilizando un LLM para alinear el texto generado con la verdad terrena, validado contra el juicio humano con un 96% de acuerdo.

Resultados Clave

• Compensación Precisión-Recuperación: En la generación de forma libre, los modelos mostraron una divergencia significativa. Algunos (por ejemplo, Gemma-2-9B, O4-Mini, GPT-5.3) lograron alta precisión pero baja recuperación, omitiendo muchos efectos relevantes. Otros (por ejemplo, LLaMA-3.1-8B) produjeron listas amplias con recuperación moderada pero precisión muy baja, generando toxicidades alucinadas o anatómicamente irrelevantes.
• Impacto de las Restricciones de Tamaño de Lista: Imponer una restricción de tamaño de lista (20–30 elementos) en la generación de forma libre redujo consistentemente la precisión en todos los modelos sin mejorar de manera fiable la recuperación. Esto sugiere que forzar objetivos de longitud incentiva la fabricación de efectos secundarios incorrectos.
• La Anclaje Mejora la Fiabilidad: Cuando los modelos se restringieron a seleccionar de una lista curada por clínicos, la precisión y la recuperación mejoraron sustancialmente en todos los modelos. En este entorno anclado, las restricciones de tamaño de lista generalmente aumentaron la recuperación sin las caídas severas de precisión observadas en la generación de forma libre.
• Sensibilidad a la Documentación: Los modelos demostraron bajas tasas de superposición entre los perfiles base y especificados, lo que indica que cambios menores en la documentación (por ejemplo, especificar una ubicación) provocaron cambios sustanciales en las listas de efectos secundarios generadas.
• Brechas en Supervivencia: La mayoría de los modelos sub-recuperaron sistemáticamente los efectos secundarios raros y a largo plazo, favoreciendo toxicidades comunes y de corto plazo. Excepciones notables fueron O4-Mini y GPT-5.3, que mostraron una recuperación más fuerte para efectos a largo plazo.

Contribuciones Clave

1. Marco de Pruebas de Estrés: Introducción de un marco para evaluar LLM en oncología que enfatiza perturbaciones clínicamente significativas (especificidad de la documentación) y distinciones relevantes para la supervivencia (frecuencia, inicio temporal) en lugar de puntos de referencia abstractos.
2. Evaluación Estructurada: El primer análisis experimental estructurado de cómo las estrategias de prompting, la especificidad de la documentación y las características de los efectos secundarios influyen conjuntamente en el rendimiento de los LLM en la generación de efectos secundarios de radioterapia para el cáncer de mama.
3. Recomendación de Diseño: Demostración de que anclar las salidas de los LLM en vocabularios curados por expertos mejora significativamente la fiabilidad, ofreciendo una opción de diseño práctica para aplicaciones más seguras.
4. Recurso Público: Lanzamiento de un conjunto de datos que contiene 21 perfiles de pacientes emparejados con un conjunto anotado por oncólogos de tratamientos de radioterapia y efectos secundarios.

Significado y Afirmaciones
El artículo argumenta que, aunque los LLM muestran promesa, su fiabilidad actual en oncología está limitada por la sensibilidad a la redacción de la entrada, una tendencia a alucinar en entornos sin restricciones y un sesgo hacia efectos secundarios comunes y agudos en lugar de raros y a largo plazo. Los autores afirman que sus hallazgos destacan la necesidad de anclar los LLM en listas curadas por expertos para tareas clínicas de alto riesgo como el consentimiento informado y la educación en supervivencia. Enfatizan que la evaluación impulsada por aplicaciones, que tiene en cuenta la variabilidad de la documentación y los matices clínicos, es esencial antes de implementar LLM en herramientas dirigidas a pacientes. El trabajo sirve como precursor para integraciones de flujo de trabajo más complejas, abogando por pruebas de estrés rigurosas para garantizar la seguridad y la utilidad en la atención a la supervivencia del cáncer.