Agentic systems for breast cancer treatment recommendations

Resumen Técnico: Sistemas Agénticos para Recomendaciones de Tratamiento de Cáncer de Mama

Planteamiento del Problema
Aunque los Modelos de Lenguaje Extensos (LLMs) han demostrado un alto rendimiento en evaluaciones médicas estandarizadas, su fiabilidad en la planificación de tratamientos oncológicos complejos y del mundo real sigue siendo incierta. El tratamiento del cáncer de mama requiere sintetizar datos heterogéneos (guías, patología, historial del paciente) para tomar decisiones matizadas sobre terapia sistémica, cirugía, radioterapia y exámenes complementarios. Estudios previos indican que los LLMs suelen tener dificultades con la secuenciación de tratamientos, la integración del historial quirúrgico y la consecución de la concordancia con los comités multidisciplinarios de tumores. Un obstáculo significativo para la evaluación rigurosa en este dominio es el alto costo y la escasez de rúbricas de evaluación elaboradas por expertos.

Metodología
El estudio evaluó sistemas de LLM agénticos utilizando un conjunto de datos de 72 casos clínicos reales de cáncer de mama invasivo (estadios I–IV) de una clínica oncológica privada en Brasil. El marco de evaluación constó de tres componentes principales:

1. Generación de Rúbricas de Información Asimétrica (AIRG): Para abordar la escasez de rúbricas expertas, los autores introdujeron AIRG. En este flujo de trabajo, un LLM de frontera (gemini-3.5-flash) con alta capacidad de razonamiento y acceso a información privilegiada (las decisiones clínicas reales tomadas por oncólogos y acceso a herramientas de búsqueda) generó rúbricas de evaluación específicas para cada caso. Los modelos evaluados recibieron solo el resumen del caso, creando una asimetría de información diseñada para fundamentar las rúbricas en decisiones de referencia sin requerir la creación manual de rúbricas por parte de expertos para cada caso. Este proceso produjo 1,147 rúbricas específicas de casos distribuidas en cuatro categorías: terapia sistémica, radioterapia, terapia quirúrgica y exámenes complementarios.
2. Arquitecturas de Pipeline: Se compararon siete pipelines distintos:
   • Baselines: Prompting de un solo LLM sin herramientas.
   • Aumentado con Herramientas (Tool-Augmented): LLMs únicos con acceso a Búsqueda Web, Búsqueda en PubMed o recuperación de texto completo de PubMed+PMC.
   • Arquitecturas Multi-Agente:
     • Divide and Conquer (D&C): Un agente orquestador que delega tareas a cuatro subagentes fijos (uno por dominio clínico), todos con acceso a herramientas.
     • D&C + Fact Checker (D&C+FC): Añade un agente de verificación de hechos para verificar las afirmaciones antes de la salida final.
     • D&C + Auto-Spawning (D&C+SA): Los agentes generan autónomamente subagentes con instrucciones personalizadas, seguidos de un paso de verificación de hechos.
3. Modelos y Métricas: El estudio probó modelos de Google (gemini-2.5-flash, gemini-3.1-pro, gemini-3.5-flash), OpenAI (gpt-5.5-2026-04-23) y Anthropic (claude-opus-4-8). El rendimiento se midió mediante un sistema de puntuación basado en rúbricas (inspirado en HealthBench), donde un modelo evaluador asigna puntuaciones basadas en si se cumplen criterios específicos, normalizadas a una escala de 0–1.

Resultos Clave

• Rendimiento General: La configuración con mejor desempeño fue Claude Opus 4.8 utilizando el pipeline D&C+SA, logrando una puntuación global de 0.594 ± 0.025. La brecha entre los principales modelos de frontera fue pequeña.
• Impacto de las Características Agénticas: La adición de herramientas y el aumento de la autonomía de los agentes arrojó resultados mixtos. Si bien D&C+SA funcionó mejor con Claude, otros modelos (por ejemplo, gemini-2.5-flash) experimentaron una degradación en el rendimiento cuando se introdujeron herramientas. Esto sugiere que las arquitecturas agénticas no son beneficiosas de forma universal y dependen fuertemente de la capacidad del modelo base para gestionar las interacciones con las herramientas y los rastros de razonamiento.
• Variación por Dominio y Estadio: El rendimiento varió significamente según el dominio clínico y el estadio de la enfermedad.
  • Dominios: Las puntuaciones fueron más altas para la terapia sistémica (39% de las rúbricas) y más bajas/variables para cirugía y radioterapia.
  • Estadios: Los casos de Estadio I obtuvieron las puntuaciones medias más altas (0.545), mientras que los casos de Estadio III obtuvieron las más bajas (0.441), lo que probablemente refleja la mayor complejidad y diversidad de las opciones de tratamiento en estadios avanzados.
• Análisis de Errores: Una revisión cualitativa realizada por un oncólogo certificado de las 10 mejores respuestas reveló 8 modos de falla recurrentes, incluyendo:
  • Justificaciones incorrectas o incompletas (22.7%).
  • Recomendaciones clínicas incorrectas o ausentes (20.0%).
  • Errores de citación y fabricación de referencias (16.0% y 2.7% respectivamente).
  • Declaraciones excesivamente confiadas y afirmaciones desactualizadas.
  • La revisión requirió aproximadamente 1.5 horas por caso, resaltando la dificultad de la verificación manual.

Contribuciones Clave

1. Benchmarking de Sistemas Agénticos: El estudio proporciona una comparación exhaustiva de pipelines de un solo LLM, aumentados con herramientas y multi-agente para el tratamiento del cáncer de mama, demostrando que la complejidad arquitectónica no se correlaciona linealmente con el rendimiento.
2. Flujo de Trabajo AIRG: La introducción de la Generación de Rúbricas de Información Asimétrica ofrece una solución pragmática para generar criterios de evaluación en dominios especializados donde el tiempo del experto es un cuello de botella, aprovechando las decisiones de referencia para fundamentar las rúbricas.
3. Caracterización de Errores: El artículo identifica modos de falla específicos y clínicamente relevantes (por ejemplo, alucinaciones de citas, exceso de confianza) que persisten incluso en los sistemas de mejor desempeño, enfatizando que las puntuaciones agregadas pueden ocultar riesgos críticos de seguridad.
4. Código Abierto: Los autores liberaron el código fuente para apoyar la reproducibilidad y trabajos futuros en la evaluación de IA con base clínica.

Significancia y Reivindicaciones
El artículo concluye que, si bien los sistemas de LLM agénticos pueden generar recomendaciones clínicamente relevantes para el cáncer de mama, siguen siendo insuficientes para el uso clínico no supervisado. Los hallazgos sugieren que:

• La Capacidad del Modelo es Primordial: La fortaleza del modelo base es un determinante primario del éxito; las mejoras arquitectónicas (herramientas, agentes) no pueden compensar de manera confiable a modelos más débiles.
• Diseño Dependiente del Contexto: Las arquitecturas agénticas no deben tratarse como soluciones universales; su eficacia depende del modelo y de la tarea.
• Necesidad de Evaluación: Las puntuaciones de benchmarks agregados son inadecuadas para el despliegue clínico. La evaluación estratificada (por estadio y dominio) y el análisis cualitativo de errores son esenciales para descubrir debilidades ocultas.
• Riesgos de Seguridad: Los problemas persistentes como la fabricación de citas, el exceso de confianza y las afirmaciones desactualizadas plantean riesgos significativos, lo que requiere supervisión humana y flujos de trabajo de evaluación híbridos antes de cualquier integración clínica.

Los autores mantienen una postura modesta, reconociendo limitaciones como el conjunto de datos de una sola clínica, la dependencia de rúbricas generadas automáticamente y la falta de pruebas adversarias, al tiempo que llaman a realizar trabajos futuros para validar AIRG frente a rúbricas expertas y desarrollar marcos de evaluación más robustos y escalables.