Picking the Right Specialist: Attentive Neural Process-based Selection of Task-Specialized Models as Tools for Agentic Healthcare Systems

Resumen Técnico: Selección de Especialistas para Sistemas de Salud Agénticos

1. El Problema

Los sistemas de salud agénticos (basados en Agentes de IA) dependen de modelos especializados para tareas clínicas como diagnóstico de enfermedades, generación de informes, localización visual y respuesta a preguntas visuales (VQA). Sin embargo, en la práctica clínica real:

• No existe un único "mejor" modelo: Diferentes modelos especializados sobresalen en diferentes subconjuntos de datos debido a variaciones en los dominios (escáneres, protocolos), espacios de etiquetas y poblaciones de pacientes.
• Desafío de la selección: Un agente debe seleccionar dinámicamente el modelo especialista más adecuado para una consulta clínica específica a partir de un grupo heterogéneo de herramientas.
• Limitaciones actuales: Los enfoques naive (usar un modelo fijo por tarea) fallan ante desplazamientos de dominio (domain shifts) y no aprovechan la complementariedad de múltiples modelos. Además, carecía un entorno de prueba estandarizado para evaluar estrategias de enrutamiento en este contexto.

2. Metodología Propuesta: ToolSelect

Los autores presentan ToolSelect, un marco de aprendizaje basado en Procesos Neuronales Atentos (Attentive Neural Processes - ANP) para la selección adaptativa de modelos.

• Formulación del Problema: Se define como un problema de minimización de riesgo poblacional sobre un panel de candidatos de herramientas. El objetivo es aprender una función de selección que minimice la pérdida condicional a la tarea.
• Arquitectura del Selector:
  • Resúmenes Conductuales: Cada modelo candidato se representa mediante un pequeño conjunto de referencia (few-shot) que resume su comportamiento empírico en la tarea (predicciones alineadas en un espacio canónico).
  • Codificación de la Consulta: La entrada multimodal (imagen + instrucción de texto) se codifica para obtener una representación de la consulta.
  • Mecanismo de Atención: Utiliza un ANP donde la representación de la consulta actúa como query para atender sobre los conjuntos de referencia de cada herramienta. Esto permite al selector identificar qué modelo se comportará mejor para una entrada específica, basándose en la similitud con sus ejemplos de referencia.
  • Salida: El sistema genera una distribución de probabilidad sobre los modelos candidatos, filtrando aquellos que no soportan la tarea o la entrada específica (máscara de validez).
• Función de Pérdida: Se utiliza una pérdida sustituta "comp-sum" (comp-sum surrogate loss) para hacer el problema diferenciable, ya que la selección discreta es combinatoria. Se minimiza el riesgo poblacional promediando sobre tareas y paneles de herramientas.

3. Contribuciones Clave

1. Nuevo Paradigma y Testbed: Es el primer trabajo que destaca la necesidad de mantener múltiples modelos especialistas como candidatos de herramientas y propone un módulo de selección condicionado a la consulta.
2. ToolSelectBench (Entorno y Benchmark):
   • Creación de un entorno agéntico para Rayos X de tórax con un núcleo basado en LLM.
   • Pool de Herramientas: Un conjunto diverso de 55 modelos especializados:
     • 17 modelos de detección de enfermedades.
     • 19 modelos de generación de informes.
     • 6 modelos de anclaje visual (visual grounding).
     • 13 modelos de VQA (Visual Question Answering).
   • Dataset: 1448 consultas (tripletas imagen-pregunta-respuesta) que cubren desplazamientos de dominio y desajustes de etiquetas.
3. Contribución Técnica: Formalización de la selección de herramientas como minimización de riesgo poblacional y demostración de la eficacia de los ANP para esta tarea sin necesidad de optimización en tiempo de prueba (test-time optimization).

4. Resultados Experimentales

Los resultados se evaluaron comparando ToolSelect contra 10 métodos de estado del arte (SOTA), incluyendo enrutadores basados en LLM, clasificadores supervisados (SVM, MLP), y estrategias heurísticas.

• Diagnóstico de Enfermedades:
  • Los modelos individuales mostraron alta variabilidad y fallos significativos bajo desplazamiento de dominio (ej. entre Open-I y VinDr).
  • ToolSelect superó consistentemente a todos los baselines y al mejor modelo individual.
  • Métricas: En VinDr, ToolSelect alcanzó un F1 de 59.88%, superando al mejor modelo individual (24.81%) y reduciendo significativamente la brecha con el límite superior teórico (Oracle: 66.22%).
• Generación de Informes:
  • ToolSelect logró un F1-RadGraph de 24.17%, superando al mejor generador individual (CheXAgent-8B con 16.33%) y a los mejores enrutadores de base.
  • Los casos cualitativos mostraron que ToolSelect evita alucinaciones y selecciona modelos que generan informes clínicamente alineados con la gravedad de la anomalía.
• Anclaje Visual (Visual Grounding):
  • La selección correcta es crítica ya que diferentes modelos son mejores para diferentes hallazgos (ej. uno para "neumonía", otro para "fibrosis").
  • ToolSelect alcanzó un mAP@0.5 de 48.39% y un IoU medio de 50.08%, superando al mejor modelo individual en ~10 puntos de IoU.
• VQA (Respuesta a Preguntas Visuales):
  • ToolSelect alcanzó una precisión del 72.01%, superando al mejor modelo individual (63.22%) y cerrando una brecha significativa con el Oracle (96.49%).
  • Se demostró que los enrutadores clásicos a veces degradan el rendimiento por debajo de usar un modelo fijo fuerte, mientras que ToolSelect aprende a enrutarse efectivamente.

5. Significado e Impacto

• Validación de la Selección Adaptativa: El estudio demuestra que la fiabilidad en sistemas clínicos multimodales no depende solo de tener modelos potentes, sino de seleccionar dinámicamente el especialista correcto para cada caso.
• Eficiencia y Seguridad: Al evitar invocar todos los modelos o usar uno fijo, se reduce el costo computacional y se mejora la precisión clínica, mitigando errores por desajuste de dominio.
• Marco Reproducible: La liberación de ToolSelectBench y el conjunto de 55 modelos proporciona una base sólida para futuras investigaciones en la orquestación de agentes de IA en salud.
• Enfoque Práctico: El sistema mantiene los modelos de herramientas "congelados" (frozen), lo que facilita su implementación en entornos reales donde el reentrenamiento de modelos base es costoso o inviable.

En conclusión, el paper establece que la selección de herramientas condicionada a la consulta es un componente fundamental para el despliegue exitoso de agentes de IA en entornos médicos complejos y heterogéneos.