Resumen Técnico: Evolución Guiada por LLM para Pipelines de Decisión Médica

Declaración del Problema

La adaptación de los Modelos de Lenguaje de Gran Escala (LLM) a flujos de trabajo clínicos especializados suele depender de dos enfoques costosos: el ajuste fino (fine-tuning) computacionalmente intensivo que requiere grandes conjuntos de datos anotados y recursos de GPU, o la ingeniería manual de prompts y pipelines que depende de un refinamiento iterativo con intervención humana. Este último suele ser lento, difícil de reproducir e inconsistente entre profesionales. Aunque la optimización MAP-Elites guiada por LLM ha surgido como una alternativa en tiempo de inferencia para dominios generales, su aplicación a pipelines de decisión médica sensibles a la seguridad sigue siendo limitada. Los estudios existentes se centran principalmente en benchmarks generales o prompts aislados, en lugar de optimizar procedimientos de decisión ejecutables donde los prompts, la lógica de control, las políticas de interacción y las restricciones de salida pueden evolucionar simultáneamente.

Metodología

Los autores proponen el uso de la evolución MAP-Elites guiada por LLM como un marco de trabajo en tiempo de inferencia para descubrir estrategias de decisión médica sin realizar el ajuste fino de los modelos de tareas subyacentes. El enfoque utiliza GigaEvo, un framework de código abierto para la búsqueda de calidad-diversidad, donde un LLM congelado actúa como un operador de mutación para reescribir artefactos candidatos (programas, políticas o prompts) basados en funciones de aptitud (fitness functions) específicas de la tarea.

El framework fue evaluado en tres entornos distintos de razonamiento clínico:

1. Triaje de Urgencia: Optimización de la asignación de niveles de urgencia (Emergencia, No Emergencia, Autocuidado) bajo riesgos clínicos asimétricos. Los candidatos son módulos de Python ejecutables que descomponen la lógica de decisión, utilizan recuperación de información (retrieval) y aplican mecanismos de votación. Las funciones de aptitud priorizan la recuperación de emergencias y la precisión ponderada por seguridad.
2. Consulta Interactiva: Optimización de la adquisición secuencial de evidencia en diálogos de múltiples turnos. Los candidatos implementan políticas de abstención para decidir cuándo hacer preguntas de seguimiento frente a cuándo comprometerse con una respuesta final. El objetivo es mejorar la frontera de precisión-costo (precisión de la respuesta vs. uso de tokens).
3. Clasificación de Imágenes Médicas: Optimización de estrategias basadas únicamente en prompts para Modelos de Lenguaje-Visión (VLM) fijos. Los candidatos son módulos de Python que generan prompts para modelos MedGemma congelados para clasificar radiografías de tórax pediátricas (PneumoniaMNIST), imponiendo una validez estricta de salida en formato JSON.

En todos los entornos, el proceso evolutivo selecciona candidatos de alto rendimiento a través de dimensiones conductuales (por ejemplo, precisión vs. recuperación, o precisión vs. costo) en lugar de optimizar para un único máximo global, preservando tipos de soluciones diversas.

Contribuciones Clave

El artículo realiza tres contribuciones principales:

1. Demostración de Eficacia: Los autores demuestran que la evolución MAP-Elites guiada por LLM puede generar y refinar estrategias de decisión médica que igualan o superan a las líneas base diseñadas manualmente en tres entornos de decisión distintos (triaje, consulta e clasificación de imágenes).
2. Evaluación Exhaustiva: El estudio proporciona análisis cuantitativos y cualitativos de las mejoras, examinando la precisión, el comportamiento relevante para la seguridad (por ejemplo, tasas de subtriaje), los costos de interacción, la transferencia entre modelos y la generalización con datos no utilizados en el entrenamiento.
3. Perspectiva Mecanicista: Los autores demuestran que las ganancias de rendimiento surgen de mecanismos interpretables a nivel de programa en lugar de un simple refraseo superficial de prompts. Estos incluyen límites de triaje calibrados, adquisición de evidencia dirigida, estrategias de compromiso selectivo y reglas de decisión visual orientadas al hallazgo.

Resultados Clave

Triaje (Semigran y MIMIC-ESI)

• Benchmark Semigran: El mejor programa evolucionado (SG-c119) aumentó la precisión del 77.3% al 87.1% y la recuperación de emergencias de 0.60 a 0.97, superando significativamente al mejor programa inicial y a otras líneas base de LLM publicadas (excluyendo a médicos humanos). Mantuvo una alta recuperación de autocuidado, evitando la solución degenerada de sobrepredecir emergencias.
• Benchmark MIMIC-ESI: El mejor programa evolucionado (MIMIC-023) logró un 62.0% de precisión exacta y un 77.0% de precisión de rango (incluyendo un sobretriaje más seguro), superando las líneas base diseñadas a mano y compitiendo con sistemas asistidos por RAG. Redujo el subtriaje severo del 3.6% al 1.2% en relación con las líneas base sólidas.
• Transferencia: Las estrategias evolucionadas se transfirieron eficazmente a backbones de LLM no vistos (por ejemplo, variantes de Qwen, GPT-oss) sin cambios en el código. Sin embargo, la especialización en el conjunto Semigran condujo a un sobretriaje conservador en el conjunto independiente de Levine, resaltando el compromiso entre la especialización orientada a la seguridad y la robustez.

Consulta Interactiva (iMEDQA e iCRAFTMD)

• Las políticas evolucionadas mejoraron la frontera de precisión-costo en múltiples modelos (Llama-3, Qwen-3.5, Gemma-4).
• En Llama-3-8B, la estrategia evolucionada mejoró la precisión en un +3.1% mientras reducía el uso de tokens en un 89.6%.
• En Gemma-4-31B, logró una reducción masiva del 92.6% en el uso de tokens con solo una caída marginal en la precisión (75.6% frente al 76.4% de la línea base).
• Estas ganancias se transfirieron al conjunto de datos externo iCRAFTMD, confirmando que las estrategias mejoran la calidad de la decisión sin simplemente aumentar la longitud de la interacción.

PneumoniaMNIST (Clasificación de Imágenes)

• La evolución basada solo en prompts mejoró los modelos MedGemma congelados en todas las resoluciones probadas (28x28 a 224x224).
• Para MedGemma-27B a 224x224, el prompt evolucionado alcanzó un 84.46% de precisión y un 83.88% de macro-F1, superando la mejor semilla inicial.
• Las ganancias fueron más pronunciadas para modelos más pequeños (MedGemma-4B) en resoluciones más bajas, donde los prompts evolucionados ajustaron eficazmente los umbrales de decisión para entradas visuales ambiguas.

Significado y Reivindicaciones

El artículo afirma que la evolución guiada por LLM es una herramienta prometedora, reproducible para descubrir estrategias de decisión médica efectivas, inspeccionables y adaptables. A diferencia del ajuste fino, este enfoque opera en tiempo de inferencia, lo que lo hace práctico para adaptar modelos congelados bajo métricas explícitas y restricciones de salida estructurada.

Los autores enfatizan que las mejoras provienen de mecanismos interpretables a nivel de programa:

• Triaje: Recalibrar los límites de decisión para priorizar la seguridad (recuperación de emergencias) sin sacrificar la especificidad.
• Consulta: Asignar el presupuesto computacional a la incertidumbre, utilizando la selección de preguntas basada en la utilidad y aplicando la autoconsistencia solo en los pasos de compromiso forzado.
• Clasificación de Imágenes: Transformar prompts fijos en políticas de decisión visual ejecutables que busquen hallazgos radiológicos específicos (por ejemplo, broncograbas de aire, consolidación) en lugar de depender de clasificaciones genéricas.

Los autores mantienen una postura modesta, señalando que estos sistemas son prototipos de investigación y no sustitutos de la validación clínica prospectiva, la calibración robusta o la gobernanza de seguridad. Reconocen limitaciones, incluyendo el riesgo de sobreajuste en benchmarks pequeños (Semigran), la naturaleza retrospectiva de los datos de MIMIC-ESI y los costos de búsqueda no despreciables incurridos durante la evolución en tiempo de inferencia. Sin embargo, argumentan que este método proporciona una alternativa viable para optimizar pipelines médicos donde la ingeniería manual es inconsistente y el ajuste fino es inviable.