Resumo Técnico: Evolução Guiada por LLM para Pipelines de Decisão Médica

Declaração do Problema

Adaptar Grandes Modelos de Linguagem (LLMs) a fluxos de trabalho clínicos especializados normalmente depende de duas abordagens dispendiosas: o ajuste fino (fine-tuning) computacionalmente intensivo, que requer grandes conjuntos de dados anotados e recursos de GPU, ou a engenharia manual de prompts e pipelines, que depende de um refinamento iterativo com intervenção humana (human-in-the-loop). Esta última é frequentemente demorada, difícil de reproduzir e inconsistente entre diferentes profissionais. Embora a otimização MAP-Elites guiada por LLM tenha emergido como uma alternativa em tempo de inferência para domínios gerais, sua aplicação a pipelines de decisão médica sensíveis à segurança permanece limitada. Estudos existentes visam primariamente benchmarks gerais ou prompts isolados, em vez de otimizar procedimentos de decisão executáveis onde prompts, lógica de controle, políticas de interação e restrições de saída podem todos evoluir simultaneamente.

Metodologia

Os autores propõem o uso da evolução MAP-Elites guiada por LLM como um framework de tempo de inferência para descobrir estratégias de decisão médica sem realizar o ajuste fino dos modelos de tarefa subjacentes. A abordagem utiliza o GigaEvo, um framework de código aberto para busca de qualidade-diversidade, onde um LLM congelado atua como um operador de mutação para reescrever artefatos candidatos (programas, políticas ou prompts) com base em funções de aptidão (fitness functions) específicas da tarefa.

O framework foi avaliado em três cenários distintos de raciocínio clínico:

1. Triagem de Urgência: Otimização da atribuição de níveis de urgência (Emergência, Não Emergência, Autocuidado) sob riscos clínicos assimétricos. Os candidatos são módulos Python executáveis que decompõem a lógica de decisão, utilizam recuperação de dados (retrieval) e aplicam mecanismos de votação. As funções de aptidão priorizam o recall de emergência e a precisão ponderada pela segurança.
2. Consulta Interativa: Otimização da aquisição sequencial de evidências em diálogos de múltiplos turnos. Os candidatos implementam políticas de abstenção para decidir quando fazer perguntas de acompanhamento versus quando se comprometer com uma resposta final. O objetivo é melhorar a fronteira de precisão-custo (precisão da resposta vs. uso de tokens).
3. Classificação de Imagens Médicas: Otimização de estratégias baseadas apenas em prompts para Modelos de Linguagem-Visão (VLMs) fixos. Os candidatos são módulos Python que geram prompts para modelos MedGemma congelados para classificar radiografias de tórax pediátricas (PneumoniaMNIST), impondo validade estrita de saída em formato JSON.

Em todos os cenários, o processo de evolução seleciona candidatos de alto desempenho através de dimensões comportamentais (ex: precisão vs. recall, ou precisão vs. custo) em vez de otimizar para um único máximo global, preservando tipos de soluções diversas.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Demonstração de Eficácia: Os autores mostram que a evolução MAP-Elites guiada por LLM pode gerar e refinar estratégias de decisão médica que igualam ou superam as linhas de base (baselines) projetadas manualmente em três cenários de decisão distintos (triagem, consulta e classificação de imagem).
2. Avaliação Abrangente: O estudo fornece análises quantitativas e qualitativas dos ganhos, examinando a precisão, o comportamento relevante à segurança (ex: taxas de subtriagem), custos de interação, transferência entre modelos e generalização para dados não utilizados no treinamento (held-out).
3. Insight Mecanístico: Os autores demonstram que os ganhos de desempenho advêm de mecanismos interpretáveis ao nível de programa, e não de meras alterações superficiais de prompts. Estes incluem limites de triagem calibrados, aquisição de evidências direcionada, estratégias de comprometimento seletivo e regras de decisão visual orientadas à descoberta.

Principais Resultados

Triagem (Semigran & MIMIC-ESI)

• Benchmark Semigran: O melhor programa evoluído (SG-c1 de 1189) aumentou a precisão de 77,3% para 87,1% e o recall de emergência de 0,60 para 0,97, superando significativamente o melhor programa inicial e outras linhas de base de LLM publicadas (excluindo médicos humanos). Manteve um alto recall de autocuidado, evitando a solução degenerada de superprever emergências.
• Benchmark MIMIC-ESI: O melhor programa evoluído (MIMIC-023) alcançou 62,0% de precisão exata e 77,0% de precisão de intervalo (incluindo sobretriagem mais segura), superando as linhas de base projetadas à mão e competindo com sistemas assistidos por RAG. Reduziu a subtriagem grave de 3,6% para 1,2% em relação às bases fortes.
• Transferência: As estratégias evoluídas transferiram-se efetivamente para backbones de LLM não vistos (ex: variantes Qwen, GPT-oss) sem mudanças no código. No entanto, a especialização no conjunto Semigran levou a uma sobretriagem conservadora no conjunto independente Levine, destacando o compromisso entre especialização voltada para a segurança e robustez.

Consulta Interativa (iMEDQA & iCRAFTMD)

• As políticas evoluídas melhoraram a fronteira de precisão-custo em múltiplos modelos (Llama-3, Qwen-3.5, Gemma-4).
• No Llama-3-8B, a estratégia evoluída melhorou a precisão em +3,1% enquanto reduziu o uso de tokens em 89,6%.
• No Gemma-4-31B, alcançou uma redução massiva de 92,6% no uso de tokens com apenas uma queda marginal na precisão (75,6% vs. 76,4% da linha de base).
• Esses ganhos transferiram-se para o dataset iCRAFTMD (não utilizado no treino), confirmando que as estratégias melhoram a qualidade da decisão sem simplesmente aumentar a extensão da interação.

PneumoniaMNIST (Classificação de Imagem)

• A evolução baseada apenas em prompt melhorou modelos MedGemma congelados em todas as resoluções testadas (28x28 a 224x224).
• Para o MedGemma-27B em 224x224, o prompt evoluído alcançou 84,46% de precisão e 83,88% de macro-F1, superando a melhor semente inicial.
• Os ganhos foram mais pronunciados para modelos menores (MedGemma-4B) em resoluções mais baixas, onde os prompts evoluídos ajustaram efetivamente os limiares de decisão para entradas visuais ambíguas.

Significância e Alegações

O artigo afirma que a evolução guiada por LLM é uma ferramenta promissora, reproduzível para descobrir estratégias de decisão médica eficazes, interpretáveis e adaptáveis. Ao contrário do ajuste fino, esta abordagem opera em tempo de inferência, tornando-a prática para adaptar modelos congelados sob métricas explícitas e restrições de saída estruturada.

Os autores enfatizam que as melhorias derivam de mecanismos interpretáveis ao nível de programa:

• Triagem: Recalibragem de limites de decisão para priorizar a segurança (recall de emergência) sem sacrificar a especificidade.
• Consulta: Alocação de orçamento computacional para incerteza, utilizando seleção de perguntas baseada em utilidade e aplicando autoconsistência apenas em etapas de comprometimento forçado.
• Classificação de Imagem: Transformação de prompts fixos em políticas de decisão visual executáveis que verificam achados radiológicos específicos (ex: broncogramas aéreos, consolidação) em vez de depender de classificações genéricas.

Os autores mantêm uma postura modesta, observando que estes sistemas são protótipos de pesquisa e não substitutos para validação clínica prospectiva, calibração robusta ou governança de segurança. Eles reconhecem limitações, incluindo o risco de overfitting em benchmarks pequenos (Semigran), a natureza retrospectiva dos dados MIMIC-ESI e os custos de busca não desprezíveis incorridos durante a evolução em tempo de inferência. No entanto, argumentam que este método fornece uma alternativa viável para otimizar pipelines médicos onde a engenharia manual é inconsistente e o ajuste fino é inviável.