Resumo Técnico: MedCTA – Um Benchmark para Agentes de Ferramentas Clínicas

Declaração do Problema

A avaliação atual de IA médica concentra-se amplamente na percepção estática (ex: classificação de imagens) ou em respostas de turno único (VQA). Embora os agentes multimodais sejam cada vez mais capazes de planejar e utilizar ferramentas em domínios gerais, os benchmarks médicos existentes falham em avaliar a confiabilidade de fluxos de trabalho clínicos de múltiplos passos. Em ambientes clínicos, a tomada de decisão é inerentemente iterativa e multimodal, exigindo a integração de imagens radiológicas, lâminas de patologia, relatórios e conhecimento externo.

O artigo identifica uma lacuna crítica: as avaliações existentes frequentemente confundem a precisão da resposta final com a competência de agente. Um modelo pode produzir um diagnóstico final correto ao adivinhar ou basear-se em conhecimentos prévios (priors), enquanto falha em executar as etapas intermediárias necessárias (ex: seleção de ferramenta, fundamentação de evidências, adesão ao protocolo). Consequentemente, há uma falta de visibilidade sobre falhas de planejamento, erros de recrutamento de ferramentas e instabilidade de execução (rollout) em tarefas clínicas realistas e de passos implícitos.

Metodologia

1. Design do Benchmark: MedCTA

Os autores introduzem o MedCTA, um benchmark projetado para avaliar agentes de ferramentas médicas em tarefas validadas por clínicos e de passos implícitos. Diferente do VQA tradicional, as tarefas do MedCTA exigem que o agente planeje autonomamente uma sequência de chamadas de ferramentas para resolver uma consulta clínica sem que a ordem ou sequência das ferramentas seja explicitamente informada.

• Composição de Dados: O benchmark compreende 107 tarefas clínicas do mundo real fundamentadas em entradas multimodais (TC, RM, Raio-X, lâminas de histologia, relatórios, etc.).
• Biblioteca de Ferramentas: Os agentes interagem com uma biblioteca implantada de 5 ferramentas executáveis:
  1. OCR: Extrai texto de imagens/documentos.
  2. ImageDescription: Gera resumos visuais holísticos.
  3. RegionAttributeDescription: Extrai atributos detalhados de caixas delimitadoras específicas.
  4. GoogleSearch: Recupera conhecimento médico externo.
  5. Calculator: Realiza computação simbólica/numérica.
• Trajetórias de Referência: Cada tarefa é pareada com uma trajetória de referência verificada por um clínico ($\pi$), consistindo em uma sequência de chamadas de ferramentas, argumentos e observações. Isso permite uma avaliação detalhada de se as etapas intermediárias do agente são coerentes e fundamentadas em evidências.

2. Pipeline de Construção

A construção do conjunto de dados segue um pipeline semi-automatizado rigoroso com validação de humano no ciclo (human-in-the-loop):

• Construção de Consultas: Partindo de sementes de VQA médico existentes, Modelos de Linguagem Multimodais (LMMs) elaboram consultas agênticas. Os anotadores humanos então reescrevem estas em solicitações clínicas orientadas a objetivos e agnósticas quanto à ferramenta, removendo explicitamente dicas procedimentais (ex: "use OCR para encontrar...") para forçar o planejamento autônomo.
• Construção de Trajetórias: LMMs geram trajetórias iniciais de ferramentas, que são então refinadas por anotadores técnicos (garantindo executabilidade e minimalidade) e especialistas clínicos (verificando a solidez médica e o alinhamento do fluxo de trabalho).
• Validação: Um processo de verificação de camada dupla garante que as trajetórias sejam executáveis, mínimas e clinicamente plausíveis.

3. Métricas de Avaliação

O MedCTA emprega um framework de avaliação multidimensional (Tabela 3) para separar a competência do controlador da qualidade do raciocínio:

• Modo Passo a Passo: Mede a fidelidade da interação (Seguimento de Instruções, Seleção de Ferramenta, Validade de Argumento, Sumarização).
• Modo de Raciocínio Clínico: Avalia a Fidelidade Clínica (consistência lógica com as evidências), Integração de Contexto (uso de entradas multimodais) e Completude Semântica (cobertura dos achados necessários).
• Modo de Resultado: Mede a Precisão do Objetivo (Gacc), a correção da conclusão clínica final.

4. Configuração Experimental

Os autores testaram 18 modelos de linguagem de grande escala (incluindo famílias GPT-5, Claude, Gemini, Qwen, Llama e DeepSeek) em 107 tarefas, resultando em 1.926 execuções (rollouts) autônomas. As avaliações foram conduzidas usando o harness OpenCompass e o framework Lagent com prompting do tipo ReAct.

Principais Resultados

1. Baixo Desempenho em Ambientes Autônomos

Mesmo os modelos de fronteira enfrentam dificuldades significativas no ambiente agêntico autônomo. A melhor Precisão do Objetivo (Gacc) alcançada por qualquer modelo é de apenas 31,54% (GPT-5.4). Modelos de código aberto fortes (ex: Qwen3-8B) atingem 27,80%. Nenhum modelo alcançou sucesso de trajetória estrita não-zero (execução perfeita passo a passo).

2. O "Gap do Controlador"

Uma descoberta crítica é o grande hiato de desempenho entre a execução autônoma e o roteamento de ferramenta padrão-ouro (onde o agente recebe a ferramenta correta, mas ainda deve gerar os argumentos e a resposta final).

• Sob roteamento padrão-ouro, a precisão do GPT-5.4 saltou de 31,54% para 49,50%.
• O Claude-opus-4-6 melhorou de 31,32% para 66,40%.
• Isso indica que os modelos atuais possuem uma capacidade de raciocínio clínico latente substancial, mas falham em acessá-la de forma confiável devido a falhas do controlador (instabilidade de protocolo, interrupção prematura e recrutamento incorreto de ferramentas).

3. Modos de Falha

A análise dos diagnósticos de execução revela que as falhas ocorrem cedo no processo:

• Erros de Protocolo/API: 64,2% dos episódios encontram erros de protocolo ou manipulação de API.
• Subchamada (Under-calling): 9 de cada 10 execuções (99,2%) param prematuramente (subchamada) em relação à trajetória de referência.
• Causas Raiz: 58,3% das primeiras falhas ocorrem no tratamento de protocolo/API, e 41,6% na seleção de ferramentas. Os modelos frequentemente falham antes de reunir evidências suficientes, em vez de falhar durante a síntese das evidências corretas.
• Deriva de Evidência (Evidence Drift): A análise qualitativa mostra que os modelos frequentemente ignoram evidências visuais extraídas (ex: resultados de OCR) e revertem para priors médicos amplos ou alucinam achados.

4. Percepção vs. Agência

Quando a interação com ferramentas é removida (avaliação de VLM apenas com o backbone), o desempenho é significativamente maior (ex: GPT-5.4 atinge 60,74% de Gacc). Isso confirma que reconhecer conteúdo médico em um único turno é muito mais fácil do que planejar um fluxo de trabalho clínico de múltiplos passos.

Significância e Alegações

O artigo posiciona o MedCTA não meramente como um benchmark de leaderboard, mas como um instrumento de diagnóstico para auditar e melhorar agentes clinicamente fundamentados.

• Desacoplamento de Competência: O benchmark separa com sucesso a confiabilidade do controlador (seleção de ferramentas, adesão ao protocolo) do raciocínio clínico fundamentado (integração de evidências). Os resultados sugerem que as limitações atuais da IA médica são impulsionadas principalmente pela instabilidade do controlador, e não pela falta de conhecimento médico subjacente.
• Além do QA Estático: O MedCTA demonstra que uma forte percepção de backbone não se traduz em comportamento agêntico confiável em ambientes clínicos. A capacidade de planejar, selecionar ferramentas e manter a consistência de evidências ao longo de vários passos continua sendo um desafio não resolvido.
• Valor Diagnóstico: Ao identificar modos de falha específicos (ex: parada prematura, deriva semântica, quebra de protocolo), o MedCTA fornece um roteiro para pesquisas futuras, enfatizando a necessidade de designs de controladores mais robustos e mecanismos de raciocínio mais obedientes às evidências.

Os autores concluem que, embora existam modelos fortes, o uso de ferramentas clínicas confiável permanece insolúvel, e o MedCTA fornece o ambiente de teste necessário para impulsionar o progresso em direção a agentes de IA médica prontos para implantação e dignos de confiança.