GAZE: Grounded Agentic Zero-shot Evaluation with Viewer-Level Tools and Literature Retrieval on Rare Brain MRI

1. Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) atuais operam tipicamente de maneira em passada única (uma imagem de entrada, uma resposta de texto de saída). Isso contrasta fortemente com o fluxo de trabalho clínico dos radiologistas, que realizam exames iterativos (zoom, ajuste de contraste, comparação de lados) e consultam a literatura médica antes de se comprometerem com um diagnóstico.

Essa lacuna é particularmente crítica para condições neurológicas raras (por exemplo, no benchmark NOVA), onde a incerteza diagnóstica é alta e os erros têm consequências clínicas graves. Sistemas agênticos existentes para radiologia frequentemente dependem de ferramentas de IA específicas de modalidade (como modelos de segmentação) em vez dos controles simples de visualização que os radiologistas usam diariamente, e raramente integram a recuperação de literatura de uma forma que permita a avaliação conjunta de diagnóstico, localização de lesão e legendagem.

2. Metodologia: O Framework GAZE

Os autores introduzem o GAZE, um framework agêntico projetado para preencher a lacuna entre VLMs de passada única e o raciocínio clínico iterativo.

Arquitetura Central

• Loop Agêntico: O VLM decide, turno a turno, se deve chamar uma ferramenta, qual ferramenta chamar, ou parar e gerar um relatório final.
• Design Desacoplado: Definições de tarefas (prompts, esquemas, validadores) são separadas da maquinaria do agente (registro de ferramentas, registro de logs, recuperação de erros), tornando o framework reutilizável em diferentes tarefas de VLM médico.
• Saídas Estruturadas: Cada resposta do modelo é validada contra um esquema JSON estrito. Se a saída estiver malformada, o framework injeta uma mensagem de "impulso" para corrigi-la, garantindo auditabilidade e robustez.

Conjunto de Ferramentas

O GAZE expõe duas categorias de ferramentas por meio de uma interface unificada de chamada de função:

1. Ferramentas Visuais de Nível de Visualizador (7 ferramentas): Estas imitam ações padrão de estações de trabalho de radiologia sem exigir novos modelos treinados:
   • Zoom/Corte: Ampliar ou extrair regiões de interesse.
   • Janela/Nível e Contraste: Ajustar faixas de intensidade para realçar o contraste dos tecidos.
   • Detecção de Bordas e Diferença de Simetria: Destacar limites e assimetrias.
   • Rotação/Inversão/Redefinir: Reorientar ou restaurar a visualização da imagem.
   • Nota: O framework rastreia alterações no sistema de coordenadas para garantir que a pontuação de caixas delimitadoras permaneça precisa.
2. Ferramentas de Recuperação (2 ferramentas): Sustentadas pela Biblioteca Nacional de Medicina dos EUA (NLM):
   • search_web: Consulta o PubMed por diretrizes, revisões e relatórios de casos (priorizados por tipo de evidência).
   • search_images: Consulta o Open-i para recuperar imagens radiológicas e legendas para comparação visual.

Protocolo de Avaliação

O framework é avaliado no benchmark NOVA (906 casos de ressonância magnética cerebral, 281 condições raras).

• Protocolo Conjunto: Diferentemente de baselines anteriores que avaliam tarefas independentemente (frequentemente usando legendas de verdade fundamental como entradas de "oráculo"), o GAZE avalia legendagem, diagnóstico e localização simultaneamente apenas a partir da imagem.
• Métricas:
  • Localização: Precisão Média (mAP) em limiares de IoU (0,3, 0,5 e 0,5–0,95).
  • Legendagem: METEOR e F1 Clínico.
  • Diagnóstico: Precisão Top-1 e Top-5 (usando GPT-4o como juiz semântico).

3. Contribuições Principais

1. Framework Agêntico Reutilizável: O GAZE unifica ferramentas visuais de nível de visualizador, recuperação apoiada pela NLM, saídas multi-turno validadas por esquema e rastros de chamada de ferramenta auditáveis em um único registro.
2. Avaliação Conjunta Multi-tarefa: Introduz um protocolo rigoroso de pontuação de legendagem, diagnóstico e localização conjuntamente, revelando que o design do framework (prompting, restrições de esquema) é em si uma variável experimental significativa.
3. Descoberta de Compensações Dependentes do Modelo: Identifica um modo de falha crítico onde a recuperação melhora o diagnóstico, mas degrada a localização em modelos mais fracos, argumentando contra a avaliação de tarefa única para IA médica aumentada por recuperação.

4. Resultados Principais

Os experimentos foram conduzidos nas variantes Gemini 2.0 Flash, Gemini 3 Flash e Qwen3.5 (modelos MoE).

• Impacto do Framework (Zero-Shot): Mesmo sem ferramentas, o framework GAZE (prompting estruturado + validação de esquema) melhorou a baseline publicada do Gemini 2.0 Flash no NOVA de 20,2 para 29,4 mAP@0,3 para localização. Isso prova que um melhor suporte por si só gera ganhos significativos.
• Eficácia das Ferramentas:
  • Gemini 3 Flash alcançou o melhor desempenho geral: 58,2 mAP@0,3 e 34,9% de precisão diagnóstica Top-1.
  • Qwen3.5-397B-A17B quase igualou o Gemini 3 Flash (57,6 mAP@0,3).
  • Ganhos em Doenças Raras: O uso de ferramentas ajudou desproporcionalmente patologias raras. Para condições com ≤3 exemplos, a fração de casos com IoU > 0,3 subiu de 17% para 58% (um ganho relativo de 241%), comparado a um ganho de 172% para condições comuns.
• A Compensação da Recuperação (Descoberta Crítica):
  • Modelos Fortes (Gemini 3 Flash): Integraram com sucesso a recuperação textual com evidências visuais, mostrando ganhos modestos tanto no diagnóstico quanto na localização.
  • Modelos Mais Fracos (Qwen3.5-122B-A10B): Exibiram uma compensação negativa. Adicionar a pesquisa melhorou o diagnóstico (Top-1: 20,4% → 23,3%), mas degradou severamente a localização (mAP@0,3: 39,1 → 20,9, uma queda de ~47%).
  • Mecanismo: Modelos mais fracos pareceram deslocar as caixas delimitadoras em direção a padrões espaciais descritos no texto recuperado (por exemplo, resumos descrevendo padrões subcorticais) em vez da lesão real visível na imagem, efetivamente "alucinando" a localização com base no texto.

5. Significado e Implicações

• Realismo Clínico: O GAZE demonstra que fluxos de trabalho agênticos (uso iterativo de ferramentas) são essenciais para lidar com doenças raras onde a inferência de passada única falha.
• Necessidade de Avaliação: O artigo argumenta que a avaliação conjunta é obrigatória. Avaliar sistemas de recuperação apenas na precisão diagnóstica pode mascarar falhas catastróficas no alinhamento espacial (localização), o que é vital para a utilidade clínica.
• Auditabilidade: O registro de rastros e a validação de esquema do framework alinham-se aos requisitos regulatórios (por exemplo, Lei de IA da UE) para IA médica, fornecendo um rastro de auditoria claro de como um diagnóstico foi alcançado.
• Direção Futura: Os resultados sugerem que futuros VLMs médicos devem ser capazes de resolver conflitos entre evidências textuais e dados visuais, e que a avaliação de benchmarks deve levar em conta a qualidade do "engajamento" do modelo com as ferramentas, e não apenas a frequência das chamadas de ferramentas.

Em conclusão, o GAZE estabelece que combinar ferramentas de nível de visualizador com recuperação de literatura em um loop estruturado e agêntico supera significativamente a inferência de passada única para análise de ressonância magnética cerebral rara, desde que o modelo seja capaz de integrar essas modalidades sem sacrificar a precisão espacial.