Resumo Técnico: ABRA – Benchmark de Agente para Aplicações de Radiologia

Declaração do Problema

Os benchmarks existentes para agentes médicos tipicamente entregam dados de imagem como amostras pré-selecionadas e estáticas (por exemplo, uma única imagem ou um registro de paciente concatenado). Essa abordagem falha em capturar a realidade dos fluxos de trabalho de radiologia, onde o agente deve navegar em um ambiente complexo e interativo para localizar, inspecionar e anotar achados específicos. Os benchmarks atuais de agentes médicos frequentemente tratam a imagem como uma entrada fixa, em vez de um ambiente consultável, desvinculando assim a orquestração de ferramentas da percepção visual. Além disso, benchmarks anteriores específicos de radiologia, como o RadABench, utilizam simuladores simbólicos onde as entradas de imagem são substituídas por tokens de preenchimento para limitar as capacidades de planejamento, excluindo explicitamente a percepção visual do escopo de avaliação.

Há uma necessidade crítica de um benchmark que posicione um agente dentro de uma estação de trabalho de radiologia em tempo real, exigindo que ele realize navegação baseada em ferramentas, ajuste de janelas e anotação em dados DICOM reais, enquanto mede simultaneamente sua capacidade de orquestrar essas ferramentas e perceber informações visuais.

Metodologia

O Ambiente ABRA

O ABRA constrói uma pilha de estação de trabalho de radiologia executável composta por:

1. OHIF Viewer: Um visualizador de radiologia de código aberto (v3.9.0) estendido com uma interface personalizada para expor o estado interno.
2. Orthanc PACS: Um servidor DICOM atuando como o Sistema de Arquivamento e Comunicação de Imagens, hospedando os dados de imagem.
3. Controller Bridge: Um driver de navegador headless (Puppeteer) e um sidecar de pré-processamento em Python que gerenciam a interação entre o agente e o visualizador.

O ambiente é exposto aos agentes por meio de uma interface de chamada de função uniforme composta por 21 ferramentas. Essas ferramentas são divididas em:

• Categorias de Observação: Consultas de metadados (tags DICOM), capturas de tela do visualizador, recuperação de pixels DICOM (via seis pipelines de pré-processamento distintos para diferentes modalidades) e previsões de oráculo (modelos de CAD externos simulados).
• Classes de Ação: Navegação/exibição (rolagem de fatias, ajuste de janela/nível, zoom, troca de séries), segmentação (colocação de círculos, caixas delimitadoras e polígonos em coordenadas de pixels) e relatórios (relatórios estruturados BI-RADS, achados longitudinais ou respostas em texto livre).

Geração de Tarefas e Estrutura do Benchmark

O benchmark contém 655 tarefas geradas programaticamente derivadas de três conjuntos de dados públicos do TCIA:

• LIDC-IDRI: TC torácico com nódulos de consenso de múltiplos radiologistas.
• Duke Breast Cancer MRI: Ressonância magnética mamária multi-sequência com rótulos BI-RADS.
• NLST New-Lesion LongCT: Pares de TC de baseline e acompanhamento com anotações de novas lesões.

As tarefas são estratificadas em três níveis de dificuldade (Fácil, Médio, Difícil) e oito tipos de tarefa:

• Fácil: Controle do visualizador, QA de metadados e sondas de visão (reconhecimento de modalidade).
• Médio: Anotação (perceber patologia e contornar) e Anotação de Oráculo (agir sobre achados de detectores simulados).
• Difícil: Comparação longitudinal (detectar novas lesões ao longo do tempo) e relatórios BI-RADS (relatórios estruturados em estudos completos de RM).

Uma característica chave de design é a variante pareada oráculo/real para tarefas pesadas em percepção. Na variante "Oráculo", o agente recebe achados estruturados de um detector simulado e deve apenas orquestrar ferramentas para relatá-los. Na variante "Real", o agente deve acessar ferramentas em nível de pixel para perceber os achados por si mesmo. Esse design isola a percepção visual da orquestração de ferramentas.

Framework de Avaliação

Adotando o framework proposto por Bluethgen et al. [2025], o ABRA pontua episódios ao longo de três dimensões usando classificadores automáticos:

1. Planejamento (peso 20%): Compara a trajetória de chamadas de ferramentas do agente contra uma trajetória de referência programática (correspondência de multiconjunto não ordenada) para avaliar a eficiência do fluxo de trabalho.
2. Execução (peso 30%): Avalia o sucesso das chamadas de ferramentas, qualidade dos parâmetros, eficiência de turnos e recuperação de erros.
3. Resultado (peso 50%): Mede o sucesso da tarefa com base no produto final entregue (por exemplo, Interseção sobre União para segmentação, correspondência exata para metadados ou concordância de campos para relatórios BI-RADS).

A pontuação composta é calculada como $S = 0,20P + 0,30E + 0,50O$.

Principais Resultados

Os autores avaliaram dez modelos atuais (cinco de pesos fechados e cinco de pesos abertos) no ABRA:

• Orquestração de Ferramentas vs. Percepção: Os modelos demonstraram alta competência na orquestração de ferramentas. As pontuações de execução foram consistentemente próximas do teto (aproximadamente 0,90–1,00) em todos os níveis e modelos, indicando que os agentes conseguem navegar com sucesso no visualizador, consultar metadados e invocar ações de submissão.
• O Gargalo da Percepção: Uma lacuna significativa de desempenho foi observada entre as variantes Oráculo e Real.
  • Nas tarefas de Anotação de Oráculo e BI-RADS de Oráculo (onde a percepção é contornada), os modelos alcançaram pontuações de Resultado variando de 0,69 a 1,00.
  • Nas tarefas de Anotação Real (exigindo percepção visual de pixels DICOM), as pontuações de Resultado colapsaram para 0,00–0,25 em todo o elenco.
  • Da mesma forma, em tarefas do nível Difícil, a detecção longitudinal de novas lesões (exigindo localização visual) resultou em pontuações próximas de zero, enquanto os relatórios BI-RADS (que permitem algum palpite baseado em conhecimento prévio) alcançaram pontuações moderadas (0,06–0,64).
• Desempenho do Modelo: Nenhum modelo único alcançou alto desempenho nas variantes Reais. Embora alguns modelos (por exemplo, Gemini 3 Flash) tenham mostrado desempenho ligeiramente melhor em tarefas específicas de detecção de nódulos, a tendência geral indica que os modelos de fronteira atuais são "competentes em ferramentas, mas limitados em percepção" ao operar em dados DICOM reais.

Significado e Alegações

O artigo posiciona o ABRA não como um veredito sobre a prontidão clínica dos agentes de IA atuais, mas como um substrato de medição para a lacuna específica entre orquestração de ferramentas e percepção visual em radiologia.

• Primeiro Benchmark de Visualizador em Tempo Real: O ABRA é alegado como o primeiro benchmark de agente médico a posicionar o agente dentro de um visualizador clínico em tempo real (OHIF), em vez de um conjunto de dados estático ou simulador simbólico.
• Isolando o Gargalo: Ao comparar as variantes Oráculo e Real, os autores demonstram que a principal restrição nos agentes atuais é a percepção visual, e não a capacidade de planejar ou executar chamadas de ferramentas.
• Implicações Operacionais: Os resultados sugerem que o ponto de operação de curto prazo para assistentes clínicos envolve um modelo de percepção especializado fornecendo achados, enquanto um Modelo de Linguagem de Grande Escala (LLM) orquestra o fluxo de trabalho ao redor desses achados.
• Limitações: Os autores reconhecem que as trajetórias de referência são programáticas e não validadas por radiologistas, o escopo do conjunto de dados é limitado a três coortes do TCIA (excluindo mamografia, ultrassom, etc.) e as tarefas são proxies tratáveis em vez de reproduções completas de fluxos de trabalho clínicos complexos envolvendo integração de prontuário eletrônico ou colaboração multiagente.

Em resumo, o ABRA fornece um ambiente rigoroso e interativo para avaliar agentes de radiologia, revelando que, embora os agentes possam gerenciar efetivamente a interface da estação de trabalho de radiologia, eles atualmente carecem da percepção visual robusta necessária para interpretar dados de imagem médica bruta de forma autônoma.