Resumo Técnico: Automação da Busca por Evidências Multimodais para Raciocínio Clínico Agêntico

1. Declaração do Problema

Os sistemas atuais de suporte à decisão clínica baseados em Modelos de Linguagem de Grande Escala (LLMs) e frameworks agênticos dependem amplamente de um paradigma de "evidência curada". Em benchmarks e fluxos de trabalho existentes, dados relevantes do paciente (por exemplo, tabelas específicas de Prontuário Eletrônico do Paciente (EHR), relatórios de radiologia selecionados ou resumos de casos) são pré-selecionados e entregues ao modelo antes da inferência. Isso desvia da prática clínica real, onde os clínicos devem ativamente buscar, planejar e sintetizar evidências de fontes heterogêneas, incluindo Prontuários Eletrônicos do Paciente (EHRs) brutos, imagens médicas e conhecimento médico externo.

O desafio central não é apenas raciocinar sobre evidências dadas, mas determinar onde recuperar evidências, o que recuperar e como integrar esses sinais dispersos em uma decisão fundamentada. Sistemas agênticos de EHR existentes frequentemente carecem do escopo para lidar com dados multimodais (texto + imagens) ou dependem de padrões de uso de ferramentas fixos que não se adaptam às necessidades específicas de uma consulta clínica.

2. Metodologia: ClinSeekAgent

Os autores introduzem o ClinSeekAgent, um framework agêntico automatizado projetado para deslocar o raciocínio clínico do consumo passivo de evidências para a aquisição ativa de evidências.

2.1 Arquitetura do Framework

O ClinSeekAgent opera como um pipeline dinâmico onde o agente interage com um espaço de ferramentas unificado para coletar evidências iterativamente. Dada uma consulta clínica ($q$), um identificador de paciente ($p$) e um timestamp de referência ($t$), o agente:

1. Acessa Fontes Heterogêneas: Consulta bancos de dados de EHR brutos, repositórios de imagens médicas e bases de conhecimento externas.
2. Planejamento Iterativo: O agente observa a tarefa e o histórico de interações anteriores ($h_{k-1}$) para decidir a próxima ação ($a_k$), que pode ser uma invocação de ferramenta ou uma previsão final.
3. Síntese: Integra as evidências recuperadas para refinar hipóteses e gerar uma decisão clínica fundamentada.

2.2 Espaço de Ferramentas

O framework expõe 20 ferramentas em três domínios complementares:

• Recuperação de EHR (11 ferramentas): Inclui inspeção de esquema, recuperação temporal, consultas baseadas em SQL (ehr.run_sql_query) e ancoragem de termos candidatos. Essas permitem que o agente trate o EHR como um banco de dados programável, em vez de um bloco de texto estático.
• Busca na Web (3 ferramentas): Ferramentas de navegador para adquirir conhecimento médico externo (por exemplo, indicações de medicamentos, taxonomias).
• Imagens Médicas (6 ferramentas): Ferramentas para pré-processamento DICOM, classificação de radiografias de tórax (CXR), geração de relatórios, ancoragem de frases e segmentação anatômica.

2.3 Benchmarks de Avaliação

Para validar o framework, os autores construíram o ClinSeek-Bench, que emparelha benchmarks existentes em dois cenários para a mesma tarefa:

• Entrada Curada: O modelo recebe evidências pré-selecionadas e relevantes para a tarefa (imitando trabalhos anteriores).
• Busca Automatizada de Evidências: O modelo recebe apenas o ID do paciente e acesso ao espaço de ferramentas do ClinSeekAgent, exigindo que recupere as evidências necessárias autonomamente.

O benchmark abrange:

• Tarefas de EHR apenas texto: Derivadas do EHR-Bench (45 subtarefas sobre tomada de decisão e previsão de risco).
• Tarefas Multimodais: Adaptadas do EHRXQA e MedMod (6 grupos de tarefas envolvendo integração de CXR e EHR).

2.4 Pipeline de Treinamento

Além da avaliação no momento da inferência, os autores utilizam o ClinSeekAgent como um pipeline de treinamento. Eles usam um modelo professor robusto (Claude Opus 4.6) para gerar trajetórias de alta qualidade de busca por evidências (chamadas de ferramentas e observações). Essas trajetórias são usadas para ajustar finamente um modelo de código aberto (Qwen3.5-35B-A3B) via Ajuste Fino Supervisionado (SFT), resultando no ClinSeek-35B-A3B.

3. Resultados Principais

3.1 Desempenho no Momento da Inferência

Quando acoplado a modelos agênticos capazes, o ClinSeekAgent supera significativamente a linha de base de Entrada Curada, particularmente em tarefas que exigem evidências esparsas ou longitudinais.

• EHR Apenas Texto: O Claude Opus 4.6 melhorou de 60,0 para 63,2 no F1 geral. O MiniMax M2.5 melhorou de 43,1 para 47,3.
• Previsão de Risco: Os ganhos foram mais pronunciados na previsão de risco (7 de 9 modelos mostraram ganhos positivos). Por exemplo, o Claude Opus 4.6 teve um ganho de +9,7 pontos em tarefas de previsão de risco.
• Tarefas Multimodais: O framework mostrou melhorias substanciais em todos os modelos avaliados. O Claude Opus 4.6 melhorou de 47,5 para 62,6 (+15,1 pontos). Todos os seis modelos avaliados melhoraram em tarefas relacionadas a CXR, com ganhos atribuídos à capacidade do agente de combinar evidências visuais (classificadores/relatórios de CXR) com dados estruturados de EHR e conhecimento externo.

3.2 Desempenho no Momento do Treinamento

O modelo destilado, ClinSeek-35B-A3B, alcançou desempenho state-of-the-art entre modelos de código aberto no AgentEHR-Bench.

• Melhorou o modelo base Qwen3.5-35B-A3B de 22,1 para 34,0 no F1 médio (+11,9 pontos).
• Superou outras linhas de base de código aberto (por exemplo, Kimi K2.5, MiniMax-M2.5) e aproximou-se do desempenho do modelo professor, Claude Opus 4.6 (34,0 vs. 36,0).
• A análise do uso de ferramentas revelou que o modelo destilado aprendeu uma política de recuperação mais diversificada e flexível, aumentando especificamente o uso de consultas SQL (ehr.run_sql_query) de 2,0% para 12,5% das chamadas de ferramentas, tratando o EHR como um banco de dados em vez de depender de modelos fixos.

3.3 Limitações Observadas

O artigo observa que o framework é menos eficaz em tarefas de tomada de decisão em comparação com a previsão de risco. Em algumas subtarefas de tomada de decisão, o agente teve dificuldade em identificar sinais críticos entre o ruído recuperado, às vezes performando pior que a linha de base de Entrada Curada. Isso sugere que, embora a recuperação ativa se destaque em encontrar evidências esparsas para risco, ela pode ocasionalmente recuperar informações irrelevantes excessivas para cenários complexos de tomada de decisão.

4. Significado e Alegações

O artigo alega que o ClinSeekAgent representa uma mudança de paradigma do consumo passivo de evidências para a aquisição ativa de evidências. Seu significado reside em três áreas:

1. Realismo: Alinha a avaliação de IA com fluxos de trabalho clínicos reais onde as evidências não são pré-empacotadas, mas devem ser ativamente buscadas em fontes brutas e heterogêneas.
2. Integração Multimodal: Demonstra que sistemas agênticos podem efetivamente preencher a lacuna entre dados estruturados de EHR, imagens médicas não estruturadas e conhecimento externo, recuperando sinais clínicos que contextos fixos perdem.
3. Escalabilidade: Valida que trajetórias agênticas de alta qualidade podem ser destiladas em modelos compactos de código aberto, permitindo que modelos menores realizem buscas complexas e de longo horizonte por evidências clínicas sem exigir modelos proprietários de escala massiva no momento da inferência.

Os autores concluem que automatizar o processo de busca por evidências é uma direção promissora para construir agentes de IA clínica mais flexíveis, fundamentados e capazes, e comprometem-se a liberar seu modelo, dados e código para facilitar pesquisas futuras.