Picking the Right Specialist: Attentive Neural Process-based Selection of Task-Specialized Models as Tools for Agentic Healthcare Systems

Resumo Técnico: Seleção de Especialistas para Sistemas de Saúde Agentes

1. O Problema

Os sistemas de saúde baseados em agentes (agentic systems) dependem de modelos especializados em tarefas (como diagnóstico de doenças, geração de laudos, localização visual e VQA) para responder a consultas clínicas. No entanto, um problema fundamental surge na prática: não existe um único "melhor" modelo para todas as situações.

• Variabilidade e Viés: Modelos treinados em diferentes conjuntos de dados, protocolos de aquisição ou populações de pacientes apresentam desempenho heterogêneo. Um modelo pode ser excelente em um tipo de doença ou imagem, mas falhar em outro devido a mudanças de domínio (domain shifts) ou espaços de rótulos incompatíveis.
• Gargalo de Seleção: Manter múltiplos modelos especializados como ferramentas é necessário, mas cria um gargalo crítico: como o agente pode selecionar confiavelmente o especialista correto para uma consulta específica entre um conjunto heterogêneo de candidatos?
• Limitação Atual: Abordagens ingênuas (usar um modelo fixo ou seleção aleatória) falham sob mudanças de domínio, enquanto métodos de roteamento existentes não são otimizados para a seleção condicional de ferramentas em cenários médicos complexos.

2. Metodologia: ToolSelect

Os autores propõem o ToolSelect, um framework de aprendizado baseado em Processos Neurais Atentos (Attentive Neural Processes - ANP) para a seleção adaptativa de modelos.

• Formulação do Problema:

  • O problema é definido como a minimização do risco populacional sobre painéis de candidatos de ferramentas.
  • Para cada tarefa $t$, existe um painel de ferramentas $S_t$ (modelos especializados).
  • O objetivo é aprender um seletor $r_\theta$ que, dado um prompt multimodal (imagem + texto) e o painel disponível, atribua probabilidades de seleção a cada ferramenta, maximizando a precisão da tarefa.
  • O sistema lida com suporte parcial: ferramentas podem não ser capazes de prever certos rótulos; o sistema mascara essas ferramentas para componentes não suportados.

• Arquitetura do ToolSelect:

  1. Resumos Comportamentais (Reference Sets): Cada modelo especialista é representado por um pequeno conjunto de referência (few-shot) que resume seu comportamento em tarefas específicas (ex: previsões alinhadas em exemplos de treinamento).
  2. Codificação e Atenção:
     • A consulta do usuário (imagem e texto) é codificada.
     • O seletor utiliza um mecanismo de atenção cruzada entre a consulta e os conjuntos de referência de cada ferramenta. Isso permite que o seletor identifique quais ferramentas se comportaram bem em exemplos semelhantes à consulta atual.
     • Um Processador Neural Atento (ANP) gera um descritor condicional à consulta para cada ferramenta.
  3. Cabeça de Seleção: Uma rede MLP leve pontua cada candidato com base na consulta, no descritor da ferramenta e em metadados opcionais.
  4. Função de Perda: Como a seleção direta é não diferenciável, o método utiliza uma perda substituta "comp-sum" (baseada em margens de custo) para treinar o seletor, minimizando o custo esperado da seleção incorreta.

• Restrições: Todos os modelos especialistas subjacentes permanecem congelados (frozen); apenas o seletor é treinado.

3. Contribuições Principais

1. Novo Paradigma de Pesquisa: É o primeiro trabalho a destacar explicitamente a necessidade de manter múltiplos modelos especialistas como candidatos e a desenvolver um módulo de seleção condicional à consulta para sistemas de saúde agentes.
2. ToolSelectBench (Benchmarks e Ambiente):
   • Criação de um ambiente de agente para raios-X torácicos com um "zoológico" de ferramentas diversificado:
     • 17 modelos de detecção de doenças.
     • 19 modelos de geração de laudos.
     • 6 modelos de visual grounding (localização).
     • 13 modelos de VQA (Resposta a Perguntas Visuais).
   • Um benchmark unificado com 1.448 consultas (triplas imagem-pergunta-resposta) cobrindo mudanças de domínio e discrepâncias de rótulos.
3. Contribuição Técnica: Formalização da seleção de ferramentas como um problema de minimização de risco populacional e aplicação de ANPs para adaptação condicional sem otimização no tempo de teste (test-time optimization).

4. Resultados Experimentais

Os resultados foram avaliados no ToolSelectBench contra 10 métodos State-of-the-Art (SOTA), incluindo roteadores baseados em LLM, KNN, SVM e grafos.

• Diagnóstico de Doenças:
  • Nenhum modelo único foi consistente em todos os conjuntos de dados (Open-I vs. VinDr).
  • O ToolSelect superou consistentemente os melhores modelos individuais e todos os baselines.
  • No conjunto VinDr, o ToolSelect alcançou 59,88% de F1, superando o melhor modelo único (24,81%) e reduzindo drasticamente a lacuna para o limite superior (Oracle, 66,22%).
• Geração de Laudos:
  • Modelos gerais (VLMs) muitas vezes falharam em fidelidade clínica.
  • O ToolSelect alcançou 24,17% de F1-RadGraph, superando o melhor gerador único (16,33%) e o melhor baseline (22,40%).
  • Análise qualitativa mostrou que o ToolSelect evita alucinações de gravidade em casos menores e destaca achados críticos corretamente.
• Grounding Visual e VQA:
  • A seleção baseada em consulta foi crucial, pois a melhor ferramenta variava dependendo da frase ou pergunta específica.
  • No VQA, o ToolSelect atingiu 72,01% de precisão, comparado a 63,22% do melhor modelo único e 46,49% da seleção aleatória.

5. Significado e Impacto

• Confiabilidade Clínica: O trabalho demonstra que a confiabilidade em pipelines clínicos multimodais não depende apenas da qualidade de um único modelo, mas da combinação inteligente e seleção dinâmica de múltiplos especialistas.
• Eficiência e Custo: Ao selecionar o modelo correto sob demanda, evita-se a execução de todos os modelos disponíveis, reduzindo custos computacionais e latência.
• Adaptabilidade: O uso de ANPs permite que o sistema se adapte a novas consultas sem precisar re-treinar os modelos pesados de base, apenas ajustando o seletor leve.
• Segurança: O sistema é projetado para apoiar, e não substituir, a expertise humana, fornecendo respostas mais precisas e auditáveis ao rotear consultas para os especialistas mais adequados.

Em suma, o artigo estabelece que a seleção condicional de ferramentas é um componente fundamental para a próxima geração de agentes de IA na saúde, superando as limitações de abordagens de "modelo único" em cenários de dados heterogêneos e complexos.