DrugAgent: Reliable Multi-Agent Integration of Conflicting Biomedical Evidence for Drug-Target Interaction Assessment

Resumo Técnico: DrugAgent

Definição do Problema
A avaliação da interação fármaco-alvo (DTI) é uma tarefa crítica na fase inicial da descoberta de fármacos que requer a síntese de fontes de dados heterogêneas: previsões quantitativas de modelos de aprendizado de máquina (ML), relações curadas de grafos de conhecimento (KG) e achados experimentais da literatura científica. Essas fontes são frequentemente complementares, mas imperfeitas. Modelos de ML podem carecer de calibração fora de sua distribuição de treinamento; KGs podem implicar conectividade sem ligação direta; e a evidência da literatura é distribuída de forma desigual e pode conter achados conflitantes ou específicos de ensaios. As abordagens atuais dependem tipicamente de modalidades únicas (ex: previsões numéricas de ML) ou carecem de mecanismos para reconciliar explicitamente concordância, conflito e incerteza entre essas diversas proveniências. Há uma necessidade de um sistema que possa integrar essas fontes em uma avaliação interpretável e fundamentada em evidências, em vez de funcionar apenas como um preditor isolado.

Metodologia
Os autores apresentam o DrugAgent, um sistema multiagente baseado em modelos de linguagem de grande escala (LLM) projetado para integrar evidências biomédicas heterogêneas para a avaliação de DTI. O sistema emprega um pipeline estruturado e modular consistindo em quatro componentes principais:

1. Agente Coordenador: Orquestra o fluxo de trabalho, invocando agentes especializados e aplicando um esquema JSON compartilhado para seus outputs, a fim de garantir um processamento descendente consistente.
2. Agentes de Evidência Especializados:
   • Agente de ML: Utiliza um modelo DeepPurpose pré-treinado (redes neurais de passagem de mensagem para fármacos, CNNs para proteínas) treinado no BindingDB para gerar previsões de afinidade quantitativa (ex: pKd), que são discretizadas em rótulos de atividade (Forte, Moderada, Fraca).
   • Agente de KG: Constrói um grafo de conhecimento heterogêneo integrando DrugBank, CTD e BindingDB. Realiza uma busca em largura de múltiplos saltos (profundidade máxima de 5) para encontrar caminhos mecanísticos. Os caminhos são pontuados com base no comprimento e uma penalidade ao passar por nós de alto grau ("hubs") para reduzir a conectividade não específica. O agente gera evidências estruturadas, incluindo descrições de caminhos e pontuações de confiança.
   • Agente de RAG (Geração Aumentada por Recuperação): Recupera artigos de texto completo do PubMed Central (Acesso Aberto) usando uma estratégia multicanal: consultas de pares fármaco-alvo, consultas apenas de fármaco e consultas apenas de alvo. As consultas são enriquecidas com terminologia específica de ensaios (ex: IC50, Kd, inibição). Os fragmentos recuperados são reclassificados com base no tipo de seção (favorecendo "Resultados") e menções conjuntas de entidades.
3. Agente de Raciocínio: Este módulo realiza a integração central em duas etapas:
   • Sumarização Estruturada: Converte os outputs dos agentes em uma representação compartilhada, resumindo explicitamente a concordância, o conflito e a incerteza entre as fontes.
   • Tomada de Decisão Guiada por Regras: Aplica uma lógica de prioridade (concordância majoritária primeiro, seguida de desempate) para gerar um rótulo final. Se as regras forem inconclusivas, um fallback de LLM restrito é utilizado. Este design separa a síntese de evidências da decisão final para garantir a interpretabilidade.

Principais Contribuições

• Estrutura de Integração Multiagente: O DrugAgent é o primeiro sistema a integrar conjuntamente previsões de ML, evidências de KG baseadas em caminhos e recuperação de literatura via RAG em um processo de raciocínio estruturado e unificado para DTI.
• Modelagem Explícita de Conflitos: O sistema modela e resume explicitamente a concordância e o conflito entre as fontes de evidência, em vez de tratá-las como um único fluxo de entrada.
• Interpretabilidade e Fidelidade: Ao converter os outputs dos agentes em representações estruturadas e utilizar a tomada de decisão guiada por regras, o DrugAgent fornece justificativas reproduzíveis que são fundamentadas na evidência específica fornecida, evitando a natureza de "caixa preta" do raciocínio de LLM não restrito.
• Avaliação da Disponibilidade de Evidências: O estudo analisa sistematicamente como a disponibilidade da literatura recuperada impacta a plausibilidade biológica e a coerência dos outputs do sistema.

Resultados
O sistema foi avaliado em dois benchmarks: um conjunto de dados de inibição de quinase (900 pares, 178 quinases, 42 inibidores) e um conjunto de dados de triagem de antagonista do receptor de andrógeno (AR) do Tox21 (500 pares).

• Fidelidade: Em avaliações de LLM-como-Juiz (LLMaJ), os outputs do DrugAgent foram fiéis à evidência de entrada em 98,8% dos casos de quinase, com pontuações altas para fundamentação e baixas taxas de afirmações não suportadas.
• Plausibilidade Biológica: 98,9% dos outputs do DrugAgent foram julgados como pelo menos plausíveis. O sistema mostrou alta estabilidade, com 98% de concordância de rótulos em execuções repetidas.
• Dinâmica de Evidência:
  • Resolução de Conflitos: Quando as fontes de evidência entravam em conflito, o DrugAgent tendia a atribuir rótulos intermediários (ex: "Moderada") em vez de extremos. Em casos de conflito total, 68% dos outputs receberam o rótulo "Moderada".
  • Impacto da Literatura: A presença de literatura direta sobre o par fármaco-alvo melhorou significativamente a plausibilidade biológica e as pontuações de coerência mecanística. Sistemas sem RAG (ex: ML+KG) às vezes produziram pontuações de plausibilidade mais altas, mas com uma taxa maior de outputs "contraditórios e não plausíveis", sugerindo que a literatura atua como uma restrição de fundamentação crucial.
  • Desempenho Estratificado: Embora a linha de base ML+KG tenha performado competitivamente no agregado, o DrugAgent (incorporando RAG) superou as linhas de base quando a evidência direta de literatura estava disponível. Uma estratégia híbrida (usando DrugAgent apenas quando existem artigos ao nível do par, caso contrário, ML+KG) alcançou os melhores resultados no conjunto de dados Tox21 (Acurácia: 0,67, F1: 0,67).
• Testes de Sanidade: As pontuações de plausibilidade não correlacionaram diretamente com os rótulos de atividade da verdade fundamental (ground-truth), indicando que a plausibilidade reflete a coerência do argumento dado a evidência, e não uma medida direta de acurácia preditiva.

Significância e Alegações
Os autores posicionam o DrugAgent não como um preditor de DTI autônomo destinado a superar modelos de ML especializados isoladamente, mas como uma ferramenta complementar de integração de evidências. A principal significância reside em sua capacidade de:

1. Fornecer avaliações fundamentadas em evidências heterogêneas que são interpretáveis e reproduzíveis.
2. Oferecer estratégias para modelar concordância, conflito e incerteza em dados biomédicos, abordando o desafio de reconciliar distintas modalidades e proveniências biológicas.
3. Demonstrar que a literatura recuperada é mais benéfica quando a evidência direta está disponível, destacando a importância da disponibilidade de evidências para a integração baseada em RAG.

O artigo conclui que, embora o sistema melhore a confiabilidade e a interpretabilidade, ele permanece guiado por regras e não estatisticamente calibrado, sendo necessário trabalho futuro para abordar custos computacionais, preocupações de vazamento de dados (data leakage) em componentes pré-treinados e generalização mais ampla para pares fármaco-alvo e classes de alvos não vistos.