Resumo Técnico: TxBench-PP

Declaração do Problema

Agentes de inteligência artificial (IA) prometem acelerar a descoberta de fármacos ao comprimir os ciclos de interpretação e tomada de decisão. No entanto, a implementação prática desses agentes em fluxos de trabalho industriais é dificultada pela falta de métodos de avaliação padronizados e confiáveis. Os benchmarks atuais de agentes biológicos enfatizam tarefas de análise verificáveis, mas têm dificuldade em capturar a complexidade do ecossistema de descoberta de fármacos, que abrange diversas categorias de ensaios, estágios de desenvolvimento e modalidades terapêuticas.

Especificamente, a farmacologia de pequenas moléculas na fase pré-clínica envolve decisões críticas relativas à potência, engajamento de alvo, mecanismo de ação (MoA), farmacodinâmica (PD), segurança e eficácia in vivo. Essas decisões determinam se um candidato molecular deve ser avançado, retido, repetido ou descartado. Tais decisões são frequentemente anteriores a experimentos dispendiosos e dependem de julgamentos de especialistas fragmentados. Um desafio significativo é distinguir se um agente consegue derivar conclusões precisas a partir de dados do mundo real fornecidos versus depender de fatos memorizados da literatura ou mecanismos bem compreendidos. Os sistemas atuais carecem de verificação confiável sobre decisões de programas realistas derivadas de dados brutos de ensaios.

Metodologia

Os autores introduzem o TxBench-PP (TherapeuticsBench Preclinical Pharmacology), um benchmark verificável projetado para avaliar agentes de IA em farmacologia pré-clínica de pequenas moléculas. Ele serve como uma fatia focada do roteiro mais amplo do TherapeuticsBench.

Construção do Benchmark

• Escopo: O benchmark consiste em 100 avaliações indexadas por estágio do programa, tipo de ensaio e estrutura de tarefa. Cobre oito estágios do programa: contexto de doença/modelo, triagem/confirmação de hits, resposta a drogas/farmacogenômica, validação de alvo causal, MoA/PD, caracterização composto-alvo, desenvolvibilidade/segurança/PK e eficácia translacional. (O suporte a alvos genéticos humanos é reservado para trabalhos futuros).
• Dados e Contexto: Cada avaliação fornece artefatos de fluxo de trabalho realistas (ex: triagens de dose-resposta, proteômica, imagem, dados de DMPK) de um ponto de decisão local específico. Os agentes operam em um ambiente de codificação para inspecionar arquivos.
• Design de Tarefas: As tarefas são intencionalmente desenhadas para penalizar soluções memorizadas. A resposta pretendida deve ser suportada estritamente pelos artefatos de dados fornecidos, não pelo conhecimento externo. Muitas tarefas incluem "lacunas de bloqueio de decisão" (ex: incompatibilidade de espécie de toxicidade, cobertura insuficiente de droga livre) que são ocultadas do agente, mas usadas para análise de falha post-hoc.
• Graduação: As respostas são estruturadas e graduadas deterministicamente. Os avaliadores checam conjuntos de rótulos, tolerâncias numéricas, relações de ordem de classificação e escolhas categóricas. Uma trajetória passa apenas se a resposta estruturada final satisfizer todos os critérios específicos da tarefa.

Configuração Experimental

• Modelos e Harnesses: O estudo avaliou 16 configurações de modelo–harness, compreendendo 11 modelos distintos (incluindo Claude Opus 4.6–4.8, GPT-5.4–5.5, Gemini 3.1 Pro–3.5 Flash, Kimi K2P6, Grok 4.20–4.3 e Sonnet 4.6) através de três harnesses de agentes: Pi, Claude Code e OpenAI Codex.
• Execução: Cada configuração foi executada em todas as 100 tarefas com três tentativas independentes, gerando 4.800 trajetórias de agentes.
• Análise: Os autores realizaram revisões manuais de trajetórias em 1.834 trajetórias falhas para categorizar erros em lacunas de julgamento científico (método, calibração, percepção) e questões comportamentais (overfitting, subinvestimento).

Principais Resultados

Desempenho Geral

Nen nenhum sistema recuperou decisões de farmacologia pré-clínica de forma confiável. Mesmo a configuração mais forte, Claude Opus 4.8 / Pi, alcançou uma taxa de aprovação final de 59,3% (178/300; IC 95%, 51,1–67,6). A segunda melhor, GPT-5.5 / Pi, passou em 55,3% (166/300).

• Confiabilidade: A configuração superior falhou em 122 de 300 tentativas e passou em apenas 41 de 100 tarefas em todas as três réplicas.
• Intervalos de Confiança: Os intervalos de confiança dos principais modelos se sobrepõem, indicando um "grupo de liderança" em vez de um único vencedor claro.

Análise de Erros

A revisão manual das falhas revelou que a maioria dos erros eram lacunas legítimas de julgamento científico, e não simples falhas de recuperação de dados:

• Erros Científicos (71% das falhas atribuíveis): Dominados por erros de método (pulou QC, escolhas estatísticas incorretas, camadas de dados erradas) e erros de calibração (cortes inapropriados).
• Padrões Comportamentais: 67% das falhas envolveram agentes que interagiram com os dados e realizaram análises plausíveis, mas chegaram a conclusões incorretas. Apenas 12% abandonaram respostas corretas, e 9% dependeram de literatura memorizada.
• Contagem de Passos: O aumento de esforço (contagem de passos) não correlacionou de forma confiável com a precisão. Por exemplo, o Gemini 3.5 Flash deu o maior número de passos (55,0), mas alcançou uma taxa de aprovação menor (51%) do que modelos com menos passos.

Desempenho por Tarefa e Estágio

• Estágios do Programa: As taxas de aprovação variaram significativamente por estágio, indo de 27% em priorização de hit/triagem até 55% em resposta a drogas.
• Tipos de Tarefa:
  • Alto Desempenho: Tarefas de exposição/PK e descoberta de biomarcadores tiveram médias de taxa de aprovação de ~57%. Estas frequentemente exigiam valores computados ou chamadas binárias.
  • Baixo Desempenho: Tarefas de priorização de hit e quimiometria tiveram médias de ~24%. Estas exigiam selecionar um subconjunto defensável de muitos candidatos plausíveis. Nenhum modelo excedeu 45% nessas tarefas.
• Decisões de Programa: Em decisões complexas de "avançar/reter" que exigem síntese de múltiplos endpoints, os modelos passaram em apenas 35% das tentativas. Notavelmente, as pontuações gerais do benchmark não predisseram o desempenho nessas decisões de programa específicas (Spearman $\rho$ = 0,08).

Impacto do Harness

A escolha do harness do agente influenciou significativamente o desempenho. Dentro da mesma família de modelos, o harness Pi superou consistentemente o Claude Code e o OpenAI Codex (ex: +4,4 a +5,5 pontos percentuais). Isso sugere que as pontuações relatadas são propriedades da configuração modelo–harness, não do modelo isoladamente.

Significância e Alegações

O artigo afirma que o TxBench-PP fornece uma "régua de medição" necessária para avaliar sistemas de agentes em decisões locais de farmacologia pré-clínica.

• Estado Atual: Embora os agentes consigam completar algumas tarefas corretamente, eles ainda não são confiáveis como assistentes científicos para farmacologia pré-clínica. Eles frequentemente falham em distinguir artefatos técnicos de sinais biológicos e têm dificuldade com a tomada de decisão calibrada em cenários complexos de múltiplas evidências.
• Limitação de Escopo: Os autores declaram explicitamente que o TxBench-PP é um benchmark focado em farmacologia pré-clínica de pequenas moléculas. Ele não deve ser usado para fazer afirmações gerais sobre outras áreas, como suporte a alvos genéticos humanos, seleção completa de modelos de doença, tradução clínica ou outras modalidades não relacionadas a pequenas moléculas (ex: biológicos, oligonucleotídeos).
• Direção Futura: O trabalho estabelece uma base para o roteiro mais amplo do TherapeuticsBench, com esforços futuros planejados para estender-se a tarefas clínicas, verticalmente para farmacogenômica e através de modalidades para anticorpos, terapias celulares e terapias gênicas.

Em resumo, o artigo conclui que um trabalho substancial ainda é necessário antes que os agentes de IA possam ser integrados de forma confiável e reprodutível em fluxos de trabalho de biologia pré-clínica, visto que os sistemas atuais exibem lacunas significativas em julgamento científico e robustez na tomada de decisão.