Resumo Técnico: TadA-Bench

Definição do Problema

O campo da IA para descoberta científica está transitando para fluxos de trabalho "agênticos", onde os modelos participam ativamente de tomadas de decisão iterativas em vez de apenas se ajustarem passivamente a conjuntos de dados estáticos. Na engenharia de proteínas, isso implica sistemas que possam ler históricos de bancada (wet-lab), analisar dados e priorizar candidatos para experimentos futuros. No entanto, os benchmarks existentes frequentemente falham ao avaliar a capacidade de um modelo de generalizar de rodadas experimentais passadas para futuras. Os benchmarks padrão geralmente dependem de divisões de dados aleatórias, que testam a interpolação (prever dentro de distribuições conhecidas) em vez da tarefa crítica de descoberta de rodadas futuras (classificar variantes que emergem apenas em rodadas experimentais posteriores). Há uma carência de benchmarks reprodutíveis e de larga escala que preservem a estrutura cronológica de campanhas reais de evolução dirigida para testar se os modelos podem priorizar resultados futuros de bancada com base em evidências passadas registradas.

Metodologia

1. Construção do Benchmark: TadA-Bench

Os autores introduzem o TadA-Bench, um benchmark de replay de bancada com dados fixos, derivado de 31 rodadas de evolução dirigida de TadA (adenosina deaminase).

• Escala: O conjunto de dados cobre aproximadamente um milhão de variantes observadas via Sequenciamento de Nova Geração (NGS).
• Visões: Fornece visões alinhadas de sequências de DNA, RNA e proteína, permitindo a avaliação de modelos de linguagem genômicos, de transcritos e de proteínas sobre a mesma campanha subjacente.
• Protocolo: O benchmark define uma tarefa de "replay de rodada futura". Os modelos são treinados em variantes e medições de rodadas anteriores ($D_{\le k}$) e avaliados em sua capacidade de classificar variantes que aparecem apenas em rodadas posteriores ($D_{> k}$). Na instância principal, os modelos treinam nas rodadas 1–27, validam na rodada 28 e testam nas rodadas 29–31. As divisões são disjuntas em termos de sequência para evitar memorização.

2. Integração de Dados: Seq2Graph

Uma contribuição metodológica central é o Seq2Graph, um pipeline baseado em grafos projetado para unificar medições de enriquecimento de múltiplas rodadas ruidosas em rótulos de atividade consistentes.

• Desafio: Os dados brutos de seleção contêm efeitos de lote (batch effects), estimativas de enriquecimento ruidosas e inconsistências locais de pares ao longo das 31 rodadas.
• Mecanismo:
  • Construção do Grafo: Dentro de cada rodada, as variantes são classificadas pelo enriquecimento da contagem de leituras (read-count). Um grafo direcionado é construído onde as arestas conectam variantes adjacentes na lista ordenada, ponderadas por razões de enriquecimento local.
  • Ancoragem: Variantes que aparecem em múltiplas rodadas (sobreposições de sequência) atuam como "âncoras" para conectar os grafos de classificação locais ao longo da campanha.
  • Eliminação de Inconsistência: O pipeline formula a remoção de ciclos contraditórios (ex: $A > B > C > A$) como um problema de Conjunto de Arco de Feedback Ponderado (Weighted Feedback Arc Set). Uma heurística gulosa é usada para remover arestas de baixa confiança, transformando o grafo em um Grafo Acíclico Direcionado (DAG).
  • Atribuição de Atividade: Uma escala de atividade é ancorada em uma variante de referência (TadA8e = 1.0). Os escores são propagados no domínio logarítmico (razões multiplicativas) da referência para todos os outros nós através do caminho de menor número de arestas.
• Saída: Isso produz rótulos de atividade relativa definidos por sequência para as visões de DNA, RNA e proteína, sem inferir ancestralidade biológica ou árvores de linhagem.

3. Estrutura de Avaliação

A avaliação trata os modelos de linguagem biológica como um "módulo de classificação" para um loop agêntico.

• Modelos: O estudo avalia modelos de DNA (Evo 2, Nucleotide Transformer), modelos de RNA (OmniGenome) e modelos de proteína (ESM2, ProtTrans, ESMC).
• Protocolos:
  • Encoder Congelado: A avaliação primária congela o encoder pré-treinado e treina uma cabeça de regressão subsequente.
  • Verificações de Adaptação: Inclui ajuste fino (fine-tuning) completo e ajuste de prompt (prompt tuning) para descartar artefatos de protocolo.
  • Métricas: Correlação de postos de Spearman ($\rho$), Recall@10% e nDCG@10.
  • Modo de Descoberta: Avalia a priorização de candidatos sob orçamentos finitos (96 e 384 variantes, simulando tamanhos padrão de placas).

Principais Resultados

1. O Gap da Rodada Futura

Modelos de linguagem biológica representativos exibem um abismo de desempenho acentuado entre a interpolação e a descoberta de rodadas futuras:

• Interpolação (Divisão Aleatória): Sob uma divisão aleatória de 8:1:1, os modelos de proteína alcançam correlações de Spearman fortes ($\rho \approx 0,8$), indicando que o espaço de rótulos é aprendível.
• Descoberta de Rodada Futura: Sob a divisão cronológica fixa, o desempenho degrada drasticamente. As correlações de Spearman caem para $\rho \approx 0,03$–$0,05$ em todas as visões de DNA, RNA e proteína.
• Adaptação: O ajuste fino completo e o ajuste de prompt falham em fechar esse gap (melhor observado $\rho \approx 0,06$), sugerindo que a dificuldade reside na capacidade das representações de priorizar evidências futuras, não apenas na cabeça de regressão.

2. Priorização no Modo de Descoberta

Em um cenário de "modo de descoberta", onde apenas um número limitado de candidatos (ex: 96) pode ser testado:

• Os modelos falham em enriquecer para variantes de alta atividade reais.
• As taxas de acerto (hit rates) para os 5% melhores candidatos estão próximas do acaso (aprox. 3–5% vs. 5% esperado), indicando que os modelos atuais não conseguem identificar efetivamente variantes promissoras para a próxima rodada experimental.

3. Cobertura Evolutiva vs. Densidade Local

Os autores investigaram se a composição dos dados de treinamento afeta o desempenho da rodada futura:

• Densidade: Simplesmente aumentar o número de amostras das mesmas rodadas evolutivas (subamostragem aleatória) gera retornos decrescentes.
• Cobertura: Subconjuntos que priorizam a cobertura evolutiva (selecionando variantes de rodadas diversas ou maximizando a similaridade com o conjunto de validação alvo) superam subconjuntos maiores e mais densos de rodadas limitadas.
• Conclusão: No TadA-Bench, cobrir amplas regiões evolutivas ou funcionais é mais informativo para a descoberta de rodida futura do que aumentar a densidade local de dados.

4. Robustez

• Validação Biológica: Ensaios ortogonais de baixo rendimento com repórter GFP em variantes-chave mostraram forte concordância ($\rho > 0,99$) com os rótulos derivados de alto rendimento (NGS).
• Robustez Computacional: Análises de bootstrapping (subamostragem de rodadas ou sequências) confirmaram que o pipeline Seq2Graph produz escores estáveis ($\rho > 0,90$), validando a consistência dos rótulos.

Significância e Alegações

O artigo posiciona o TadA-Bench como um substrato reprodutível para testar o componente de "classificação" (ranking) de sistemas de engenharia de proteínas agênticos de ciclo fechado antes de serem implantados em campanhas de bancada custosas.

• Expondo um Gargalo: O benchmark revela que os modelos de fundação biológica atuais, embora bem-sucedidos na interpolação, lutam significativamente com a tarefa específica de classificar variantes que emergem em rodas experimentais futuras. Isso é identificado como um gargalo concreto para fluxos de trabalho de engenharia de proteínas iterativos.
• Design do Benchmark: Argumenta-se que os benchmarks para descoberta de proteínas devem preservar a estrutura da campanha (cronologia e consistência entre rodadas) em vez de tratar todas as variantes como pontos de dados independentes. A distinção entre "densidade local" e "cobertura evolutiva" é destacada como um princípio de design crítico.
• Escopo: Os autores afirmam explicitamente que o TadA-Bench isola o problema da classificação. Ele não avalia políticas de planejamento, uso de ferramentas ou execução autônoma, mas fornece um teste estável de dados fixos para saber se as representações podem utilizar o histórico experimental registrado para priorizar candidatos futuros.

Os autores disponibilizam os dados, código e protocolos de linha de base no Hugging Face e GitHub para permitir comparações reprodutíveis de modelos neste trajeto experimental específico e registrado.