Agentic systems are adept at solving well-scoped, verifiable problems in computational biology

O artigo apresenta o CompBioBench, um novo benchmark de 100 tarefas em biologia computacional que utiliza dados sintéticos e realocados para criar problemas verificáveis, demonstrando que sistemas agênticos de ponta, como o Codex CLI e o Claude Code, alcançam alto desempenho ao resolver desafios complexos que exigem raciocínio multietapa e uso de ferramentas.

O essencial

Imagine que você tem um estagiário superinteligente, que sabe programar, pesquisar na internet e usar ferramentas complexas, mas que nunca antes trabalhou em um laboratório de biologia. A pergunta é: será que esse estagiário consegue resolver problemas reais de biologia sozinho, ou ele vai se perder no caminho?

Este artigo apresenta a resposta a essa pergunta através de um novo "teste de admissão" chamado CompBioBench.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: Biologia é Caótica (Diferente de Matemática)

Em matemática ou programação, se você pede para um computador calcular "2 + 2", a resposta é sempre "4". É fácil verificar se está certo.
Mas na biologia, os dados são como uma sala de estar bagunçada após uma festa. Há ruído, coisas faltando, e às vezes você precisa interpretar o que aconteceu. Dizer "o paciente tem uma doença" não é tão simples quanto "2+2=4".

Os autores do artigo (cientistas da Genentech e Roche) queriam saber se os novos sistemas de IA "agentes" (robôs de software que pensam e agem sozinhos) conseguiam navegar nesse caos e encontrar a resposta certa.

2. A Solução: O "CompBioBench" (O Campo de Treinamento)

Para testar esses robôs, eles criaram um teste com 100 desafios diferentes.

• O Truque do Teste: Como a biologia real é difícil de verificar, eles criaram cenários onde a resposta é única e clara.
  • Analogia: Imagine que eles misturaram um pouco de suco de laranja (dados humanos) com suco de limão (dados de outra espécie) em uma garrafa, esconderam o rótulo e pediram para o robô dizer: "Qual é o suco estranho aqui?".
  • Ou então, eles pegaram um arquivo de dados real, apagaram as etiquetas (quem é quem) e pediram para o robô descobrir quem trocou de lugar.

O teste cobria desde genética humana até análise de células individuais, exigindo que o robô baixasse dados da internet, instalasse programas e escrevesse códigos do zero.

3. Os Participantes: Quem foi testado?

Eles colocaram os "estagiários" mais famosos do mundo contra o teste:

• Codex CLI (da OpenAI/GPT-5.4)
• Claude Code (da Anthropic)
• E algumas versões menores e mais simples desses robôs.

Importante: Eles não deram nenhum manual ou ajuda. O robô começou com um computador "limpo" (vazio) e teve que baixar tudo o que precisava sozinho, como se estivesse em um laboratório novo sem nenhum equipamento instalado.

4. Os Resultados: Surpreendentemente Bons!

Os resultados foram impressionantes, como se o estagiário tivesse aprendido a profissão em uma tarde:

• O Campeão: O Codex CLI acertou 83% das perguntas.
• O Vice: O Claude Code acertou 81%.
• Os Menores: As versões mais simples (como o "Haiku") tiveram desempenho muito pior (cerca de 34%), mostrando que a "inteligência" do modelo importa muito.

O que eles conseguiram fazer?

• Encontrar contaminação em amostras de DNA.
• Descobrir qual gene estava "gritando" mais alto em uma célula doente.
• Baixar modelos de inteligência artificial complexos da internet e fazê-los rodar em computadores com placas de vídeo específicas.

5. Onde Eles Falharam? (A Fragilidade)

Embora fossem ótimos, eles não eram perfeitos.

• O Problema do "Parar Cedo": Às vezes, o robô fazia uma análise superficial, parecia ter encontrado a resposta, e parava. Era como um detetive que vê uma pegada, assume que é do suspeito e vai embora, sem verificar se a pegada não era de um vizinho.
• Dificuldade Extrema: Nas perguntas mais difíceis (nível 4 e 5), a precisão caía para cerca de 60-70%.
• Custo e Tempo: Resolver uma pergunta difícil podia levar 30 minutos e custar alguns dólares em processamento.

6. A Conclusão: O Futuro é Agora

O artigo diz que estamos em um momento de virada. Esses sistemas de IA já conseguem fazer o trabalho "chato" e técnico de um biólogo computacional: baixar dados, instalar ferramentas, escrever scripts e cruzar informações.

A analogia final:
Antigamente, pedir para uma IA fazer biologia era como pedir para um carro sem motor andar. Hoje, com o CompBioBench, vimos que esses carros não só têm motor, mas sabem dirigir sozinhos na estrada, embora ainda precisem de um motorista humano (um especialista) para olhar pelo retrovisor e garantir que não vão bater em algo óbvio.

Resumo em uma frase:
A IA já está tão boa em biologia computacional que consegue resolver a maioria dos problemas do dia a dia sozinha, desde que tenha acesso à internet e ferramentas, mas ainda precisa de supervisão humana para as tarefas mais complexas e críticas.

Resumo técnico

Título: Agentic systems are adept at solving well-scoped, verifiable problems in computational biology

Autores: Surag Nair et al. (Genentech e Roche)
Publicação: Preprint no bioRxiv (Abril de 2026)

---

1. O Problema

A biologia computacional é um campo altamente interdisciplinar que envolve análise de dados heterogêneos, interpretação de ensaios de sequenciamento de alto rendimento (RNA-seq, ATAC-seq, single-cell), análise de variantes e integração de multi-ômicas. Embora sistemas agentes de propósito geral (como Claude Code e Codex CLI) tenham demonstrado sucesso em matemática e programação, sua avaliação em biologia computacional enfrenta desafios únicos:

• Natureza dos Dados: Dados biológicos são inerentemente ruidosos e abertos a interpretação, dificultando a definição de uma "verdade fundamental" (ground truth) única e inequívoca.
• Limitações de Benchmarks Existentes: Benchmarks anteriores (como BixBench, BioAgent Bench) muitas vezes focam em fatias estreitas do domínio, incluem tarefas mal especificadas ou prescrevem excessivamente a abordagem, reduzindo a necessidade de seleção de estratégia autônoma.
• Falta de Ambientes Realistas: Muitos testes não exigem que o agente baixe dados, configure ferramentas ou navegue em recursos externos, o que não reflete o fluxo de trabalho real de um biólogo computacional.

2. Metodologia: CompBioBench

Os autores introduzem o CompBioBench, um benchmark composto por 100 tarefas diversificadas projetadas para avaliar sistemas agentes em biologia computacional.

Estratégia de Construção do Benchmark

Para contornar a ambiguidade dos dados biológicos reais e garantir uma avaliação objetiva sem criar listas de verificação prescritivas, os autores utilizaram três estratégias principais:

1. Dados Sintéticos e Aumentados: Criação de problemas com respostas de verdade fundamentais claras. Exemplo: misturar leituras de RNA-seq de uma espécie distante com dados humanos e pedir ao agente para identificar o contaminante.
2. Recuperação de Metadados (Scrambling/Scrubbing): Uso de dados reais onde metadados foram intencionalmente embaralhados ou removidos. O agente deve inferir a correção (ex.: detectar troca de rótulos de tecidos em dados de ATAC-seq).
3. Ambiente Mínimo (Bare-Minimum): Os agentes são executados em um ambiente computacional limpo, sem ferramentas pré-instaladas além do básico e sem acesso a arquivos de dados externos (exceto os de entrada). Eles devem buscar dados, instalar ferramentas e configurar o ambiente via internet.

Escopo e Design

• Domínios: Genômica, Transcriptômica, Epigenômica, Análise de Célula Única, Genética Humana e Fluxos de Trabalho de Aprendizado de Máquina.
• Dificuldade: As questões variam de nível 1 a 5 (avaliado por especialistas), cobrindo desde análises rotineiras até problemas complexos que exigem raciocínio multi-etapa e código personalizado.
• Avaliação: Binária, baseada em correspondência exata de strings com a resposta esperada.

Sistemas Avaliados

O benchmark testou sistemas agentes de propósito geral, incluindo:

• Codex CLI (baseado em GPT-5.4).
• Claude Code (baseado em modelos Opus 4.6, Sonnet 4.6 e Haiku 4.5).
• Baselines: Modelos LLM puros (sem capacidades de agente) para comparação.

3. Contribuições Principais

1. Novo Paradigma de Benchmarking: Propõe o uso de dados sintéticos/aumentados e recuperação de metadados para criar problemas biológicos com "ground truth" verificável, resolvendo o dilema da ambiguidade biológica.
2. Avaliação End-to-End Realista: Exige que os agentes realizem todo o fluxo de trabalho: busca de dados, instalação de ferramentas (ex.: Sourmash, Vireo, CellTypist), execução de pipelines e geração de resultados.
3. Análise de Desempenho Detalhada: Fornece métricas de precisão, tempo de execução e custo, além de uma análise qualitativa das falhas e estratégias dos agentes.
4. Recursos Abertos: Disponibilização de todas as 100 questões, arquivos de entrada e scripts de execução no Zenodo e GitHub.

4. Resultados

Desempenho Geral

• Alta Precisão: Os melhores agentes demonstraram forte capacidade de resolver problemas complexos.
  • Codex CLI (GPT-5.4): Alcançou 83,3% de precisão média.
  • Claude Code (Opus 4.6): Alcançou 81,0% de precisão média.
• Modelos Menores: O desempenho degradou significativamente em modelos menores (Claude Sonnet 4.6: 70%; Claude Haiku 4.5: 34%).
• Modelos Não-Agentes: LLMs puros (sem acesso a ferramentas ou ambiente) tiveram desempenho próximo ao acaso (3,7% - 5,3%), confirmando que o benchmark não pode ser resolvido apenas por conhecimento memorizado.

Desempenho por Dificuldade e Domínio

• Questões Fáceis (Nível 1): Codex CLI atingiu 100% de precisão.
• Questões Difíceis (Níveis 4-5): O desempenho caiu, mas permaneceu robusto.
  • Claude Code (Opus 4.6): 69% (superou o Codex CLI neste nível).
  • Codex CLI (GPT-5.4): 59%.
• Domínios: O Codex CLI obteve 97% de precisão em Genômica e mais de 70% nos demais domínios.

Eficiência e Custos

• Tempo: O Codex CLI foi mais rápido (média de 11 min/pergunta) comparado ao Claude Code Opus (18 min/pergunta).
• Custo: O Claude Code Opus foi o mais caro (USD 1,70 por pergunta), enquanto o Codex CLI custou cerca de USD 1,00.
• Robustez: Em execuções múltiplas, 73% das questões foram resolvidas corretamente em todas as 3 tentativas pelos melhores modelos, indicando consistência.

Análise Qualitativa das Falhas

As falhas não foram devido à incapacidade de resolver o problema, mas sim a:

• Parada Prematura: O agente aceita uma análise superficialmente plausível e para antes de investigar nuances (ex.: não considerar reads multi-mapeamento).
• Escolha de Estratégia: Falha em selecionar a ferramenta ou abordagem correta (ex.: usar um background de enriquecimento de motivos incorreto no ATAC-seq).
• Dependência de Hipóteses: O sucesso muitas vezes dependia de o agente identificar a hipótese analítica correta cedo no processo.

5. Significado e Conclusões

O CompBioBench demonstra que os sistemas agentes de propósito geral já possuem capacidades notáveis para realizar análises rotineiras e não triviais em biologia computacional de ponta a ponta. Eles são proficientes em:

• Descoberta e instalação de ferramentas especializadas.
• Manipulação de dados e orquestração de processos.
• Identificação de otimizações que humanos poderiam não tentar.

Implicações Futuras:

• Dependência de Supervisão Humana: Devido à fragilidade em tarefas de longo horizonte e a possibilidade de erros de estratégia, a implantação confiável ainda requer supervisão humana para auditar saídas intermediárias.
• Direção de Pesquisa: O benchmark sugere que aumentar o poder de computação no tempo de inferência (ex.: múltiplos agentes em paralelo) pode mitigar a fragilidade.
• Padrão para a Comunidade: O trabalho estabelece um novo padrão para avaliar agentes em ciências, enfatizando a necessidade de problemas bem delimitados, mas que exijam raciocínio complexo e interação com o mundo real, servindo como base para o desenvolvimento de futuros benchmarks mais amplos e orientados à descoberta.

Em resumo, o artigo marca uma mudança de paradigma, indicando que os agentes de IA estão prontos para atuar como analistas confiáveis em fluxos de trabalho de biologia computacional, desde que os problemas sejam bem delimitados e o ambiente de avaliação seja rigoroso.