Resumo Técnico: EpiBench – Avaliação Verificável de Agentes de IA em Análise Epigenômica

Definição do Problema

Ensaios epigenômicos (ex: CUT&Tag, ATAC-seq, ChIP-seq, metilação de DNA) geram dados complexos que exigem uma sequência de decisões analíticas — que variam desde o alinhamento de leituras e identificação de picos (peak calling) até normalização e anotação genômica — para derivar conclusões biológicas. Embora agentes de IA tenham mostrado promessa na inspeção de arquivos e execução de código, eles permanecem propensos a alucinações e a um julgamento biológico não confiável, particularmente ao navegar por diversos tipos de ensaios e desenhos de estudo. Benchmarks existentes para IA biológica frequentemente focam em escopos mais amplos ou diferentes modalidades de dados, carecendo de um framework dedicado e verificável para a análise epigenômica de curto horizonte. O problema central é determinar se os atuais agentes de IA podem tomar decisões de análise específicas de cada ensaio a partir de estados de fluxo de trabalho realistas e retornar respostas deterministicamente graduáveis.

Metodologia

Construção do Benchmark (EpiBench)

Os autores introduzem o EpiBench, um benchmark composto por 106 avaliações derivadas de fluxos de trabalho epigenômicos do mundo real. O design adere a três critérios:

1. Verificabilidade: Cada avaliação admite uma condição de sucesso automaticamente verificável (ex: verificações de intervalo numérico, correspondências de rótulos estruturados).
2. Durabilidade Científica: A resposta pretendida deve ser recuperável através de escolhas de análise razoáveis, garantindo que o benchmark meça o raciocínio e não detalhes de implementação incidentais.
3. Resistência a Atalhos: Os agentes devem interagir com artefatos de dados fornecidos; tarefas solucionáveis apenas por heurísticas triviais ou conhecimento biológico prévio são excluídas.

Fontas de Dados e Escopo:

• Tipos de Ensaios: CUT&Tag/CUT&RUN (zebrafish), ATAC-seq (B-ALL pediátrica), ChIP-seq (B-ALL H3K27ac) e Metilação de DNA (ESCC WGBS).
• Categorias de Tarefas: Controle de Qualidade (QC), peak calling, análise de estado de cromatina, anotação genômica, metilação diferencial, alinhamento, análise quantitativa downstream e visualização.
• Estrutura: Cada avaliação captura um snapshot de um estado de fluxo de trabalho realista imediatamente antes de um resultado alvo. O agente recebe os arquivos relevantes, metadados e uma descrição da tarefa, devendo então retornar uma resposta estruturada.

Configuração Experimental

• Modelos: 16 pares distintos de modelo-harness foram avaliados, incluindo modelos de alto nível (ex: GPT-5.5, Claude Opus 4.8 Max, GPT-5.4) pareados com diferentes ambientes de execução (ex: harness de codificação de terminal Pi, OpenAI Codex, Claude Code).
• Protocolo: Cada um dos 16 pares foi executado três vezes em cada uma das 106 avaliações, gerando 5.088 trajetórias válidas.
• Métrica de Sucesso: Uma tentativa "passa" apenas se o agente alcançar a recuperação exata da resposta estruturada graduada.
• Análise Estatística: As métricas primárias são taxas de aprovação de endpoint ponderadas pela avaliação, com intervalos de confiança (IC) de 95% calculados sobre as médias por nível de avaliação usando a distribuição t de Student.

Principais Resultados

Desempenho Geral

Nenhum sistema passou da maioria das tentativas. O cenário de desempenho é caracterizado por um amplo patamar de modelos com intervalos de confiança sobrepostos:

• Melhor Desempenho: GPT-5.5 / Pi alcançou a maior taxa de aprovação com 45,0% (143/318 tentativas; IC 95%, 36,3–53,7).
• Vice-campeões: GPT-5.5 / OpenAI Codex (39,9%), Claude Opus 4.8 Max / Pi (39,0%) e GPT-5.4 / Pi (39,0%).
• Pior Desempenho: Grok 4.3 / Pi (12,6%).

Desempenho por Ensaio e Tarefa

• Variância de Ensaio: O desempenho variou significamente conforme o tipo de ensaio. CUT&Tag/CUT&RUN teve a maior taxa de aprovação agregada (34,0%), seguida por Methylation-seq (33,3%) e ChIP-seq (30,6%). ATAC-seq teve o pior desempenho (22,8%).
• Complexidade da Tarefa: Embora os agentes frequentemente encontrassem os arquivos corretos e computassem resultados intermediários úteis, eles falharam frequentemente na etapa de decisão final.
  • Graduação em Nível de Componente: De 26.574 campos de resposta pontuados, 68,2% passaram, comparado a uma taxa de aprovação de endpoint de 31,0%. Isso indica que muitas falhas ocorreram devido à seleção da camada de dados, estatística ou unidade errada, em vez de uma incapacidade total de processar os dados.

Modos de Falha

A revisão manual de 25 avaliações identificou comportamentos de falha recorrentes onde os agentes fizeram escolhas científicas "plausíveis, mas erradas":

1. Estatísticas/Unidades Incorretas: Aplicação de limiares ou unidades erradas.
2. Interpretação Equivocada de Evidências de Arquivo: Dependência de conhecimentos prévios da literatura ou mecanismos familiares em vez das evidências específicas nos arquivos fornecidos (ex: usar alinhamento de ponta a ponta para normalização de spike-in quando o alinhamento local era necessário).
3. Erros de Manipulação de Dados: Contagem incorreta de sítios CpG em WGBS ou bypass da representação pretendida de base única na detecção de picos de ATAC-seq.
4. Falha de Autocorreção: Em alguns casos, os agentes computaram o resultado correto internamente, mas o substituíram por um padrão de fluxo de trabalho mais familiar antes da submissão.

Significância e Alegações

O artigo posiciona o EpiBench não como um teste completo de raciocínio epigenômico, mas como uma amostra mensurável de habilidades práticas onde os atuais agentes falham de maneiras interpretáveis.

• Separação de Execução e Julgamento: Os resultados demonstram que, embora os agentes possam operar efetivamente as ferramentas de um fluxo de trabalho epigenômico (execução), eles têm dificuldade em fundamentar reivindicações biológicas em artefatos específicos de ensaios (julgamento). Eles frequentemente substituem convenções familiares pelas evidências sustentadas pelos dados.
• Utilidade do Benchmark: O EpiBench fornece um framework determinístico e verificável para acompanhar o progresso na análise científica de curto horizonte. Ele destaca que mesmo os modelos mais fortes (passando em <50% das tentativas) ainda não dominaram a tomada de decisão matizada necessária para uma análise epigenômica confiável.
• Direção Futura: Os autores concluem que o progresso futuro requer não apenas um melhor uso de ferramentas, mas um melhor ancoramento das reiv beenções biológicas nos artefatos de dados específicos fornecidos, indo além de convenções genéricas de fluxo de trabalho.

O artigo observa explicitamente limitações, incluindo um inventário de tarefas desequilibrado (dominado por CUT&Tag/CUT&RUN e análise downstream) e o fato de que graduadores determinísticos restringem a superfície de resposta, potencialmente excluindo outros caminhos de análise cientificamente válidos.