Resumo Técnico: scBench-Long

Definição do Problema

A pesquisa em biologia de célula única exige que analistas sintetizem medições brutas em alegações biológicas específicas por meio de fluxos de trabalho complexos e de múltiplas etapas. Esses fluxos de trabalho demandam a integração de metadados, contexto de ensaio, evidência auxiliar (como repertórios imunológicos ou acessibilidade da cromatina) e literatura prévia. Embora agentes de IA estejam sendo cada vez mais aplicados à análise de dados biológicos, os benchmarks existentes avaliam majoritariamente conhecimentos biológicos amplos, execução de ferramentas isoladas ou etapas de análise locais. Há uma carência de benchmarks verificáveis que testem se os agentes podem realizar o raciocínio científico de longo horizonte — especificamente, a capacidade de recuperar conclusões complexas, condicionadas a uma alegação, a partir de dados de célula única brutos ou quase brutos, sem métodos prescritos. Além disso, definir uma verdade fundamental (ground truth) verificável neste domínio é desafiador, pois o mesmo conjunto de dados pode suportar múltiplas alegações válidas, e resultados publicados nem sempre são reproduzidos de forma independente.

Metodologia

Design do Benchmark (scBench-Long)

Os autores introduzem o scBench-Long, um benchmark projetado para avaliar tarefas de biologia de célula única de longo horizonte. O benchmark é estruturado em torno de 21 avaliações derivadas de cinco sistemas de estudo distintos:

1. Reatividade de células T CD8 em melanoma: Vincular estados de expressão gênica com clonotipos de receptores de células T (TCR).
2. Inferência regulatória de RNA+ATAC em CD8: Avaliar alegações regulatórias suportadas tanto pela expressão de RNA quanto pela acessibilidade da cromatina.
3. Desenvolvimento quimérico humano–macaco: Comparar estados de desenvolvimento entre espécies e avaliar a sinalização entre populações.
4. Envelhecimento de tumor pulmonar impulsionado por KRAS: Separar efeitos associados ao envelhecimento dos estados de células tumorais e mudanças no microambiente.
5. Patologia pulmonar letal por COVID-19: Integrar expressão de núcleo único com evidência de receptor imunológico e validação ortogonal.

Dados e Entradas:
As tarefas fornecem dados brutos ou quase brutos (ex: scRNA-seq 10x Chromium 5′/3′, Multiome, Smart-seq2, sequenciamento combinatório da Parse Biosciences) juntamente com contexto experimental calibrado e recursos auxiliares (mapas de ortólogos, bancos de dados de ligante–receptor, referências de desenvolvimento). Crucialmente, o benchmark não prescreve um caminho de solução; os agentes devem determinar o fluxo de trabalho.

Fluxo de Trabalho de Avaliação:

1. Geração de Alegações: As alegações candidatas são extraídas de artigos publicados e notas de reprodução interna.
2. Reprodução e Revisão: As tarefas são mantidas apenas se a conclusão alvo puder ser independentemente reproduzida a partir dos dados preparados. Este processo inclui revisão por pares randomizada e inspeção de trajetória para garantir robustez.
3. Superfícies de Resposta Controladas: Os agentes devem fornecer objetos JSON estruturados sobre vocabulários controlados (ex: identidades de estado celular, direções de reguladores, alegações de clonotipo). Distratores são desenhados para penalizar atalhos comuns, como depender de priors de marcadores canônicos, rankings de abundância bruta ou raciocínio de modalidade única.
4. Graduação: Um classificador determinístico avalia a resposta estruturada final. O critério Passa/Falha é binário, baseado na recuperação exata da superfície alvo.

Estrutura de Diagnóstico:
Para abordar a esparsidade da graduação binária de passa/falha, o benchmark utiliza diagnósticos de trajetória baseados em rubricas. Os autores da avaliação definem "pontos de estrangulamento" (chokepoints — etapas críticas de análise) após a reprodução independente. Juízes de LLM pontuam as trajetórias contra essas rubricas para diagnosticar o progresso parcial e modos de falha, embora esses scores sirvam como diagnósticos, não como a métrica primária do benchmark.

Principais Contribuições

• Benchmarking de Longo Horizonte: O scBench-Long desloca o foco da execução de ferramentas isoladas para a recuperação de conclusões científicas complexas a partir de dados brutos, espelhando a natureza iterativa da análise de célula única no mundo real.
• Verificabilidade da Verdade Fundamental: O benchmark estabelece um fluxo de construção rigoroso onde as alegações são fortalecidas através de reprodução e revisão independentes, garantindo que a "verdade fundamental" seja reproduzível a partir dos dados fornecidos, em vez de depender do artigo original como um oráculo não verificado.
• Integração Multimodal: As tarefas exigem explicitamente a integração de diversas modalidades de dados (RNA, ATAC, TCR/BCR, mapeamento entre espécies) e a distinção entre associação e mecanismo.
• Granularidade Diagnóstica: A inclusão de juízes de rubrica fornece feedback denso e interpretável sobre o desempenho do agente (ex: identificando modos de falha específicos, como confundir abundância com importância) ao lado dos escores esparsos de ponto final.

Resultados

Desempenho Geral

Ao longo de 1.068 trajetórias completadas envolvendo 17 pares de modelo–harness (combinando modelos como Claude Opus, GPT-5, Gemini, Grok, Kimi e GLM com harnesses como PI, Claude Code e OpenAI Codex):

• Taxa de Sucesso: O par de maior desempenho, Claude Opus 4.8 com Claude Code, alcançou uma taxa de passagem de 25,4% (16/63 execuções). O segundo melhor, Gemini 3.5 Flash com PI, alcançou 22,2% (14/63).
• Confiabilidade: O sucesso ainda não é confiável. O melhor par passou em pelo menos uma réplica em apenas 8/21 avaliações e alcançou uma execução "perfeita" (todas as 3 réplicas passando) em apenas 2/21 avaliações.
• Dificuldade das Tarefas: Cinco avaliações tiveram zero trajetórias bem-sucedidas. A avaliação de maior desempenho (uma tarefa de atraso de pseudotempo) apresentou uma taxa de passagem de 51,0%, enquanto a maioria das avaliações permaneceu em faixas de baixa passagem.

Efeitos de Harness e Modelo

• Sensibilidade do Harness: O desempenho varia significativamente dependendo do harness de execução. Por exemplo, o GPT-5.4 teve melhor desempenho com o PI do que com o OpenAI Codex, enquanto o Claude Opus 4.8 teve melhor desempenho com o Claude Code. Isso indica que o desempenho de longo horizonte depende do sistema modelo–harness, não apenas do modelo base.
• Diagnósticos de Rubrica: Embora o sucesso no ponto final tenha sido esparso (11,7% das trajetórias), os escores de rubrica foram não-zero para quase todas as trajetórias. Houve uma correlação moderada entre os escores de rubrica e o sucesso final (AUC = 0,77), sugerindo que as rubricas podem identificar progresso parcial. No entanto, altos escores de rubrica não garantiram o sucesso no ponto final, confirmando que são ferramentas diagnósticas, não substitutas para a graduação determinística.

Modos de Falha

O artigo identifica quatro modos de falha recorrentes onde os agentes falharam em traduzir a análise intermediária em conclusões corretas:

1. Dependência de Priors Biológicos: Os agentes frequentemente substituíram associações de literatura familiar (ex: CD39/PD-1 para células T exaustas) por evidências empíricas específicas nos dados fornecidos, mesmo quando a estrutura dos dados contradizia o prior.
2. Abundância vs. Importância: Os agentes frequentemente confundiram valores quantitativos brutos elevados (ex: contagens altas de interação em análise de ligante–receptor) com significância biológica, ignorando a direcionalidade ou a composição do banco de dados.
3. Associação vs. Mecanismo: Os agentes frequentemente inferiram mecanismos causais a partir de dados transversais (ex: assumindo que programas tumorais eram induzidos pelo contato de células T apenas porque ocorriam em conjunto).
4. Falha de Integração de Modalidade: Os agentes frequentemente analisaram modalidades únicas (ex: apenas RNA) quando a tarefa exigia a integração de múltiplos tipos de dados (ex: RNA + ATAC) para validar alegações regulatórias.

Significância e Alegações

Os autores posicionam o scBench-Long como um instrumento de medição e uma lente diagnóstica para o desenvolvimento de agentes de IA em biologia de célula única. O artigo afirma que os agentes de fronteira atuais mostram uma "capacidade limitada, mas mensurável", sendo capazes de executar fluxos de trabalho plausíveis, mas lutando para sintetizá-los em alegações científicas verificáveis.

O benchmark é apresentado não como uma solução final, mas como uma especificação evolutiva para fluxos de trabalho de biologia computacional. Os autores enfatizam que melhorar o desempenho dos agentes neste domínio exigirá avanços tanto no treinamento de modelos quanto na engenharia de harness. Ao fornecer um framework verificável e condicionado a alegações, o scBench-Long visa apoiar o desenvolvimento orientado a testes de agentes que possam analisar dados de célula única de forma fiel, transparente e reprodutível, indo além das etapas de análise local para o raciocínio complexo exigido na descoberta de fármacos e na pesquisa básica.