Resumo Técnico: Avaliação Verificável de Benchmarks de Biologia Espacial de Longo Alcance

Declaração do Problema

Agentes de IA atuais demonstram utilidade na análise de dados biológicos, mas lutam para realizar raciocínio científico de ponta a ponta sobre medições espaciais brutas. Benchmarks existentes tipicamente testam conhecimento biológico amplo, fluxos de trabalho executáveis ou etapas de análise localizadas, em vez da capacidade de derivar conclusões científicas específicas a partir de dados brutos e contexto experimental calibrado, sem métodos prescritos. Além disso, dados espaciais brutos raramente admitem uma única verdade fundamental universal; as mesmas medições podem suportar múltiplas conclusões válidas, e alegações publicadas frequentemente falham em se reproduzir limpiamente sob reanálise imparcial. Há uma falta de benchmarks que investiguem se um agente pode realizar o fluxo de trabalho completo de recuperar uma conclusão científica específica a partir de medições espaciais brutas, integrando fluxos de trabalho de múltiplos passos, conhecimento específico do ensaio e desenho experimental.

Metodologia

Design do Benchmark: SpatialBench-Long

Os autores introduzem o SpatialBench-Long, um benchmark projetado para avaliar se agentes podem recuperar alegações biológicas a partir de dados de biologia espacial brutos ou quase brutos e contexto calibrado.

• Escopo: O benchmark compreende 24 avaliações em quatro sistemas de estudo distintos:
  1. Adenocarcinoma ductal pancreático primário (PDAC).
  2. Organoides de glioblastoma (GBM) engenheirados e tumores in vivo.
  3. Adenocarcinoma pulmonar rastreado por linhagem via Cas9.
  4. Sistemas de envelhecimento e intervenção do nervo óptico de camundongos.
• Modalidades de Dados: As avaliações utilizam diversas tecnologias espaciais e moleculares, incluindo CosMx, Visium, Xenium, MERFISH, sequenciamento de RNA de célula única (scRNA-seq), Slide-seq, Slide-tags, histologia e dados de gravação de linhagem.
• Estrutura da Tarefa: Cada tarefa fornece uma pergunta científica, dados brutos/quase brutos, contexto relevante do ensaio e uma solução verificável. As tarefas são calibradas para aproximar o conhecimento que um cientista possui no início de uma análise, equilibrando a superespecificação contra a ambiguidade. Informações de identificação são removidas para evitar atalhos de consulta à literatura.
• Endurecimento de Alegações: Alegações candidatas não são tratadas como verdade fundamental automática. Elas são refinadas através de reprodução independente, revisão por pares de especialistas randomizada e inspeção de trajetórias. Muitas alegações candidatas foram excluídas porque não se reproduziam robustamente a partir dos dados fornecidos.

Classificação e Diagnósticos

• Classificação Determinística de Resposta Final: A pontuação principal do benchmark é binária (passa/falha) baseada na recuperação de conclusões científicas expressas através de vocabulários biológicos controlados e relações ordenadas. Esta classificação é determinística e não depende de saídas numéricas isoladas.
• Diagnósticos de Trajetória Baseados em Rubrica: Reconhecendo que a classificação de resposta final fornece sinal esparsos para tarefas de longo alcance, os autores empregam julgamento de trajetória baseado em rubrica como diagnóstico complementar.
  • Pontos de Estrangulamento: Os autores das avaliações definem "pontos de estrangulamento"—decisões críticas de análise ou restrições biológicas (por exemplo, escolher a comparação correta, identificar compartimentos espaciais relevantes, evitar armadilhas conhecidas)—que se espera que permaneçam estáveis em caminhos de solução plausíveis.
  • Pontuação: Julgadores de Modelos de Linguagem (LLM) pontuam as trajetórias do modelo contra essas rubricas. Essas pontuações são tratadas como evidência diagnóstica para identificar progresso parcial e distinguir falha total de sucesso científico parcial, em vez de servirem como pontuações de benchmark de substituição.

Configuração Experimental

• Modelos e Harnesses: O benchmark foi executado em 15 pares modelo-harness, incluindo modelos de ponta da OpenAI (GPT-5.5, GPT-5.4), Google (Gemini 3.5 Flash, 3.1 Pro, 2.5 Pro), Anthropic (Claude Opus 4.7/4.6, Sonnet 4.6), xAI (Grok 4.20/4.3) e Kimi (K2P6).
• Execução: Os modelos foram avaliados usando harnesses como Pi (codificação terminal), OpenAI Codex e Claude Code. Cada par foi executado em todas as 24 avaliações com três réplicas independentes, resultando em 1.080 trajetórias totais (72 execuções por par).

Resultados Principais

Taxas de Sucesso Baixas, mas Não Nulas

Em todos os 15 pares modelo-harness, as taxas de sucesso foram baixas, mas não nulas.

• Melhores Desempenhos: Três pares empataram pelo maior desempenho, cada um passando em 8/72 execuções (11,1%):
  • Gemini 3.5 Flash / Pi
  • GPT-5.5 / Pi
  • GPT-5.5 / OpenAI Codex
• Estabilidade das Réplicas: O sucesso foi esparsos no nível da avaliação. Mesmo entre os sistemas líderes, passar em pelo menos uma réplica ocorreu apenas em 4–5 das 24 avaliações, e a passagem por maioria de réplicas ocorreu apenas em 2 de 24.
• Custo e Turnos: Não houve separação clara no desempenho entre os modelos líderes baseada em custo ou número de turnos, embora alguns modelos (por exemplo, Grok 4.3) tenham alcançado baixas taxas de passagem com custos e contagens de turnos significativamente menores.

Diagnósticos de Rubrica

• Correlação com Sucesso: As pontuações de rubrica mostraram uma associação modesta com o status determinístico de passa/falha (Pearson r = 0,24, ROC AUC = 0,79). Trajetórias que passaram pelo classificador de ponto final tiveram pontuações médias de rubrica mais altas (72,2%) do que as que falharam (45,8%).
• Densidade de Sinal: O julgamento por rubrica forneceu um sinal muito mais denso do que a classificação de ponto final. Enquanto apenas 5,9% das trajetórias passaram pelo classificador determinístico, 94,2% das trajetórias tiveram pontuações médias de rubrica não nulas.
• Viés do Modelo: As pontuações de rubrica variaram sistematicamente conforme o modelo de origem. Trajetórias da OpenAI e Anthropic geralmente receberam pontuações de rubrica mais altas, enquanto o Gemini 3.5 Flash teve uma alta taxa de passagem verificável, mas uma pontuação média de rubrica mais baixa (46,5%), sugerindo potencial fragilidade nas rubricas ou nas verdades fundamentais para aquele modelo.
• Reprodutibilidade: A reprodutibilidade entre julgadores foi alta (correlação média entre pares 0,93).

Modos de Falha

Uma revisão manual de 75 trajetórias identificou sete grupos recorrentes de comportamento:

1. Falhas na decisão final: Agentes realizaram a maior parte da análise, mas selecionaram o alvo final errado (comum em trajetórias da OpenAI/Anthropic).
2. Respostas com crédito parcial: Agentes retornaram alguns componentes aceitos, mas perderam crédito devido a omissões, aliases ou incompatibilidades de vocabulário.
3. Metadados ignorados: Agentes falharam em incorporar metadados críticos (por exemplo, rótulos trocados em tarefas de nervo óptico).
4. Variáveis de agrupamento erradas: Agentes usaram intensidade de expressão ou contrastes genéricos em vez de comparações conscientes de linhagem (comum em tarefas de linhagem).
5. Métodos espaciais inadequados: Agentes agruparam expressão em vez de vizinhanças ou agruparam coordenadas incorretamente.
6. Atalhos de conhecimento prévio/vocabulário: Agentes confiaram em conhecimento prévio de biologia em vez de analisar os dados específicos.
7. Problemas de tempo de execução/manipulação de dados: Falhas em computação local ou manipulação de dados.

Significância e Alegações

O artigo afirma que o SpatialBench-Long é o primeiro benchmark a investigar se agentes podem realizar o trabalho de ponta a ponta de recuperar uma conclusão científica específica a partir de medições espaciais brutas sem métodos prescritos.

• Limitações Atuais: Os resultados indicam que os agentes de ponta atuais possuem capacidade baixa, mas não nula, neste domínio. Os autores argumentam que a principal barreira ao raciocínio científico confiável de longo alcance não é a falta de conhecimento biológico geral, mas sim erros locais de análise cumulativos.
• Competência Procedural: O artigo postula que, antes que os modelos possam raciocinar confiavelmente sobre mecanismos complexos de doenças ou respostas a medicamentos, eles primeiro devem se tornar proceduralmente competentes em medições moleculares concretas. Isso inclui entender as restrições de kits específicos, máquinas, tipos de tecido, sistemas de coordenadas e regimes de normalização.
• Caminho de Progressão: Os autores sugerem uma progressão semelhante à de agentes de codificação: avançar da competência de análise específica do ensaio para o raciocínio biológico emergente e, eventualmente, para a síntese entre modalidades e contextos translacionais. O SpatialBench-Long foi projetado para tornar essa progressão mensurável.
• Utilidade Diagnóstica: O estudo valida o uso de diagnósticos de trajetória baseados em rubrica como um companheiro necessário para a classificação esparsa de ponto final, fornecendo informações de maior resolução sobre progresso parcial e ajudando a identificar casos em que as suposições de classificação precisam de revisão.

O artigo conclui que, embora os sistemas atuais mostrem promessa, eles ainda não são capazes de derivar conclusões científicas precisas de medições espaciais complexas de forma confiável, destacando uma lacuna significativa entre executar análise procedural e derivar verdade científica.