Resumo Técnico: AssayBench

Declaração do Problema

A visão de uma "célula virtual"—um modelo computacional capaz de prever respostas celulares através de diversas perturbações, contextos e leituras—apresenta grande promessa para acelerar a descoberta de fármacos em estágios iniciais. Uma aplicação crítica dessa visão é a triagem fenotípica in silico, onde modelos preveem quais perturbações genéticas ou químicas modularão um fenótipo específico de interesse (por exemplo, sobrevivência celular, resistência a fármacos ou carga de infecção). Diferentemente de tarefas focadas na reconstrução de estados moleculares (como transcriptômica de célula única), a triagem fenotípica opera no nível dos pontos finais de ensaio, alinhando-se diretamente à tomada de decisão em pipelines de descoberta de fármacos.

No entanto, o progresso nessa área tem sido dificultado pela falta de um padrão de referência (benchmark). Os benchmarks existentes para modelagem de perturbações focam principalmente em leituras moleculares (por exemplo, expressão gênica) e são frequentemente treinados em modalidades específicas com entradas estruturadas. Eles falham em capturar a heterogeneidade das triagens fenotípicas do mundo real, que variam amplamente em condições experimentais, tipos de leitura e critérios de significância. Consequentemente, não há um framework estabelecido para avaliar se Modelos de Linguagem de Grande Escala (LLMs) ou sistemas agênticos podem integrar efetivamente o contexto biológico para prever resultados fenotípicos medidos experimentalmente.

Metodologia

Construção do Conjunto de Dados (ASSAYBENCH)

Os autores construíram o ASSAYBENCH, um benchmark composto por 1.920 triagens CRISPR publicamente disponíveis derivadas do banco de dados BioGRID ORCS e literatura recente. O pipeline de curadoria envolveu:

1. Harmonização: Normalização de símbolos gênicos para a nomenclatura HGNC e fusão de réplicas técnicas.
2. Classificação Fenotípica: Uso de curadoria assistida por LLM para extrair descrições detalhadas de fenótipos e direções de efeito (aumento/diminuição), agrupando as triagens em cinco categorias amplas:
   • Aptidão/Proliferação/Viabilidade
   • Resposta Química/Ambiental
   • Resposta Hospedeiro-Patógeno/Infecção
   • Saída Molecular/Relator/Atividade de Via
   • Tráfego/Localização/Fenótipos Estruturais
3. Pontuação: Transformação de critérios de significância heterogêneos (por exemplo, valores-p, mudanças de dobramento) em uma pontuação de relevância contínua para cada gene. Genes que satisfazem o critério de significância recebem pontuações positivas; aqueles associados à direção de fenótipo oposta recebem pontuações negativas; não-alvos recebem zero.
4. Divisão Temporal: Para induzir uma mudança de distribuição realista e evitar vazamento de dados de corpora de pré-treinamento, as triagens foram divididas por ano de publicação:
   • Treino: Publicadas antes de 2021 (1.349 triagens).
   • Validação: Publicadas em 2021 (218 triagens).
   • Teste: Publicadas após 2021 (334 triagens).
   • LaTest: Um subconjunto de 19 triagens muito recentes (pós-setembro de 2025) para sondar a generalização para literatura não vista.

Formulação da Tarefa

A tarefa é formulada como um problema de ranqueamento de genes. Dada uma descrição em texto livre da triagem (incluindo linhagem celular, biblioteca, tratamento e critérios de significância), um modelo deve produzir uma lista ranqueada dos 100 genes candidatos principais. Essa formulação espelha fluxos de trabalho do mundo real onde cientistas priorizam uma lista curta de candidatos para validação, em vez de pontuar cada gene individualmente.

Métricas de Avaliação

Para lidar com a heterogeneidade dos ensaios e a dificuldade variável das triagens, os autores introduziram o Ganho Cumulativo Descontado Normalizado Ajustado (AnDCG@k):

• Condensação: Genes não testados na lista de previsão são ignorados em vez de penalizados como falsos positivos.
• Ajuste: Uma linha de base aleatória específica da triagem é subtraída para normalizar o desempenho entre ensaios com diferentes dificuldades inerentes.
• Direcionalidade: A métrica considera pontuações de relevância negativas (genes associados ao fenótipo oposto).
• Métricas Complementares: Precisão@k e Taxa de Descoberta Falsa Direcional (dFDR@k) também são relatadas.

Contribuições Principais

1. Primeiro Benchmark Fenotípico em Grande Escala: Introdução do ASSAYBENCH, o primeiro benchmark especificamente projetado para previsão de triagens fenotípicas, cobrindo 1.920 triagens em cinco classes de fenótipos.
2. Formalização da Tarefa: Enquadramento do problema como ranqueamento de genes específico da triagem sob uma divisão temporal, utilizando um sistema de pontuação de relevância contínua que harmoniza critérios experimentais diversos.
3. Métrica Novel: Proposta do AnDCG, uma métrica adaptada para ensaios heterogêneos que corrige linhas de base aleatórias específicas da triagem, permitindo comparação justa entre ensaios.
4. Estudo Empírico Abrangente: Uma avaliação extensa de LLMs generalistas de ponta, modelos específicos de biologia, preditores neurais treináveis e basais de recuperação.

Resultados

Desempenho do Modelo

• LLMs de Ponta Lideram: LLMs generalistas zero-shot (por exemplo, Gemini 3 Pro, GPT-5.4) superaram LLMs específicos de biologia (por exemplo, C2S-Scale, Biomni), preditores neurais treináveis de relevância gênica e basais simples de recuperação (Embedding kNN) no conjunto de teste.
• Ganhos de Otimização: Técnicas como Ajuste Fino Supervisionado (SFT), Aprendizado por Reforço (GRPO) e otimização de prompt (GEPA) proporcionaram melhorias marginais para alguns modelos. No entanto, um ensemble automaticamente descoberto de previsões de LLM alcançou o melhor desempenho no teste (AnDCG@100 ≈ 0,163), superando modelos individuais.
• Teto de Desempenho: Apesar desses avanços, todos os modelos permanecem longe do teto de desempenho empírico.
  • Um "Oracle kNN" (recuperação perfeita da triagem de treinamento mais similar) alcançou um AnDCG@100 de ~0,29, aproximadamente 86% maior que o melhor LLM.
  • Um preditor usando réplicas técnicas (prevendo uma réplica com base em outra) quase dobrou o desempenho do melhor LLM, destacando que os modelos atuais ainda não dominaram a estocasticidade biológica subjacente.

Generalização e Memorização

• Mudança Temporal: O desempenho caiu na divisão LaTest (triagens muito recentes), sugerindo que parte da vantagem dos LLMs de ponta em triagens mais antigas pode ser impulsionada pela memorização de literatura presente em seus dados de pré-treinamento. Uma análise de regressão confirmou uma forte correlação entre o número de citações da triagem e o desempenho do modelo.
• Tendências de Escala: Modelos maiores dentro da família Qwen geralmente mostraram melhor desempenho, embora os ganhos tenham estagnado, possivelmente devido à arquitetura Mixture-of-Experts (MoE) reduzir a contagem de parâmetros ativos.
• Variância Fenotípica: O desempenho variou significativamente por fenótipo. Os modelos tiveram melhor desempenho em triagens de "Aptidão/Proliferação/Viabilidade" (provavelmente devido a genes essenciais conservados) e lutaram mais com fenótipos específicos de contexto, como respostas Hospedeiro-Patógeno.

Vieses Biológicos

A análise revelou vieses sistemáticos nas previsões dos modelos: os modelos GPT tendiam a super-representar genes do ciclo celular, enquanto os modelos Gemini super-representavam genes de biologia do desenvolvimento, refletindo provavelmente a distribuição desses tópicos em seus corpora de treinamento.

Significado e Alegações

O artigo posiciona o ASSAYBENCH como um campo de testes prático para medir o progresso em direção à triagem fenotípica in silico e, mais amplamente, a modelos de células virtuais. Os autores afirmam que:

• Viabilidade: LLMs de propósito geral robustos já são competitivos para a previsão de acertos fenotípicos em nível de ensaio sem treinamento explícito para a tarefa, sugerindo que integrar contexto biológico em modelos de linguagem é um caminho viável a seguir.
• Lacuna para a Realidade: Os métodos atuais estão longe de resolver a tarefa, como evidenciado pela grande lacuna entre o desempenho do modelo e o teto empírico derivado de réplicas técnicas.
• Direções Futuras: O benchmark apoia pesquisas futuras na otimização de LLMs para biologia (via ajuste fino, ensembling e engenharia de prompt) e destaca a necessidade de tarefas auxiliares (por exemplo, raciocínio sobre perturbações) e conjuntos de dados maiores para fechar a lacuna entre as capacidades atuais e os requisitos de uma verdadeira célula virtual.
• Utilidade do Benchmark: Os autores enfatizam a importância da divisão temporal e do conjunto LaTest para distinguir entre memorização e generalização genuína, notando planos para atualizar o benchmark trimestralmente para manter sua utilidade à medida que os modelos melhoram.