Resumo Técnico: Plausibilidade Não é Predição: Evidência Contrastiva para o Raciocínio de Perturbação Celular Baseado em LLM

Definição do Problema e Motivação

Experimentos de perturbação, como tratamentos com drogas e edição genética, são fundamentais para compreender mecanismos celulares, mas permanecem custosos e esparsos. Essa limitação motiva a predição de respostas de expressão gênica para condições não observadas. Embora trabalhos recentes tenham proposto o uso de Grandes Modelos de Linguagem (LLMs) como simuladores de "célula virtual" para realizar o raciocínio mecanístico passo a passo e fundamentado em conhecimento para a predição de expressão diferencial (DE), este artigo identifica um modo de falha crítico: plausibilidade não é predição.

Métodos existentes baseados em LLM (ex: VCWorld, SUMMER) tipicamente avaliam pares perturbação–gene isoladamente. Eles induzem os modelos a gerar justificativas biologicamente plausíveis sobre se um gene apresenta expressão diferencial dada uma perturbação. No entanto, os autores demonstram que esses métodos falham sistematicamente em capturar efeitos específicos da perturbação. Em vez de raciocinar sobre a intervenção específica, os modelos dependem de tendências intrínsecas de resposta gênica (priors de frequência gênica). Isso leva a três modos de falha empírica:

1. Superestimação Sistemática: Os modelos exibem um forte viés para prever "sim" (expressão diferencial), prevendo resultados positivos para a maioria das consultas mesmo quando a taxa positiva empírica é baixa (ex: prevendo "sim" para 92,1% das consultas quando a taxa real é de 29,0%).
2. Métricas Agregadas Confundidas: O alto desempenho agregado (AUROC/AUPRC) é frequentemente alcançado ao explorar a frequência marginal das respostas gênicas (alguns genes raramente se expressam, outros frequentemente), em vez de aprender a distinguir entre diferentes perturbações para o mesmo gene.
3. Discriminação por Gene ao Nível do Acaso: Quando avaliados em uma base macro-por-gene (exigindo que o modelo classifique diferentes perturbações para um gene fixo), o raciocínio isolado de LLM colapsa para um desempenho ao nível do acaso, indicando uma falta de verdadeiro raciocínio específico de perturbação.

O problema central identificado é a organização da evidência. Métodos existentes apresentam consultas isoladamente, sem expor como perturbações relacionadas diferem em seus efeitos sobre o mesmo gene alvo. Sem sinais contrastivos, os modelos não conseguem distinguir resultados específicos de perturbação de uma plausibilidade biológica geral.

Metodologia: CORE

Para abordar essas limitações, os autores propõem o CORE (Contrastive Organization of Relational Evidence), um framework que reformula a predição de perturbação como uma tarefa de comparação.

1. ReasonKG: Um Grafo de Conhecimento Biomédico Harmonizado

O CORE baseia-se no ReasonKG, um grafo de conhecimento recém-construído que harmoniza cinco recursos biomédicos (VCWorld, PrimeKG, HetioNet, PertKGE e BioKG). O ReasonKG integra 667.920 nós canônicos e mais de 27 milhões de arestas direcionadas, criando um espaço de grafo denso e transferível que conecta drogas, genes, vias e doenças. Essa integração resolve lacunas de conectividade encontradas em grafos individuais (ex: pares droga-gene isolados do VCWorld), permitindo a recuperação robusta de perturbações biologicamente relacionadas.

2. Construção de Evidência Contrastiva

Para uma consulta $(p, g)$ retida (perturbação $p$, gene $g$), o CORE realiza as seguintes etapas:

• Recuperação: Ele recupera perturbações de suporte $p'$ que são biologicamente relacionadas a $p$ usando assinaturas derivadas do KG (baseadas em distâncias de caminho mais curto para genes fundamentados).
• Organização Contrastiva: Ele coleta os rótulos de DE observados para essas perturbações relacionadas no mesmo gene alvo $g$.
• Particionamento: A evidência recuperada é particionada em:
  • Conjunto de Suporte Positivo ($H^+$): Perturbações relacionadas que causaram expressão diferencial em $g$.
  • Conjunto de Suporte Negativo ($H^-$): Perturbações relacionadas que não causaram expressão diferencial em $g$.
• Pontuação: A evidência é resumida em massas de votação ($V^+, V^-$) baseadas em pesos de similaridade, gerando um escore de contraste ($s_{contrast}$) que reflete a proporção de evidência positiva.

3. Instanciações do Framework

O CORE é instanciado em dois cenários complementares para validar a utilidade da evidência contrastiva:

• CORE-Voting (Não-LLM): Um agregador determinístico que computa uma combinação ponderada do escore de contraste do mesmo gene e um escore suavizado pelo âncoras de gene (tomando emprestada a evidência de genes com perfis de resposta semelhantes). Isso testa se o sinal contrastivo contém informação específica de perturbação independente do raciocínio de LLM.
• CORE-Reasoning (Baseado em LLM): Este reformula o pacote de evidência estruturada (incluindo escores de contraste, conjuntos de suporte positivo/negativo, caminhos de KG e escores de âncoras de gene) em um prompt para um LLM. O LLM tem a tarefa de adjudicar a qualidade da evidência (ex: distinguindo caminhos mecanísticos específicos de conectividade genérica) e calibrar a predição final, em vez de gerar plausibilidade sem restrições.

Principais Resultados

Os autores avaliam o CORE em duas famílias de benchmarks: Tahoe100M (perturbações de drogas em células de melanoma C32) e PerturbQA (perturbações de CRISPRi em células K562, HepG2, Jurkat e RPE1).

1. Calibração e Correção de Viés

• Redução do Viés de "Sim": Prompts no estilo padrão do VCWorld frequentemente preveem "sim" para >80% das consultas. O CORE-Reasoning reduz significativamente esse viés, aproximando a taxa de positivos prevista da prevalência empírica (ex: reduzindo a taxa de "sim" do Mistral-7B de 92,1% para 26,1% em C32).
• Melhoria na Calibração: O CORE-Reasoning melhora o AUROC agregado, a acurácia e os escores F1 em vários backbones de LLM (Mistral, Llama, DeepSeek, Qwen3.5, GPT-5.4). Por exemplo, em C32, o CORE-Reasoning com Qwen3.5-9B melhora o AUROC agregado em 26,0%, a acurácia em 19,8% e o F1 em 28,6% em comparação com o prompting padrão.

2. Discriminação Específica de Perturbação

• Desempenho por Gene: O ganho mais significativo está nas métricas macro-por-gene, que medem a capacidade de distinguir perturbações para um gene fixo.
  • CORE-Voting: Sem um LLM, o CORE-Voting melhora o AUROC macro-por-gene de 0,500 (acaso) para 0,574 (orçamento fixo) e 0,627 (suporte total) em C32, e para 0,711 em PerturbQA K562.
  • CORE-Reasoning: LLMs que utilizam evidência contrastiva também mostram melhorias substanciais no desempenho por gene, confirmando que a estrutura da evidência permite uma melhor discriminação do que o raciocínio isolado.

3. Comparação com Baselines

• Contra Votação de Prior de Gene: Embora baselines simples de frequência gênica performem bem em métricas agregadas, eles falham completamente na discriminação por gene (AUROC = 0,500). O CORE supera esses baselines em métricas por gene enquanto mantém um desempenho agregado competitivo.
• Contra Estado da Arte: O CORE-Reasoning supera modelos recentes de estado da arte de perturbação de célula única (ex: STATE, PerturbDiff) e métodos anteriores baseados em LLM (VCWorld, SUMMER) na maioria das métricas, particularmente no cenário desafiador fora da distribuição (out-of-distribution), onde as perturbações de teste são mantidas fora do treinamento.

Significância e Alegações

O artigo afirma que a organização de evidência contrastiva é essencial para um raciocínio de perturbação baseado em LLM confiável. O achado central é que a plausibilidade biológica sozinha é insuficiente para a predição; os modelos requerem contraste empírico — especificamente, evidência mostrando como perturbações similares produzem resultados diferentes para o mesmo gene — para aprender efeitos específicos de perturbação.

Ao organizar a evidência em conjuntos de suporte positivo e negativo para o mesmo gene alvo, o CORE muda o paradigma de "gerar uma história plausível" para "comparação fundamentada". Esta abordagem:

1. Desacopla Plausibilidade de Predição: Impede que os modelos tratem qualquer caminho biologicamente conectado como evidência suficiente para expressão diferencial.
2. Melhora a Calibração: Corrige a superestimação sistemática de resultados positivos comum no prompting isolado de LLM.
3. Permite Transferência: O framework melhora o desempenho através de diferentes linhagens celulares e tipos de perturbação (drogas e edições genéticas), sugerindo que a utilidade da organização contrastiva se estende além de datasets específicos.

Os autores concluem que o raciocínio de "célula virtual" confiável depende tanto da estrutura da evidência quanto da cobertura do conhecimento biológico, destacando que o gargalo nos abordagens atuais de LLM não é a capacidade do modelo ou a recuperação de conhecimento, mas a falta de sinais contrastivos necessários para o raciocínio específico.