Resumo Técnico: PerturbPFN

Definição do Problema

Prever respostas celulares a perturbações químicas não vistas é um desafio central na descoberta de fármacos. Ao contrário de edições genéticas discretas (ex: CRISPR), pequenas moléculas introduzem intervenções complexas onde o alvo, a via e o mecanismo são frequentemente desconhecidos, dependentes do contexto ou apenas parcialmente capturados por covariáveis de perturbação. Os modelos preditivos atuais enfrentam três obstáculos principais:

1. Mecanismos Desconhecidos: A necessidade de inferir alvos atômicos latentes e mecanismos a partir de dados de resposta observados, em vez de depender de alvos pré-definidos.
2. Generalização: O espaço de design teórico de pequenas moléculas excede vastamente as capacidades de triagem física, exigindo que os modelos generalizem para perturbações não vistas, em vez de apenas interpolar entre drogas conhecidas.
3. Limitações de Paradigmas Existentes:
   • Modelos de caixa-preta não estruturados aprendem deslocamentos estatísticos, mas carecem de interpretabilidade.
   • Modelos mecanísticos estruturados oferecem interpretabilidade, mas frequentemente dependem de otimização específica para cada instância ou ajuste específico ao conjunto de dados, limitando sua capacidade de amortizar o conhecimento através de contextos heterogêneos (ex: diferentes linhagens celulares ou lotes).
   • Modelos fundacionais pré-treinados em dados massivos do mundo real (ex: scGPT, GenePT) aprendem representações robustas, mas podem não modelar explicitamente a propagação causal de intervenções.

Metodologia

Os autores propõem o PerturbPFN, uma estrutura no estilo de Redes Ajustadas a Dados Prévios (PFN - Prior-Data Fitted Network) projetada para a inferência amortizada de efeitos de perturbação sob um prior de Modelo Causal Estrutural (SCM) sintético hierárquico.

1. Estrutura Teórica

A abordagem modela o sistema como um SCM $\mathcal{M} = \{G, \theta\}$, onde $G$ é um Grafo Acíclico Dirigido (DAG) que representa as relações regulatórias gênicas, e $\theta$ parametriza os mecanismos locais.

• Intervenções de Deslocamento: Em vez de intervenções rígidas (removendo a dependência dos pais), o PerturbPFN modela as perturbações como deslocamentos aditivos nos mecanismos locais: $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$, onde $\psi_i$ é a força da intervenção para os nós alvo $I$.
• Predição Episódica: A tarefa é definida como a predição da distribuição preditiva posterior $p(x_j | \gamma_j, D_{ctx})$ para um regime de consulta $\gamma_j$, dado um contexto de observações $D_{ctx}$. O modelo aproxima isso inferindo estimativas pontuais do grafo latente $G$, dos alvos de intervenção $I$ e das forças $\psi$.

2. Prior Sintético Hierárquico

O PerturbPFN é treinado inteiramente em episódios preditivos sintéticos, evitando a necessidade de respostas de perturbação reais durante o treinamento.

• Gerador de Grafos: Amostra redes de regulação gênica (GRNs) com estruturas modulares para induzir topologias heterogêneas e de escala livre (scale-free).
• Gerador de Perturbação: Descritores $\gamma$ geram alvos atômicos esparsos a partir de uma distribuição geométrica truncada. As forças de intervenção seguem funções de dose-resposta do tipo Hill.
• Modelo de Observação: Os dados sintéticos são amostrados de um modelo de expressão log-normal com excesso de zeros e injeção de ruído SERGIO.
• Supervisão Contrafactual: O ruído exógeno é reutilizado entre as execuções fatuais e intervencionadas para garantir que as diferenças pareadas reflitam mudanças induzidas pela intervenção.

3. Arquitetura do Modelo

O modelo utiliza um preditor baseado em Transformer com um gargalo estruturado:

• Memória de Intervenção de Contexto: Um codificador compartilhado processa pares de contexto $(\gamma_i, x_i)$ para produzir representações de nós e resumos de regime. Cabeças de alvo e força predizem $\hat{I}_i$ e $\hat{\psi}_i$ para os regimes de contexto, que são codificados em tokens de memória de intervenção.
• Ramo de Estrutura: Um codificador de conjunto-para-grafo combina estatísticas de resposta de contexto com intervenções inferidas para estimar o grafo do sistema $\hat{G}$. Ele emprega uma penalidade do tipo NOTEARS ($L_{dag}$) para impor a aciclicidade e uma projeção gananciosa para calibrar a densidade de arestas.
• Inferência de Consulta: O regime de consulta é condicionado à memória de contexto. O modelo prediz os alvos específicos da consulta $\hat{I}_j$ e as forças $\hat{\psi}_j$.
• Decodificador SCM: Um decodificador SCM intervencionado executa o efeito. Ele utiliza um grafo $\hat{G}$ de projeção rígida e as intervenções previstas para propagar os deslocamentos através do sistema latente, produzindo uma distribuição preditiva log-normal com excesso de zeros.

4. Treinamento e Inferência

• Objetivo de Treinamento: Uma perda multitarefa combina perda de grafo ($L_G$), perda de alvo ($L_I$), perda de força ($L_\psi$), verossimilhança de observação ($L_{obs}$) e uma penalidade de aciclicidade ($A_{dag}$).
• Inferência: No tempo de teste, o PerturbPFN realiza uma única passagem direta (forward pass) sem atualizações de gradiente. Ele converte pontuações de arestas contínuas em um DAG rígido e executa o decodificador para prever efeitos.

Principais Contribuições

1. Estrutura (Framework): Introdução do PerturbPFN, uma estrutura do tipo PFN que amortiza a inferência de efeitos de perturbação usando um prior de SCM sintético hierárquico. Ele prevê explicitamente grafos latentes, alvos esparsos e forças antes de decodificar as respostas, em vez de regredir diretamente saídas de alta dimensão.
2. Eficiência e Generalização: Demonstra predição de efeito competitiva em dados de célula única reais através de uma única passagem direta de contexto, eliminando a necessidade de otimização específica do conjunto de dados no tempo de teste.
3. Interpretabilidade: Fornece estimativas intermediárias estruturadas (alvos, forças, estrutura do sistema) que oferecem insights mecanísticos, contrastando com predições de espaço latente de caixa-preta.
4. Avaliação: Avaliação abrangente através de recuperação de latente in-prior, predição de efeito no mundo real (conjunto de dados Sci-Plex) e descoberta de estrutura regulatória (benchmark GeneRNIB).

Resultados

Recuperação de Latente In-Prior

Em 1.024 episódios sintéticos, o PerturbPFN recuperou com sucesso as variáveis latentes sem colapso:

• Recuperação de Grafo: AUROC de 0,8133 e AUPRC de 0,2980 (significativamente acima da prevalência de arestas de 0,0363).
• Identificação de Alvo: AUROC de 0,9330 e F1 de 0,7649.
• Estimativa de Força: Razão de força média absoluta de 0,9386.
• Predição de Resposta: Alta similaridade de cosseno (0,7437) entre as direções de intervenção previstas e reais.

Predição de Efeito de Perturbação (Sci-Plex)

Avaliado no benchmark de retenção de maior dosagem de 12 protocolos:

• Desempenho: O PerturbPFN alcançou a melhor pontuação de Wasserstein-2 normalizada ($W_2$) (0,9183) e ficou em segundo lugar geral (pontuação média de 0,8394), atrás apenas do RF X-Learner.
• Eficiência: Uma vez pré-treinado, requer 1,11 segundo por protocolo para inferência. Isso é significativamente mais rápido que o GIM (4495s) e o CondOT (7266s). Mesmo com os custos de pré-treinamento amortizado, permanece substancialmente mais rápido que as bases complexas.
• Compromisso (Trade-off): Oferece um equilíbrio favorável entre desempenho preditivo, interpretabilidade estruturada e baixo custo de inferência.

Descoberta de Estrutura de GRN (GeneRNIB)

Avaliado no benchmark 300BCG para transferir a estrutura aprendida para dados biológicos reais:

• Desempenho: O PerturbPFN alcançou o melhor GS-F1 (0,6410), indicando forte alinhamento com vias ativas, e um TFB-F1 competitivo (0,1146).
• Limitações: Não superou as bases dedicadas de GRN (ex: GRNBoost2, PORTIA) em R-Precision, R-Recall ou métricas de Virtual Cell (VC). Os autores observam que isso é esperado, pois o PerturbPFN é otimizado para propagação causal sob um prior sintético, não para reproduzir anotações estáticas curadas de GRN.

Significância e Alegações

O artigo posiciona o PerturbPFN como um passo em direção aos modelos fundacionais estruturados para a biologia. Sua principal significância reside em demonstrar que:

1. O Pré-treinamento Sintético é Viável: Um modelo pode ser pré-treinado em tarefas sintéticas de larga escala para amortizar a inferência de variáveis latentes complexas (grafos, alvos, mecanismos) sem exigir dados de perturbação reais rotulados para o treinamento.
2. Problemas Inversos Amortizados: O Transformer efetivamente amortiza um problema inverso — inferir qual grafo latente e mudança de mecanismo explicam os contextos observados — e aplica este procedimento a novas tarefas sem adaptação baseada em gradiente.
3. Gargalo Estruturado: O gargalo estruturado serve a um duplo propósito: atua como uma restrição arquitetônica para eficiência e expõe hipóteses inspecionáveis sobre como as perturbações atuam e se propagam.

Os autores mantêm uma postura modesta, reconhecendo que o significado das variáveis latentes está atrelado ao prior sintético e que recuperar esses elementos in-prior não garante identificabilidade única de mecanismos biológicos. Eles sugerem que trabalhos futuros devem focar em simuladores mais ricos, quantificação de incerteza de posterior e escalonamento para transcriptomas completos.