Résumé technique : PerturbPFN

Énoncé du problème

Prédire les réponses cellulaires à des perturbations chimiques inconnues est un défi central dans la découverte de médicaments. Contrairement aux éditions génétiques discrètes (ex. CRISPR), les petites molécules introduisent des interventions complexes où la cible, la voie et le mécanisme sont souvent inconnus, dépendants du contexte ou seulement partiellement capturés par les covariables de perturbation. Les modèles prédictifs actuels font face à trois obstacles majeurs :

1. Mécanismes inconnus : La nécessité d'inférer des cibles atomiques et des mécanismes latents à partir des données de réponse observées plutôt que de s'appuyer sur des cibles prédéfinies.
2. Généralisation : L'espace de conception théorique des petites molécules dépasse largement les capacités de criblage physique, nécessant des modèles capables de généraliser à des perturbations inédites plutôt que de simplement interpoler entre des médicaments connus.
3. Limites des paradigmes existants :
   • Les modèles boîtes noires non structurés apprennent des décalages statistiques mais manquent d'interprétabilité.
   • Les modèles mécanistes structurés offrent une interprétabilité mais reposent souvent sur une optimisation spécifique à l'instance ou un ajustement propre au jeu de données, ce qui limite leur capacité à amortir la connaissance à travers des contextes hétérogènes (ex. différentes lignées cellulaires ou lots).
   • Les modèles fondationnels pré-entraînés sur de vastes données réelles (ex. scGPT, GenePT) apprennent des représentations robustes mais peuvent ne pas modéliser explicitement la propagation causale des interventions.

Méthodologie

Les auteurs proposent PerturbPFN, un cadre de type Réseau Ajusté aux Données Prioritaires (PFN - Prior-Data Fitted Network) conçu pour l'inférence amortie des effets de perturbation sous un prior de Modèle Structurel Causal (SCM) synthétique hiérarchique.

1. Cadre théorique

L'approche modélise le système comme un SCM $\mathcal{M} = \{G, \theta\}$, où $G$ est un graphe orienté acyclique (DAG) représentant les relations de régulation génique, et $\theta$ paramètre les mécanismes locaux.

• Interventions de décalage (Shift Interventions) : Au lieu d'interventions fortes (suppression de la dépendance aux parents), PerturbPFN modélise les perturbations comme des décalages additifs des mécanismes locaux : $x_i = f_i(x_{G_i}; \theta_i) + \psi_i + \epsilon_i$, où $\psi_i$ est l'intensité de l'intervention pour les nœuds cibles $I$.
• Prédiction épisodique : La tâche consiste à prédire la distribution prédictive postérieure $p(x_j | \gamma_j, D_{ctx})$ pour un régime de requête $\gamma_j$ étant donné les observations de contexte $D_{ctx}$. Le modèle l'approxime en inférant des estimations ponctuelles du graphe latent $G$, des cibles d'intervention $I$ et des intensités $\psi$.

2. Prior Synthétique Hiérarchique

PerturbPFN est entièrement entraîné sur des épisodes prédictifs synthétiques a priori, évitant ainsi le besoin de réponses de perturbations réelles pendant l'entraînement.

• Générateur de graphes : Échantillonne des réseaux de régulation génique (GRN) avec des structures modulaires pour induire des topologies hétérogènes et de type "scale-free".
• Générateur de perturbations : Des descripteurs $\gamma$ génèrent des cibles atomiques éparses à partir d'une distribution géométrique tronquée. Les intensités d'intervention suivent des fonctions de réponse à la dose de type Hill.
• Modèle d'observation : Les données synthétiques sont échantillonnées à partir d'un modèle d'expression log-normale à inflation de zéros avec injection de bruit SERGIO.
• Supervision contrefactuelle : Le bruit exogène est réutilisé à travers les déroulements factuels et intervenus pour garantir que les différences observées reflètent les changements induits par l'intervention.

3. Architecture du modèle

Le modèle utilise un prédicteur amorti basé sur un Transformer avec un goulot d'étranglement structuré :

• Mémoire d'intervention de contexte : Un encodeur partagé traite les paires de contexte $(\gamma_i, x_i)$ pour produire des représentations de nœuds et des résumés de régime. Les têtes de cible et d'intensité prédisent $\hat{I}_i$ et $\hat{\psi}_i$ pour les régimes de contexte, qui sont ensuite encodés en jetons de mémoire d'intervention.
• Branche de structure : Un encodeur de type ensemble-vers-graphe combine les statistiques de réponse de contexte avec les interventions inférées pour estimer le graphe du système $\hat{G}$. Il utilise une pénalité de type NOTEARS ($L_{dag}$) pour imposer l'acyclicité et une projection gourmande pour calibrer la densité des arêtes.
• Inférence de requête : Le régime de requête est conditionné par la mémoire de contexte. Le modèle prédit les cibles spécifiques à la requête $\hat{I}_j$ et les intensités $\hat{\psi}_j$.
• Décodeur SCM : Un décodeur SCM intervenu déroule les effets. Il utilise un graphe $\hat{G}$ projeté de manière rigide et les interventions prédites pour propager les décalages à travers le système latent, produisant une distribution prédictive log-normale à inflation de zéros.

4. Entraînement et Inférence

• Objectif d'entraînement : Une perte multi-tâche combine la perte de graphe ($L_G$), la perte de cible ($L_I$), la perte d'intensité ($L_\psi$), la vraisemblance d'observation ($L_{obs}$) et une pénalité d'acyclicité ($A_{dag}$).
• Inférence : Au moment du test, PerturbPFN effectue une seule passe avant (forward pass) sans mises à jour de gradient. Il convertit les scores d'arêtes continus en un DAG rigide et déroule le décodeur pour prédire les effets.

Contributions clés

1. Cadre : Introduction de PerturbPFN, un cadre de type PFN qui amortit l'inférence des effets de perturbation en utilisant un SCM synthétique hiérarchique a priori. Il prédit explicitement les graphes latents, les cibles éparses et les intensités avant de décoder les réponses, plutôt que de régresser directement des sorties de haute dimension.
2. Efficacité et Généralisation : Démontre une prédiction d'effet compétitive sur des données de cellule unique réelles via une seule passe avant contextuelle, éliminant le besoin d'optimisation spécifique au jeu de données lors du test.
3. Interprétabilité : Fournit des estimations intermédiaires structurées (cibles, intensités, structure du système) qui offrent des perspectives mécanistes, contrastant avec les prédictions d'espace latent des boîtes noires.
4. Évaluation : Évaluation complète à travers la récupération de la latence in-prior, la prédiction d'effet réelle (jeu de données Sci-Plex) et la découverte de la structure de régulation (benchmark GeneRNIB).

Résultats

Récupération de la latence In-Prior

Sur 1 024 épisodes synthétiques, PerturbPFN a réussi à récupérer les variables latentes sans effondrement :

• Récupération du graphe : AUROC de 0,8133 et AUPRC de 0,2980 (significativement au-dessus de la prévalence des arêtes de 0,0363).
• Identification de la cible : AUROC de 0,9330 et F1 de 0,7649.
• Estimation de l'intensité : Ratio moyen d'intensité absolue de 0,9386.
• Prédiction de la réponse : Haute similitude cosinus (0,7437) entre les directions d'intervention prédites et réelles.

Prédiction de l'effet de perturbation (Sci-Plex)

Évalué sur le benchmark de rétention des 12 protocoles à dose la plus élevée :

• Performance : PerturbPFN a obtenu le meilleur score Wasserstein-2 normalisé ($W_2$) (0,9183) et s'est classé deuxième globalement (score moyen de 0,8394), juste derrière le RF X-Learner.
• Efficacité : Une fois pré-entraîné, il nécessite 1,11 seconde par protocole pour l'inférence. C'est nettement plus rapide que GIM (4495s) et CondOT (7266s). Même avec les coûts de pré-entraînement amortis, il reste substantiellement plus rapide que les bases complexes.
• Compromis : Il offre un équilibre favorable entre performance prédictive, interprétabilité structurée et faible coût d'inférence.

Découverte de la structure GRN (GeneRNIB)

Évalué sur le benchmark 300BCG pour transférer la structure apprise à des données biologiques réelles :

• Performance : PerturbPFN a obtenu le meilleur GS-F1 (0,6410), indiquant un fort alignement avec les voies actives, et un TFB-F1 compétitif (0,1146).
• Limites : Il n'a pas surpassé les modèles dédiés aux GRN (ex. GRNBoost2, PORTIA) sur les métriques R-Precision, R-Recall ou Virtual Cell (VC). Les auteurs notent que cela est attendu, car PerturbPFN est optimisé pour la propagation causale sous un prior synthétique, et non pour reproduire des annotations de GRN statiques et curatées.

Signification et Revendications

L'article positionne PerturbPFN comme une étape vers des modèles fondationnels structurés pour la biologie. Sa principale importance réside dans la démonstration que :

1. Le pré-entraînement synthétique est viable : Un modèle peut être pré-entraîné sur des tâches synthétiques à grande échelle pour amortir l'inférence de variables latentes complexes (graphes, cibles, mécanismes) sans nécess ?) de données de perturbation réelles étiquetées pour l'entraînement.
2. Problèmes inverses amortis : Le Transformer amortit efficacement un problème inverse — inférer quel graphe latent et quels changements de mécanisme expliquent les contextes observés — et applique cette procédure à de nouvelles tâches sans adaptation basée sur le gradient.
3. Goulot d'étranglement structuré : Le goulot d'étranglement structuré remplit un double rôle : il sert de contrainte architecturale pour l'efficacité et expose des hypothèses inspectables sur la manière dont les perturbations agissent et se propagent.

Les auteurs adoptent une position modeste, reconnaissant que la signification des variables latentes est liée au prior synthétique et que la récupération de ces variables in-prior ne garantit pas une identifiabilité unique des mécanismes biologiques. Ils suggèrent que les travaux futurs devraient se concentrer sur des simulateurs plus riches, la quantification de l'incertitude a posteriori et le passage à l'échelle du transcriptome complet.