Method Choice, Not Biology, Determines In Silico Perturbation Results: A Systematic Evaluation of Eight Methods Across Four Datasets

Résumé Technique : Le choix de la méthode, et non la biologie, détermine les résultats des perturbations in silico

Énoncé du problème
Les méthodes actuelles de perturbation in silico pour la transcriptomique en cellule unique souffrent d'un manque critique de validation : elles sont généralement évaluées sur des jeux de données individuels, laissant leur fiabilité, leur généralisabilité et leur capacité à récupérer les véritables signaux causaux inconnues. Ce manque d'évaluation systématique entre les méthodes et entre les jeux de données rend difficile la détermination de savoir si les conclusions biologiques observées sont dictées par la biologie sous-jacente ou par des artefacts de choix algorithmiques spécifiques.

Méthodologie
Les auteurs ont mené une étude de benchmarking systématique évaluant huit méthodes distinctes de perturbation in silico. Ces méthodes couvrent six cadres mathématiques différents et ont été testées sur quatre jeux de données diversifiés. La stratégie d'évaluation comprenait :

• Benchmarking croisé méthodes et jeux de données : Comparaison de la cohérence des performances à travers différents contextes biologiques.
• Analyse de la détection de signaux : Évaluation de la capacité des méthodes à détecter la régulation directionnelle facteur de transcription (TF)-vers-voie métabolique, en se concentrant spécifiquement sur le signal TF-vers-glycolyse.
• Vérifications de la cohérence biologique : Analyse des associations TF-voie dans les monocytes de PBMC, incluant des tests d'enrichissement pour des paires spécifiques (ex: SPI1 vers la glycolyse, FOS vers les cibles d'AP-1) et l'utilisation de SOX9 comme contrôle négatif pour la spécificité de la voie.
• Cohérence de la corrélation et du classement : Mesure de la corrélation entre les classements des méthodes pour identifier les résultats anti-corrélés qui pourraient inverser les conclusions biologiques.
• Validation expérimentale : Validation des prédictions par rapport aux données de Perturb-seq par CRISPRi dans les cellules K562, en comparant spécifiquement les directions de perturbation prédites aux résultats de knockdown expérimental pour des gènes tels que JUN, CEBPB, SPI1 et FOS.
• Analyse des modes de défaillance diagnostiques : Utilisation du profilage de l'espace latent des VAE, des comparaisons de distribution de corrélation et de l'analyse de graphes gène-gène pour identifier les défaillances techniques spécifiques des méthodes sous-performantes.
• Études d'ablation : Test pour déterminer si l'incorporation d'un a priori de réseau de régulation génique (GRN) dans la méthode DDIM améliorait le rappel des cibles.

Résultats clés

• Échec généralisé des méthodes actuelles : Six des huit méthodes évaluées, y compris les approches basées sur les auto-encodeurs variationnels (VAE) et la décomposition tensorielle largement utilisées, n'ont pas réussi à produire des signaux directionnels détectables TF-vers-voie.
• Succès limité : Seules CellOracle et DDIM ont détecté de manière cohérente la régulation directionnelle TF-vers-glycolyse. Bien que les deux méthodes aient réussi le benchmark initial, les prédictions de CellOracle ont échoué lors de la validation expérimentale ultérieure.
• Conclusions dépendantes de la méthode : Le choix de la méthode peut à lui seul inverser les conclusions biologiques. Par exemple, les classements produits par DDIM et scTenifoldKnk sont significativement anti-corrélés ($\rho = -0,811$, $p = 0,027$).
• Écart de validation : Bien que le CRISPRi Perturb-seq ait confirmé que le knockdown de TF supprime l'expression des gènes de la glycolyse (ex: JUN $\delta = -1,72$, SPI1 $\delta = -1,57$), les directions de perturbation prédites par CellOracle ne présentaient qu'un accord de 40,9 % avec les directions expérimentales — un taux qui n'est pas significativement différent du hasard. Cela souligne un fossé fondamental entre la corrélation à l'état stationnaire et l'inférence de perturbation causale.
• Modes de défaillance identifiés : Les analyses diagnostiques ont révélé les raisons spécifiques de l'échec des méthodes :
  • Compétition de l'espace latent VAE : Faibles rapports signal/bruit (ex: rapport signal/bruit de STAT3 de 0,44 contre 4,25 pour SPI1).
  • Bruit de corrélation : Les corrélations TF-glycolyse ($|r|=0,038$) étaient indiscernables du bruit de fond ($|r|=0,047$).
  • Non-spécificité du graphe : Facteurs d'enrichissement aussi bas que 0,84x.
• Résultats d'ablation : L'ajout d'un a priori GRN à DDIM n'a pas amélioré le rappel des cibles ($\delta = 0$ pour tous les TF), confirmant que les différences de performance sont multifactorielles et ne peuvent être résolues uniquement par l'intégration d'a priori.

Contributions clés

• Benchmarking systématique : Cette étude fournit la première évaluation croisée méthodes et jeux de données de huit méthodes de perturbation in silico, dépassant la validation sur un seul jeu de données.
• Preuve empirique du biais de méthode : L'article démontre que la sélection de la méthode est un déterminant primaire des résultats, capable de générer des récits biologiques contradictoires.
• Cadre de diagnostic : Il introduit des outils de diagnostic spécifiques (profilage de l'espace latent, comparaison de distribution de corrélation, analyse de graphe) pour identifier pourquoi certaines méthodes échouent dans certains contextes.
• Identification du fossé de validation : Le travail quantifie explicitement le déconnect entre les prédictions basées sur la corrélation à l'état stationnaire et les résultats de perturbation expérimentale.

Signification et orientation
L'article établit que les conclusions biologiques tirées de la perturbation in silico dépendent fortement de l'algorithme choisi plutôt que de refléter purement une vérité biologique. Par conséquent, les auteurs fournissent des orientations préliminaires, basées sur les données, pour la sélection de méthodes afin de limiter ces risques. Ces orientations incluent :

• La mise en œuvre d'une validation croisée des voies.
• L'adoption de protocoles de benchmarking sensibles à la direction.
• Le respect des exigences minimales de données pour assurer une détection robuste du signal, en recommandant spécifiquement des jeux de données avec $\ge$ 500 cellules et $\ge$ 1 000 gènes hautement variables (HVG).

Les conclusions soulignent la nécessité d'une validation rigoureuse et multidimensionnelle avant de s'appuyer sur les résultats de perturbation computationnelle pour l'inférence biologique.