Genetic Perturbation Prediction Models Fail Out-of-Distribution: A Rigorous Benchmark and Systematic Evaluation

Imaginez un monde où les scientifiques pourraient prédire la réaction d'une cellule vivante à un changement génétique spécifique sans jamais avoir à réaliser l'expérience en laboratoire. C'est la promesse des modèles de « cellule virtuelle », des programmes informatiques conçus pour simuler les effets de l'activation ou de la désactivation de gènes. Dans le monde réel, les chercheurs utilisent des outils puissants pour désactiver les gènes un par un, puis mesurent les changements résultants dans l'activité de la cellule, un processus lent, coûteux et difficile à mettre à l'échelle. Si un ordinateur pouvait prévoir avec précision ces résultats, il agirait comme un raccourci massif, permettant aux développeurs de médicaments de tester des milliers de traitements potentiels en une fraction du temps. Pendant des années, le domaine a couru pour construire ces modèles, de nombreux chercheurs pariant que des systèmes d'intelligence artificielle plus complexes finiraient par maîtriser la tâche.

Cependant, une nouvelle étude suggère que la génération actuelle de ces modèles échoue à un test critique. Les chercheurs derrière ce travail, une équipe d'Elucidata Corporation, ont cherché à voir si ces programmes informatiques apprennent réellement les règles biologiques de la vie ou s'ils se contentent de mémoriser des motifs à partir des données qui leur ont été fournies. Ils ont découvert que, bien que ces modèles semblent bien fonctionner dans des conditions de test standard, ils s'effondrent lorsqu'on leur demande de prédire les effets de gènes qu'ils n'ont jamais vus auparavant. L'étude révèle que les modèles les plus sophistiqués, y compris ceux construits sur les dernières technologies de fondation, n'offrent aucun avantage réel par rapport à des méthodes beaucoup plus simples. Au lieu de comprendre la machinerie sous-jacente de la cellule, ces programmes ne font essentiellement que deviner en se basant sur la similitude avec des exemples passés, une stratégie qui s'effondre face à de nouveaux scénarios biologiques inconnus.

Pour comprendre pourquoi cela est important, il faut d'abord saisir la nature du défi. Lorsque les scientifiques étudient les gènes, ils observent comment les instructions internes de la cellule changent lorsqu'un gène spécifique est supprimé. Dans une expérience typique, ils pourraient tester des centaines de gènes dans un seul type de cellule. L'objectif pour un modèle informatique est d'apprendre de ces centaines d'exemples et de prédire ensuite ce qui se passerait si un autre gène, qu'il n'a jamais rencontré, était supprimé. C'est une tâche difficile car la relation entre un gène et son effet n'est pas toujours évidente ; elle dépend d'un réseau complexe d'interactions au sein de la cellule. La méthode standard pour tester ces modèles consiste à diviser les données de manière aléatoire, donnant à l'ordinateur certains gènes pour apprendre et quelques autres à prédire. Le problème de cette approche est que les « nouveaux » gènes sont souvent biologiquement similaires à ceux que l'ordinateur connaît déjà. C'est comme demander à un étudiant de passer un examen où les questions sont de simples variations de celles qu'il a étudiées. L'étudiant pourrait obtenir un score parfait, non pas parce qu'il comprend le sujet, mais parce qu'il a reconnu le motif.

L'équipe derrière cette étude, dirigée par Kanupriya Tiwari et ses collègues, a décidé de changer les règles du jeu. Ils ont introduit un nouveau cadre de test appelé EL-PERTURB, conçu pour tester la résistance de ces modèles dans des conditions réalistes. Au lieu de divisions aléatoires, ils ont regroupé les gènes en fonction de la manière dont ils affectent réellement le comportement de la cellule. Ils ont ensuite contraint les modèles à prédire les effets de gènes provenant d'un groupe complètement différent, garantissant que les gènes de test étaient fonctionnellement distincts des gènes d'entraînement. Cette configuration imite un scénario du monde réel où un développeur de médicaments doit prédire l'effet d'un gène qui n'a jamais été étudié auparavant. Ils ont testé vingt modèles différents, allant d'outils statistiques simples à des systèmes d'apprentissage profond complexes, incluant ceux qui utilisent de vastes bases de données pré-entraînées de connaissances biologiques. Ils ont mené ces tests sur des données de quatre lignées cellulaires humaines différentes, couvrant à la fois des gènes essentiels, qui sont critiques pour la survie de la cellule, et un ensemble plus large de gènes trouvés dans des criblages à l'échelle du génome.

Les résultats ont été frappants et constants. Lorsque les modèles étaient testés sur des gènes similaires à leurs données d'entraînement, ils performaient raisonnablement bien, confirmant qu'ils pouvaient interpoler, ou combler les lacunes entre les exemples connus. Mais lorsque les chercheurs ont appliqué le nouveau test, plus strict, avec des gènes fonctionnellement distincts, la performance de chaque modèle a chuté de manière spectaculaire. Les modèles complexes, qui incluent des réseaux de neurones avancés et des systèmes construits sur des modèles de fondation entraînés sur de vastes quantités de textes et de données biologiques, n'ont pas fait mieux que les méthodes de base beaucoup plus simples. En fait, dans certains cas, les modèles plus simples ont mieux résisté. L'étude a montré que les architectures les plus sophistiquées n'offraient aucun avantage fiable pour gérer ces nouvelles situations biologiques inédites. Les modèles n'apprenaient pas la logique causale de la façon dont les gènes contrôlent les cellules ; ils ne faisaient que récupérer des réponses dans un voisinage mémorisé d'exemples similaires.

Les chercheurs ont également examiné si l'utilisation de données provenant de plusieurs types de cellules pouvait aider les modèles à mieux généraliser. Ils ont découvert que cette approche ne fonctionnait que lorsque les réponses biologiques à travers les différents types de cellules étaient hautement similaires, comme pour les gènes essentiels qui déclencnt des réponses de stress communes. Cependant, lorsqu'ils sont passés aux criblages à l'échelle du génome, qui impliquent un ensemble beaucoup plus diversifié et chaotique de réactions biologiques, le bénéfice de l'utilisation de plusieurs types de cellules a totalement disparu. Dans ces scénarios complexes, les modèles ne parvenaient pas à transférer les connaissances efficacement, et les prédicteurs les plus performants étaient souvent les plus simples, tels que les outils de régression de base ou les méthodes reposant sur la récupération de faits biologiques connus plutôt que sur l'apprentissage à partir des données elles-mêmes. Cela suggère que le goulot d'étranglement n'est pas la conception du modèle, mais la nature des données et l'absence d'une véritable compréhension des mécanismes causaux qui pilotent le comportement de la cellule.

Une autre conclusion clé concernait l'utilisation des « modèles de fondation », qui sont de grands systèmes d'intelligence artificielle pré-entraînés sur de massifs ensembles de données d'informations génétiques. De nombreux chercheurs espéraient que ces systèmes, ayant appris des motifs biologiques généraux, pourraient donner un coup de pouce pour prédire les effets de gènes spécifiques. L'étude a testé les plongements (embeddings), ou représentations numériques des gènes, dérivés de ces modèles de fondation, et les a comparés à des représentations construites à partir de connaissances biologiques curatées et sélectionnées manuellement. Les résultats ont montré que les plongements des modèles de fondation n'offraient aucune amélioration par rapport aux connaissances curatées. Dans certaines configurations, ils rendaient même les prédictions légèrement moins bonnes. Cela indique que la génération actuelle de ces grands modèles ne code pas encore l'information causale spécifique nécessaire pour prédire comment une cellule réagira à un changement génétique, du moins pas d'une manière qui surpasse les sources de connaissances biologiques plus directes et simples.

L'étude conclut que le domaine surestime les capacités de ces modèles car les méthodes de test standard sont trop faciles. En s'appuyant sur des divisions aléatoires et des quantités généreuses de données d'entraînement, les références précédentes ont permis aux modèles de réussir par interpolation plutôt que par une véritable extrapolation. Les auteurs soutiennent que, pour progresser, la communauté doit adopter des normes d'évaluation plus strictes qui forcent les modèles à faire face à des défis biologiques réellement nouveaux. Ils proposent que les futurs modèles doivent aller au-delà de la reconnaissance de formes et commencer à encoder la structure causale réelle de la biologie, comprenant comment une perturbation se propage à travers un réseau d'interactions pour produire un résultat spécifique. D'ici là, la promesse d'une « cellule virtuelle » capable de remplacer de manière fiable les expériences en laboratoire humide reste hors de portée, et les outils les plus efficaces pour prédire les effets génétiques pourraient encore être les méthodes les plus simples et les plus transparentes qui ont été négligées dans la course vers la complexité.