💻 bio-informatique

BioMod: Biological Module Tokenization for Single-Cell Foundation Modeling

BioMod est un modèle de fondation de cellule unique à 50 millions de paramètres qui améliore l'efficacité de la représentation et la performance en tokenisant les cellules en modules chevauchants biologiquement significatifs plutôt qu'en gènes individuels, atteignant des résultats de pointe dans des tâches telles que l'annotation de types cellulaires et la prédiction de perturbations tout en permettant une inférence efficace sur un seul GPU.

Auteurs originaux : Meng, L., Zhu, J., Han, B., Zang, Y., Li, W., Zong, K., Zhong, J., Yang, Y., Liu, J., Jia, J., Sun, R., Yu, G., Han, J., Chen, Y., Zhang, L., Xu, J.

Publié 2026-10-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Meng, L., Zhu, J., Han, B., Zang, Y., Li, W., Zong, K., Zhong, J., Yang, Y., Liu, J., Jia, J., Sun, R., Yu, G., Han, J., Chen, Y., Zhang, L., Xu, J.

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète

Les cellules sont les unités fondamentales de la vie, chacune portant un manuel d'instructions unique écrit dans un langage de gènes. Lorsque les scientifiques veulent comprendre comment un corps fonctionne, ou pourquoi une maladie s'installe, ils regardent souvent ces instructions dans des cellules individuelles. Ce domaine, connu sous le nom de biologie de la cellule unique, permet aux chercheurs de voir l'identité distincte de chaque cellule dans un tissu, qu'il s'agisse d'un muscle cardiaque qui bat ou d'une cellule immunitaire combattante. Cependant, le volume de données est écrasant. Une seule cellule contient des milliers de gènes actifs, et les expériences modernes peuvent profiler des millions de cellules à la fois. Pour donner un sens à cet océan d'informations, les chercheurs se sont tournés vers l'intelligence artificielle, plus précisément les « modèles de fondation ». Ce sont des programmes informatiques puissants entraînés sur des ensembles de données massifs pour apprendre les règles sous-jacentes de la biologie, tout comme un modèle de langage apprend les règles de la grammaire en lisant de vastes bibliothèques de textes. L'objectif est de créer un système capable de reconnaître le type d'une cellule, de prédire comment elle réagira à un médicament, ou de comprendre comment elle change lorsqu'un gène est altéré, le tout sans avoir besoin d'être réentraîné pour chaque nouvelle question.

Le défi a été de savoir comment injecter cette information dans l'ordinateur. La plupart des modèles existants traitent chaque gène individuel d'une cellule comme un mot séparé dans une phrase. Si une cellule possède 20 000 gènes actifs, l'ordinateur doit traiter une séquence de 20 000 éléments. Cela est coûteux en termes de calcul et force l'IA à découvrir de toutes pièces les relations complexes entre les gènes, peinant souvent face au fait que de nombreux gènes sont silencieux ou à peine actifs dans une cellule donnée. Une équipe de chercheurs de l'Institut de la zone de Loop de Shenzhen et de l'Université chinoise de Hong Kong à Shenzhen a proposé une approche différente. Ils se sont demandé si les cellules pouvaient être comprises plus efficacement en regroupant les gènes en équipes fonctionnelles avant même que l'ordinateur ne commence son analyse. Dans la nature, les gènes travaillent rarement seuls ; ils opèrent en groupes coordonnés appelés voies ou modules pour accomplir des tâches spécifiques, comme combattre une infection ou réparer l'ADN. Les chercheurs ont émis l'hypothèse que si l'on pouvait représenter ces équipes biologiques comme des unités uniques, l'ordinateur pourrait apprendre plus vite, consommer moins d'énergie et, peut-être, comprendre la biologie plus profondément.

Pour tester cette idée, l'équipe a développé un nouveau modèle appelé BioMod. Au lieu de fournir à l'ordinateur une liste de milliers de gènes individuels, ils ont d'abord organisé les gènes en 660 modules biologiques chevauchants. Ces modules ont été construits à partir d'un mélange de voies biologiques connues, trouvées dans des bases de données scientifiques, et de nouveaux groupes de gènes découverts en analysant les motifs dans les données de cellules uniques. Un seul gène peut appartenir à plusieurs modules, reflétant la réalité qu'un gène peut être impliqué dans plusieurs processus biologiques différents à la fois. Pour chaque cellule, les chercheurs ont créé une représentation compacte composée de seulement 660 jetons (tokens), un pour chaque module, plutôt que des milliers de jetons pour les gènes individuels. Ce processus est similaire à la façon dont un humain pourrait résumer une longue histoire non pas en listant chaque mot, mais en identifiant les thèmes et les personnages principaux. Le modèle a ensuite été entraîné sur un ensemble de données massif d'environ 73 millions de cellules humaines, couvrant 25 organes et tissus différents, y compris le cerveau, le sang et les poumons. Pendant l'entraînement, l'ordinateur s'est vu présenter la plupart de ces résumés de modules et devait deviner les parties manquantes, le forçant ainsi à apprendre les connexions profondes entre les différents programmes biologiques.

Les résultats ont montré que cette méthode de regroupement des gènes fonctionnait remarquablement bien. BioMod, qui contient environ 50 millions de paramètres — une mesure de sa complexité — a été capable de performer aussi bien, voire mieux, que des modèles beaucoup plus grands qui utilisent des milliards de paramètres et traitent des gènes individuels. Lors de tests impliquant l'identification de types cellulaires, le modèle a classé correctement les cellules à travers divers tissus avec une grande précision, surpassant souvent les systèmes de pointe précédents. Il a également excellé dans la prédiction de la manière dont les cellules réagiraient à des changements génétiques, comme lorsqu'un gène spécifique est désactivé, et comment les cellules cancéreuses réagiraient à différents médicaments. L'une des découvertes les plus significatives fut l'efficacité du modèle. Parce qu'il traite une séquence de seulement 660 éléments au lieu de milliers, il s'exécute nettement plus rapidement sur le matériel informatique. Sur une carte graphique haute performance standard, BioMod pouvait traiter des centaines de cellules par seconde, tandis que d'autres modèles peinaient à en gérer quelques dizaines sans manquer de mémoire. Cette vitesse rend possible l'analyse de jeux de données massifs sur une seule machine, une tâche qui nécessitait auparavant des clusters de calcul coûteux et à grande échelle.

Les chercheurs voulaient également savoir si la manière spécifique dont ils avaient regroupé les gènes importait réellement, ou si le succès était simplement dû à l'architecture de leur modèle. Pour le découvrir, ils ont créé une version de contrôle du modèle où les gènes étaient mélangés de manière aléatoire dans les modules, détruisant les relations biologiques naturelles tout en conservant le nombre de modules et la structure du modèle exactement identiques. Lorsqu'ils ont testé cette version mélangée, ses performances ont chuté de manière significative. Elle est devenue moins performante pour identifier les types cellulaires, intégrer des données provenant d'expériences différentes et prédire les réponses aux médicaments. Cela a confirmé que l'organisation biologique des gènes n'était pas seulement un raccourci pratique ; les connexions spécifiques et significatives entre les gènes dans les modules étaient essentielles au succès du modèle. L'analyse a révélé plus loin que le modèle avait appris à prêter attention aux bonnes choses. Lorsque les chercheurs ont examiné quels modules étaient les plus importants pour identifier un type de cellule spécifique, ils ont constaté que le modèle s'appuyait fortement sur des modules contenant des gènes marqueurs connus pour cette cellule. S'ils cachaient ces modules clés, la capacité du modèle à identifier la cellule s'effondrait, prouvant qu'il avait appris la logique biologique correcte plutôt que de simplement mémoriser des motifs.

Ce travail suggère que l'avenir de l'IA biologique ne réside peut-être pas dans la création de modèles toujours plus grands qui tentent de traiter chaque détail d'une cellule, mais dans la conception de systèmes qui respectent l'organisation naturelle de la biologie. En traduisant le langage complexe des gènes en le langage fonctionnel des modules biologiques, BioMod démontre qu'un modèle plus petit et plus efficace peut atteindre des résultats supérieurs. Il offre une nouvelle façon de compresser l'immense information de la cellule dans une forme que les ordinateurs peuvent manipuler avec aisance, ouvrant la voie à des analyses plus rapides et plus précises de la santé humaine et des maladies. L'étude ne prétend pas avoir résolu tous les problèmes de la biologie de la cellule unique, mais elle fournit une preuve solide que l'intégration des connaissances biologiques directement dans la structure des modèles d'IA peut mener à des outils plus puissants et plus efficaces pour comprendre la vie à son niveau le plus fondamental.

Résumé Technique : BioMod : Tokenisation par Modules Biologiques pour la Modélisation de Fondations en Cellule Unique

Énoncé du Problème
Les modèles de fondation actuels pour les cellules uniques (scFMs) représentent généralement les cellules comme des séquences plates de gènes individuels. Bien que cela préserve les mesures d'expression granulaires, cela exige que les modèles déduisent implicitement une organisation biologique d'ordre supérieur à partir de profils clairsemés. En tirant une analogie avec l'évolution de la tokenisation par caractère vers la tokenisation sémantique dans le traitement du langage naturel, les auteurs émettent l'hypothèse que la représentation des cellules à l'aide d'unités intermédiaires biologiquement significatives — spécifiquement, des modules biologiques chevauchants — pourrait offrir une représentation plus efficace et structurée. Les approches existantes ont incorporé des ensembles de gènes pour des tâches supervisées ou ajouté des connaissances a priori aux tokens de niveau gène, mais il reste incertain si des tokens de modules conditionnés par l'expression peuvent servir d'unités fondamentales pour un modèle de fondation auto-supervisé capable de se transférer à travers diverses tâches telles que l'annotation, l'intégration, la prédiction de perturbation et la modélisation de la réponse aux médicaments.

Méthodologie
Les auteurs présentent BioMod, un modèle de fondation de 50 millions de paramètres qui introduit des modules biologiques comme unités de représentation entre les gènes et les cellules.

Construction du Vocabulaire de Modules : BioMod utilise un vocabulaire fixe de 660 modules biologiques chevauchants dérivés de quatre sources : 50 ensembles de gènes "Hallmark" de MSigDB, 491 voies Reactome, 73 modules "Hotspot" (pilotés par les données) et 46 modules de co-expression hdWGCNA. Ce vocabulaire couvre 12 895 des 27 847 gènes de l'espace d'entrée du modèle. Les gènes peuvent appartenir à plusieurs modules, permettant à leur expression de contribuer à différents contextes biologiques.
Tokenisation : Pour chaque cellule, les valeurs d'expression ( $x_g$ ) mettent à l'échelle les plongements (embeddings) Gene2Vec pré-entraînés ( $e_g$ ) pour les gènes au sein d'un module. Un agrégateur d'attention appris (learned attention pooler) regroupe ces caractéristiques de gènes projetées en un seul token de module spécifique à la cellule. Cela réduit la séquence d'entrée de milliers de tokens de gènes à 660 tokens de modules.
Architecture : Le modèle emploie un encodeur TSSA (Self-Attention Statistiques de Tokens) à complexité linéaire pour traiter la séquence de modules.
Stratégie de Pré-entraînement : BioMod est pré-entraîné sur environ 73 millions de cellules humaines réparties dans 25 catégories d'organes/tissus en utilisant une stratégie de masquage à haut ratio (75 % des tokens de modules sont masqués). Un décodeur asymétrique reconstruit les valeurs d'expression génique au sein des modules masqués en utilisant les états de modules visibles. Cette conception associe une séquence d'encodeur courte à une supervision de reconstruction à la résolution du gène.
Adaptation en Aval : Le squelette (backbone) est affiné pour l'annotation de types cellulaires, utilisé comme extracteur de caractéristiques gelé pour l'intégration de lots (batch integration) zero-shot et la prédiction de réponse aux médicaments, et connecté à une rétro-projection module-vers-gène pour la prédiction de la réponse aux perturbations.

Contributions Clés

Schéma de Tokenisation Novateur : BioMod propose et valide une stratégie de tokenisation par "module biologique" qui se situe entre les gènes individuels et les cellules entières, en exploitant les voies chevauchantes et les programmes de gènes pilotés par les données.
Efficacité Compacte : Malgré n'ayant que ~50 millions de paramètres (significativement moins que les concurrents de l'ordre du milliard de paramètres comme scLong), BioMod atteint des performances de pointe sur plusieurs tâches.
Ablation Contrôlée : L'étude inclut un contrôle rigoureux de "mélange de modules" (shuffled-module) où les assignations gène-module sont randomisées tout en conservant l'architecture, le nombre de modules et le protocole d'entraînement identiques. Cela isole la contribution du regroupement biologique de la simple compression de séquence.
Benchmarking Complet : Le modèle est évalué sur quatre catégories de tâches distinctes : l'annotation de type cellulaire, l'intégration de lots zero-shot, la prédiction de perturbation génétique et la prévision de réponse aux médicaments.

Résultats

Annotation de Type Cellulaire : BioMod a obtenu les scores macro-F1 les plus élevés sur quatre des ensembles de données testés (Myeloid, hPancreas, Zheng68K, Liver) et une précision compétitive sur d'autres, surpassant des modèles plus larges comme scGPT et Geneformer.
Intégration de Lots Zero-Shot : En utilisant des représentations gelées, BioMod a réussi à séparer la variation biologique des effets de lot techniques à travers des atlas hétérogènes (hPNC, BMMC, Lung), atteignant des scores globaux compétitifs sans entraînement d'adaptation de domaine explicite.
Prédiction de Réponse à la Perturbation : BioMod a obtenu la corrélation de Pearson la plus élevée dans trois des quatre contextes de généralisation sur le jeu de données Norman, démontant sa capacité à projeter les représentations de modules vers des sorties de niveau gène pour prédire les réponses transcriptionnelles aux perturbations génétiques.
Prédiction de Réponse aux Médicaments : Sur le benchmark CCLE–GDSC, BioMod a obtenu la corrélation de Pearson la plus élevée (0,931) pour la prédiction de réponse à un médicament unique et l'AUROC la plus élevée (0,681) pour la prédiction de synergie de combinaison de médicaments parmi les modèles comparés.
Efficacité : BioMod a démontré une efficacité d'inférence supérieure, traitant jusqu'à ~1 760 cellules par seconde sur un seul GPU avec une taille de lot de 256, surpassant nettement les modèles de niveau gène qui rencontrent souvent des erreurs de dépassement de mémoire (out-of-memory) à des tailles de lot similaires.
Résultats d'Ablation : Le mélange des assignations gène-module a systématiquement réduit les performances dans l'intégration, l'annotation (macro-F1) et les tâches de réponse aux médicaments, confirmant que le regroupement biologique des gènes contribue à la performance au-delà de la simple compression de séquence. Cependant, l'effet sur la prédiction de perturbation a été mitigé selon les réglages.

Signification et Revendications
L'article affirme que BioMod démontre que les tokens de modules biologiques sont des unités efficaces pour les modèles de fondation compacts en cellule unique. Les résultats suggèrent qu'un modèle de 50 millions de paramètres construit sur des tokens biologiquement structurés peut égaler ou dépasser les performances de modèles de fondation beaucoup plus larges (par exemple, scLong avec 1 milliard de paramètres) à travers diverses tâches en aval.

Les auteurs notent avec modestie que, bien que le contrôle de mélange de modules confirme la valeur du regroupement biologique des gènes au sein de cette architecture spécifique, les comparaisons n'isolent pas la contribution du pré-entraînement en soi, ni ne prouvent que la tokenisation par module réduit le nombre de paramètres requis par rapport à une architecture de tokens de gènes identique entraînée sous des budgets identiques. De plus, l'étude souligne que, bien que les représentations de modules s'alignent sur les programmes marqueurs connus, l'alignement entre les plongements de modules et la sémantique textuelle des voies est faible après contrôle de la composition des modules, suggérant que le modèle capture une structure fonctionnelle plutôt qu'une définition sémantique explicite des voies.

En fin de compte, ce travail établit que l'incorporation de l'organisation biologique dans la couche de tokenisation des modèles de fondation peut produire des modèles efficaces et performants capables de soutenir des analyses complexes en cellule unique, bien que les bénéfices spécifiques dépendent de la tâche et du contexte d'évaluation.

Articles similaires