Single-cell foundation models benefit from cross-modal training: adding proteomics data beats parameter scaling

Au cœur de chaque cellule vivante, une conversation complexe se déroule, écrite en deux langues différentes. L'une de ces langues est faite d'ARN, des molécules qui transportent les instructions pour la construction des protéines, les ouvrières qui maintiennent la cellule en vie et fonctionnelle. Les scientifiques ont passé des années à apprendre à lire ces messages d'ARN, créant de vastes bibliothèques numériques qui décrivent le comportement des cellules en bonne santé et en état de maladie. Ces bibliothèques sont devenues si volumineuses que les chercheurs utilisent désormais de puissants programmes informatiques, appelés modèles de fondation, pour y déceler des motifs. Ces programmes apprennent à reconnaître les signatures uniques de différents types de cellules, un peu comme un bibliothécaire capable d'identifier instantanément le genre d'un livre par sa couverture. Pendant longtemps, la croyance dominante était que la seule façon de rendre ces programmes plus intelligents était de les nourrir avec de plus en plus de données d'ARN, espérant que le simple volume finirait par révéler tous les secrets de la vie cellulaire.

Cependant, les cellules parlent plus d'une langue. Outre l'ARN, elles produisent des protéines, les structures réelles qui accomplissent les tâches de la cellule. Tandis que l'ARN indique à la cellule ce qu'elle doit construire, les protéines sont les produits finis. Jusqu'à récemment, la plupart des modèles informatiques de cellules ignoraient ces protéines, se concentrant exclusivement sur les instructions d'ARN. Cela laissait une lacune dans la compréhension, car les instructions ne correspondent pas toujours au résultat final. La question posée aux scientifiques était de savoir si l'ajout de cette seconde couche d'information — les données protéiques — pourrait enseigner à ces modèles informatiques plus de choses que le simple ajout de davantage de données d'ARN. C'était un test pour déterminer si la qualité et la variété de l'information pouvaient surpasser la stratégie simple consistant à agrandir les modèles et à les nourrir avec davantage de la même chose.

Une équipe de chercheurs s'est donné pour mission de répondre à cela en entraînant un modèle informatique sur un nouveau type de données. Ils ont commencé avec un modèle existant qui avait déjà appris à partir de centaines de millions d'échantillons d'ARN. Au lieu de simplement lui fournir plus d'ARN, ils l'ont introduit à une vaste collection de profils protéiques. Ces profils provenaient de 440 études différentes utilisant la spectrométrie de masse, une technique qui mesure les protéines spécifiques présentes dans une cellule. Les chercheurs ont guidé soigneusement le modèle pour qu'il apprenne de ces 48 843 échantillons de protéines, un processus qu'ils ont appelé pré-entraînement continu multi-modal. Cela signifiait que le modèle devait apprendre comment le langage des protéines se rapportait au langage de l'ARN qu'il connaissait déjà, lui apprenant ainsi, de fait, à comprendre la cellule à travers ses instructions et ses produits finis.

Les résultats furent frappants. Les chercheurs ont entraîné un modèle de 70 millions de paramètres, une mesure de sa complexité, sur ces données mixtes en un seul passage à travers les échantillons de protéines. Lorsqu'ils ont testé ce modèle, celui-ci a obtenu des performances égales ou supérieures à celles de modèles beaucoup plus vastes et entraînés uniquement sur l'ARN. Plus précisément, le plus petit modèle avec des données protéiques égalait ou dépassait les performances de modèles composés uniquement d'ARN possédant 1 milliard et 3 milliards de paramètres. Cette découverte remet en question l'idée selon laquelle la seule voie vers une meilleure compréhension est simplement d'augmenter la taille du modèle et la quantité de données d'ARN. Elle suggère plutôt que l'introduction d'un type différent de données biologiques peut fournir un boost d'intelligence bien plus efficace.

Les bénéfices de cette approche dépassaient la performance générale. Le modèle entraîné avec des données protéiques a montré une plus grande capacité de généralisation, ce qui signifie qu'il pouvait appliquer ce qu'il avait appris à de nouvelles situations qu'il n'avait jamais rencontrées auparavant. Cela était particulièrement clair lorsque le modèle était testé sur la façon dont les cellules réagissent aux changements de protéines. Dans ces tests, le simple fait d'agrandir le modèle d'ARN ne l'aidait pas à mieux comprendre ces changements. Le modèle ayant appris grâce aux protéines, en revanche, gérait ces nouveaux défis avec plus d'aisance. Cela indique que les données protéiques ont aidé le modèle à construire une compréhension plus robuste et flexible du fonctionnement des cellules, une compréhension qui n'est pas strictement liée aux motifs trouvés dans l'ARN seul.

Ces découvertes suggèrent que l'avenir de la compréhension des cellules ne réside peut-être pas dans la construction de modèles toujours plus grands entraînés sur un seul type de données. Au contraire, les informations les plus puissantes pourraient provenir d'une combinaison minutieuse de différents types d'informations biologiques. En apprenant aux modèles informatiques à lire à la fois les instructions et les produits de la cellule, les scientifiques peuvent créer des outils qui sont non seulement plus intelligents, mais aussi plus précis dans leurs prédictions. Cette approche offre une voie prometteuse vers des modèles plus informatifs capables de capturer toute la complexité de la vie, prouvant que parfois, ajouter une nouvelle perspective est bien plus précieux que de simplement ajouter la même chose.