scpFormer: A Foundation Model for Unified Representation and Integration of the Single-Cell Proteomics

1. Problématique

L'intégration et l'analyse des données de protéomique à l'échelle cellulaire (Single-Cell Proteomics, SCP) se heurtent à des défis majeurs que les méthodes actuelles ne parviennent pas à résoudre efficacement :

• Fragmentation des panels d'anticorps : Contrairement à la transcriptomique (scRNA-seq) qui repose sur un vocabulaire génétique universel (~20 000 gènes), les données SCP sont hétérogènes. Les études utilisent des panels d'anticorps ciblés et personnalisés avec peu ou pas de chevauchement entre elles, créant des "silos de données".
• Limites des modèles à vocabulaire fixe : Les architectures Transformer classiques reposent sur un vocabulaire discret et fixe (tokenisation par index). Elles ne peuvent pas traiter des protéines absentes de leur ensemble d'entraînement, obligeant les chercheurs à ignorer les marqueurs uniques et empêchant l'intégration de jeux de données disparates.
• Sparsité et bruit structuré : Les données SCP souffrent de valeurs manquantes non aléatoires (liées à la chimie de détection et à l'abondance moléculaire) et de bruit élevé, ce qui rend les stratégies d'imputation et de débruitage standards inefficaces.
• Absence de modèle fondation : Aucun modèle fondation (Foundation Model) n'existait auparavant pour apprendre une représentation unifiée du protéome cellulaire unique, capable de généraliser à travers différentes technologies (cytométrie de masse, CITE-seq, imagerie multiplexée) et tissus.

2. Méthodologie : scpFormer

Les auteurs proposent scpFormer, un modèle fondation génératif basé sur l'architecture Transformer, spécifiquement conçu pour surmonter les limitations ci-dessus.

A. Tokenisation Continue et "Open-Vocabulary"

Au lieu d'utiliser des index discrets, scpFormer adopte une stratégie de tokenisation continue et agnostique au panel :

• Encodage Sémantique (ESM) : Chaque protéine mesurée est projetée dans un espace sémantique partagé en utilisant un encodeur Evolutionary Scale Modeling (ESM) pré-entraîné. Cela permet de mapper les protéines en fonction de leur séquence d'acides aminés canonique, capturant ainsi leurs relations structurelles et fonctionnelles. Cela permet au modèle de généraliser "zero-shot" à des protéines jamais vues pendant l'entraînement.
• Encodage des Valeurs d'Expression : Au lieu de discrétiser les valeurs d'expression, le modèle encode les magnitudes brutes continues (non nulles) dans un espace vectoriel dense via un Perceptron Multicouche (MLP).
• Représentation Double : L'entrée finale pour chaque protéine est la fusion de son identité sémantique (ESM) et de sa magnitude d'expression, permettant au mécanisme d'attention de capturer à la fois "quelle protéine" et "combien".

B. Architecture et Pré-entraînement Hiérarchique

Le modèle est pré-entraîné sur 391 millions de cellules provenant de plus de 530 protéines. L'objectif de pré-entraînement repose sur un cadre multi-objectif avec trois décodeurs synergiques :

1. Expression Self-Decoder : Impute les protéines cibles masquées en se basant uniquement sur le réseau de co-expression des protéines observées (niveau micro).
2. Global Expression Decoder : Force le token de classification global ([CLS]) à comprimer l'état cellulaire entier pour prédire les protéines manquantes, assurant une représentation cellulaire robuste et "consciente de l'expression".
3. Joint Decoder : Fusionne l'état cellulaire global mature avec les identités protéiques individuelles pour apprendre des informations régulatrices complémentaires, alignant les imputations locales avec le phénotype cellulaire holistique.

C. Stratégie de Masquage

Une stratégie de masquage "Context-Target" est utilisée : les protéines cibles (à imputer) ne peuvent pas s'attendre entre elles, mais uniquement aux protéines contextuelles observées. Cela simule la réalité expérimentale où un panel limité ne peut pas révéler des protéines non mesurées sans contexte biologique.

3. Contributions Clés

• Premier modèle fondation pour la SCP : scpFormer est le premier modèle à fournir une représentation unifiée du protéome cellulaire, capable de gérer l'hétérogénéité des panels expérimentaux.
• Architecture "Open-Vocabulary" : En remplaçant les index discrets par des embeddings continus basés sur la séquence, le modèle peut intégrer n'importe quel panel d'anticorps et inférer des protéines non vues lors de l'entraînement.
• Imputation et Expansion de Panel In Silico : Le modèle permet d'augmenter virtuellement la couverture des panels expérimentaux limités en reconstruisant les protéines manquantes avec une haute fidélité.
• Généralisation Trans-Modale : Les embeddings appris à l'échelle cellulaire unique sont transférables aux tâches d'omiques en vrac (bulk-omics), notamment pour la prédiction de la réponse aux médicaments.

4. Résultats

Les performances de scpFormer ont été évaluées sur plusieurs tâches et jeux de données de référence (Levine, Hao, Zheng, Stuart, MIS-C) :

• Annotation des Types Cellulaires :
  • scpFormer surpasse les méthodes de référence (Seurat, CellTypist) avec une précision macro F1 de 0,978 (vs 0,868 pour Seurat) sur le jeu de données Levine.
  • Il excelle particulièrement dans l'identification de sous-types rares et de cellules progénitrices (ex: HSCs, HSPCs) là où les méthodes traditionnelles échouent.
• Intégration de Lots (Batch Integration) :
  • Sur des données multi-lots complexes, scpFormer préserve mieux la variance biologique (AvgBIO = 0,724) tout en éliminant les effets de lot (AvgBATCH = 0,911), surpassant Harmony et ComBat.
  • Il évite le sur-ajustement (over-correction) qui efface l'hétérogénéité biologique fine.
• Imputation de Protéines :
  • Validation in silico : Avec une corrélation de Pearson moyenne de 0,751, scpFormer surpasse les régressions linéaires, k-NN et Random Forests, notamment pour les marqueurs à faible abondance.
  • Cas clinique (MIS-C) : En mode "zero-shot" (sans fine-tuning), le modèle restaure la cohérence biologique des manifolds cellulaires dans des ensembles de données cliniques clairsemés, améliorant les scores de conservation biologique et de regroupement.
• Prédiction de la Réponse aux Médicaments (CDR) :
  • En remplaçant les entrées transcriptomiques par les embeddings protéomiques de scpFormer dans le cadre DeepCDR, la prédiction de la concentration inhibitrice (IC50) s'améliore significativement (Corrélation de Pearson 0,921 vs 0,888 pour scFoundation).
  • L'amélioration est observée sur 183 des 223 médicaments testés, confirmant que les embeddings protéomiques capturent mieux l'état fonctionnel des cellules.

5. Signification et Impact

Ce travail établit un nouveau paradigme pour l'analyse des données protéomiques à l'échelle cellulaire :

1. Au-delà de la transcriptomique : Il démontre que la modélisation directe du protéome offre une représentation plus stable et fonctionnelle de l'état cellulaire que l'ARN, car elle contourne le bruit transcriptionnel et reflète directement les effecteurs biologiques.
2. Démocratisation des panels ciblés : La capacité d'expansion de panel "in silico" permet d'enrichir computationnellement des expériences cliniques avec des panels limités, réduisant les coûts de laboratoire tout en maximisant l'information biologique.
3. Outil pour la Médecine de Précision : La robustesse de scpFormer face aux effets de lot et sa capacité à généraliser vers la prédiction de réponse aux médicaments en font un substrat computationnel essentiel pour la découverte de biomarqueurs et l'oncologie de précision.
4. Fondation pour l'Avenir : Bien que le modèle soit actuellement limité aux séquences canoniques (ne distinguant pas explicitement les modifications post-traductionnelles sans anticorps spécifiques), il ouvre la voie à l'intégration future de la protéomique spatiale et à une modélisation plus fine des états de signalisation dynamique.

En résumé, scpFormer transforme la protéomique cellulaire d'une discipline fragmentée en un domaine unifié, exploitant la puissance des modèles fondation pour révéler des mécanismes biologiques auparavant opaques.