scpFormer: A Foundation Model for Unified Representation and Integration of the Single-Cell Proteomics

Resumen Técnico: scpFormer, un Modelo Fundacional para la Integración Unificada de la Proteómica de Célula Única

1. El Problema

La integración de datos de proteómica de célula única (SCP) enfrenta barreras fundamentales que limitan su avance comparado con la transcriptómica (scRNA-seq):

• Fragmentación de Paneles: A diferencia de los genes (que tienen un vocabulario universal de ~20,000), los datos de SCP provienen de paneles de anticuerpos personalizados o espectrometría de masas con coberturas variables y solapamiento mínimo entre estudios. Esto crea "silos de datos" donde los marcadores únicos se descartan.
• Limitaciones de los Modelos Actuales: Los modelos de lenguaje basados en Transformers tradicionales dependen de un vocabulario fijo (índices discretos). No pueden procesar proteínas fuera de su conjunto de entrenamiento predefinido, lo que es inviable para la naturaleza abierta de la SCP.
• Ruido y Ausencia de Datos: Los datos de SCP sufren de una escasez extrema y patrones de valores faltantes estructurados (no aleatorios) debido a limitaciones físicas de detección (ej. muestreo iónico estocástico), lo que desafía las estrategias estándar de imputación y desruido.
• Falta de un Modelo Fundacional: No existía un modelo capaz de aprender una representación unificada del proteoma de célula única a través de diferentes tecnologías, tejidos y diseños experimentales.

2. Metodología

scpFormer es un modelo fundacional generativo basado en Transformers, diseñado específicamente para superar estas limitaciones mediante innovaciones arquitectónicas y de pre-entrenamiento:

• Tokenización Semántica Continua (Open-World Protein Embedding):

  • En lugar de usar índices discretos para las proteínas, el modelo utiliza un codificador pre-entrenado de Modelado de Escala Evolutiva (ESM). Cada proteína se proyecta en un espacio semántico compartido basado en su secuencia de aminoácidos canónica.
  • Esto permite que el modelo generalice a proteínas no vistas durante el entrenamiento (zero-shot) y maneje paneles de longitud variable.
  • Se incorpora una estrategia de incrustación de valores conscientes: los valores de expresión continuos (no discretizados) se proyectan en un espacio de alta dimensión y se fusionan dinámicamente con la identidad semántica de la proteína.

• Marco de Pre-entrenamiento Jerárquico Multi-Objetivo:
  El modelo se entrena con tres decodificadores generativos sinérgicos para capturar tanto interacciones locales como estados celulares globales:

  1. Decodificador de Autoexpresión (Expression Self-Decoder): Aprende interacciones proteína-proteína a microescala, imputando proteínas objetivo basándose únicamente en la red de coexpresión de proteínas visibles.
  2. Decodificador de Expresión Global (Global Expression Decoder): Fuerza al token de clasificación global ([CLS]) a comprimir todo el estado celular, permitiendo predecir abundancias de proteínas faltantes basándose únicamente en el estado global de la célula.
  3. Decodificador Conjunto (Joint Decoder): Fusiona el estado celular global maduro con las identidades de proteínas individuales para refinar las imputaciones locales, asegurando coherencia con el fenotipo fisiológico holístico.

• Máscara Contexto-Objetivo: Durante el entrenamiento, se simula la expansión de paneles in silico dividiendo las proteínas en un conjunto de contexto (visible) y un conjunto objetivo (oculto). El mecanismo de atención se restringe para que las proteínas objetivo solo puedan atender al contexto observado, evitando el "memorizado" de datos.

3. Contribuciones Clave

• Primer Modelo Fundacional para SCP: Establece un marco computacional escalable y agnóstico al panel para la proteómica de célula única.
• Arquitectura de Vocabulario Abierto: Resuelve el problema de la fragmentación de datos permitiendo la integración de paneles disjuntos sin descartar marcadores únicos, utilizando la información evolutiva de las secuencias de proteínas.
• Representación Global Robusta: Genera incrustaciones celulares densas que capturan la lógica de coexpresión de proteínas, superando el ruido técnico y preservando los límites biológicos.
• Capacidad Generativa: Permite la expansión de paneles in silico y la imputación de proteínas no medidas en conjuntos de datos clínicos escasos.

4. Resultados Principales

El modelo fue pre-entrenado en más de 390 millones de células de múltiples plataformas (CITE-seq, Citometría de Masas, Imágenes Multiplexadas) y evaluado en diversas tareas:

• Annotación de Tipos Celulares:

  • En el conjunto de datos de Levine (médula ósea), scpFormer superó a los métodos basales (Seurat, CellTypist), logrando un F1 macro de 0.978 (vs. 0.868 de Seurat).
  • Mostró una precisión excepcional (>0.95) en la identificación de subtipos similares y células progenitoras raras, donde los métodos tradicionales fallaban.
  • Mantuvo un rendimiento robusto en tareas de anotación entre lotes (cross-batch), aprendiendo representaciones invariantes al lote en lugar de memorizar ruido técnico.

• Integración de Lotes y Agrupamiento:

  • En benchmarks de integración (Zheng et al. y Stuart et al.), scpFormer superó a herramientas como Harmony y ComBat.
  • Logró un equilibrio óptimo: eliminó efectos de lote (AvgBATCH > 0.9) mientras preservaba la varianza biológica (AvgBIO > 0.7), evitando la sobre-corrección que borra la heterogeneidad biológica fina.

• Imputación de Proteínas:

  • Validado in silico, scpFormer logró una correlación de Pearson promedio de 0.751 en la imputación de proteínas, superando a Random Forest, k-NN y regresión lineal.
  • En datos clínicos reales (MIS-C), la imputación zero-shot (sin ajuste fino) restauró manifiestos biológicos coherentes y mejoró la agrupación de subconjuntos inmunes oscurecidos por datos faltantes.

• Predicción de Respuesta a Fármacos:

  • Al integrar las incrustaciones de scpFormer en el marco DeepCDR para predecir la concentración inhibitoria media (IC50), el modelo superó consistentemente a los embeddings basados en transcriptómica (scFoundation).
  • Logró una correlación de Pearson global de 0.921 (vs. 0.888 de scFoundation) y redujo el error absoluto medio (MAE) para la mayoría de los compuestos probados, demostrando que el estado funcional del proteoma es un predictor más determinista de la sensibilidad a fármacos que el ARN.

5. Significado e Impacto

El trabajo de scpFormer representa un cambio de paradigma en el análisis de proteómica de célula única:

1. Superación de la Disparidad Técnica: Transforma la heterogeneidad de los paneles experimentales de una limitación a una fuente de aumento de datos efectivo, permitiendo la integración de estudios dispares.
2. Fidelidad Biológica: Demuestra que la modelación directa del proteoma a resolución de célula única proporciona representaciones de estado celular más estables y funcionalmente fundamentadas que los datos de ARN, mitigando el ruido transcripcional estocástico.
3. Utilidad Translacional: Su capacidad para generalizar desde representaciones de célula única hasta tareas de ómicas a granel (bulk-omics) para la predicción de respuesta a fármacos posiciona a scpFormer como una herramienta vital para la oncología de precisión y el descubrimiento de biomarcadores.
4. Marco Escalable: Proporciona un sustrato computacional listo para el futuro, capaz de manejar la expansión continua de paneles de proteínas y la integración de datos clínicos masivos y escasos.

En resumen, scpFormer no solo resuelve los problemas técnicos de la integración de datos de SCP, sino que establece una nueva base para la interpretación de fenotipos biológicos y la medicina personalizada basada en proteínas.