Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views

Resumen Técnico: Más allá de la reconstrucción de genes: Aprendizaje de representaciones celulares mediante vistas transcriptómicas complementarias

Planteamiento del problema
Los modelos fundacionales actuales para la transcriptómica de célula única están preentrenados predominantemente mediante la predicción de valores de expresión enmascarados (Modelado de Lenguaje Enmascarado, o MLM). Si bien este objetivo aprende eficazmente las dependencias a nivel de gen y las estructuras de coexpresión latente, proporciona supervisión únicamente a nivel de gen individual. En consecuencia, estos modelos no optimizan directamente las representaciones de la célula completa, las cuales son críticas para tareas posteriores como la anotación de tipos celulares e la inferencia de redes de regulación génica (GRN).

Además, la aplicación del aprendizaje contrastivo estándar a los datos de célula única presenta dos desafíos específicos del dominio:

1. Construcción de pares positivos: A diferencia de las aumentaciones de imagen (por ejemplo, el recorte o cropping) que preservan la identidad del objeto, la perturbación de los valores de expresión génica puede alterar el estado biológico subyacente o la identidad celular, lo que dificulta la construcción de pares positivos válidos.
2. Atajos de pares negativos: En las entradas transcriptómicas dispersas, diferentes células suelen retener subconjuntos distintos de identidades de genes. El aprendizaje contrastivo estándar corre el riesgo de permitir que los modelos distingan los pares negativos basándose únicamente en la composición del conjunto de genes (identidad del gen) en lugar de aprender la correspondencia entre genes específicos y sus valores de expresión.

Metodología: CoCoS
Los autores proponen CoCoS (Co-expression-guided Contrastive pretraining for Single-cell), un marco diseñado para aprender representaciones celulares a través de vistas transcriptómicas complementarias abordando los desafíos mencionados anteriormente. El método integra tres adaptaciones específicas:

1. Partición de genes guiada por la coexpresión:
   Para construir pares positivos biológicamente válidos sin alterar la identidad celular, CoCoS particiona los genes de cada célula en dos vistas complementarias basadas en un grafo de coocurrencia. Los genes que coocurren frecuentemente en estados de alta expresión se asignan a vistas diferentes. Para cada célula, el modelo genera dos vistas: una enmascara los valores de expresión en el primer conjunto de genes, y la otra enmascara los valores en el segundo conjunto. Esto asegura que cada valor de gen sea observado en una vista y enmascarado en la otra, preservando las identidades de los genes originales y los valores de expresión mientras proporciona información complementaria.

2. Construcción de conjuntos de contraste conscientes de la expresión:
   Para evitar que el modelo utilice la identidad del conjunto de genes como un atajo, CoCoS construye "negativos difíciles". Para una vista de célula ancla dada, el modelo crea negativos con la identidad emparejada permutando los valores de expresión mientras mantiene las identidades de los genes y el patrón de enmascaramiento sin cambios. Dado que las entradas originales y permutadas contienen exactamente el mismo conjunto de genes, el modelo no puede distinguirlos basándose únicamente en la composición del conjunto de genes; debe aprender la correspondencia específica entre los genes y sus valores de expresión. El conjunto de contraste incluye estos negativos difíciles junto con los negativos estándar del lote (in-batch negatives) de otras células.

3. Inicio contrastivo con compuerta de competencia:
   El marco introduce un controlador dependiente de los datos para determinar cuándo activar el objetivo contrastivo. Al principio del entrenamiento, el modelo aún no ha aprendido dependencias estables entre genes mediante la reconstrucción enmascarada. Introducir la pérdida contrastiva inmediatamente podría causar que el modelo alinee las vistas utilizando señales técnicas (por ejemplo, tamaño de la librería o dispersión) en lugar de la correspondencia biológica. CoCoS utiliza una cohorte "centinela" fija y no etiquetada para monitorear tres métricas: concordancia del programa génico (separación de vistas emparejadas frente a desemparejadas), error de reconstrucción y diversidad de la incrustación (repertorio). El peso contrastivo permanece en cero hasta que estas métricas indican que el modelo ha alcanzado una competencia de reconstrucción y una estructura entre vistas estables, tras lo cual el peso aumenta gradualmente.

Contribuciones clave

• Identificación del desajuste: Los autores caracterizan el desalineamiento entre la reconstrucción de la expresión de valores enmascarados y el aprendizaje de la representación de la célula completa, definiendo tres requisitos específicos para aplicar el aprendizaje contrastivo en el preentrenamiento de célula única.
• Marco CoCoS: La introducción de un marco de preentrenamiento que diseña conjuntamente vistas guiadas por la coexpresión, conjuntos de contraste conscientes de la expresión con desordenes de identidad fija, y un mecanismo de inicio con compuerta de competencia.
• Validación empírica: Experimentos extensos que demuestran que la supervisión contrastiva de la célula completa acotada produce representaciones más discriminativas y transferibles que los métodos basados puramente en la reconstrucción.

Resultados
Los autores evaluaron CoCoS (específicamente la variante CoCoS-GPC) en tareas posteriores utilizando incrustaciones de célula completa congeladas:

• Anotación de tipos celulares: Bajo un protocolo de evaluación de célula hacia adelante (cell-forward) unificado en diez conjuntos de datos, CoCoS-GPC logró la mayor precisión media de k-NN (74.82%) y de sonda lineal (78.85%) entre las variantes comparadas, superando a modelos establecidos como scGPT y Geneformer V2-104M.
• Inferencia de Redes de Regulación Génica (GRN): En una evaluación de GRN de seis redes, CoCoS-GPC registró las estimaciones de punto de AUROC (0.8733) y AUPRC (0.7120) más altas. Los autores señalan que, aunque la media es la más alta, la variante con mejor desempeño varía según la red individual.
• Estudios de ablación:
  • Diseño de vistas: El muestreo consciente de la expresión superó al muestreo uniforme y a los paneles aleatorios balanceados.
  • Construcción de negativos: Las pruebas diagnósticas confirmaron que los negativos de identidad fija mitigaron con éxito la dependencia de la composición del conjunto de genes, reduciendo la brecha de confianza entre los negativos ordinarios y los desordenes de identidad emparejada.
  • Tiempo de inicio: Un inicio con compuerta de competencia (activado en el paso 93,000) superó al contraste inmediato y a los esquemas de calentamiento (warmup) fijos (1 o 2 épocas), validando la necesidad de esperar a la competencia de reconstrucción antes de introducir la supervisión contrastiva.

Significancia y afirmaciones
El artículo afirma que el aprendizaje contrastivo de vistas complementarias es una dirección efectiva para extender el preentrenamiento de célula única más allá de la reconstrucción de genes. Al abordar los desafíos específicos de la validez de los pares positivos, los atajos de identidad de genes en los negativos y el tiempo de inicio, CoCoS establece un método que produce representaciones celulares más discriminativas y transferibles. Los autores posicionan este trabajo no como un reemplazo de la reconstrucción, sino como un complemento necesario que optimiza la geometría de las incrustaciones de la célula completa, mejorando así el rendimiento en tareas posteriores como la anotación de tipos celulares e la inferencia de GRN dentro de los conjuntos de datos y protocolos evaluados. Los resultados sugieren que la supervisión contrastiva de la célula completa adecuadamente acotada es superior a los enfoques basados puramente en la reconstrucción para aprender representaciones celulares transferibles.