Resumen Técnico: Aprendizaje Guiado por Prototipos Post-preentrenamiento para la Representación de Células Únicas

Enunciado del Problema

El aprendizaje de representaciones de células únicas (SCRL) tiene como objetivo descifrar datos de expresión génica de alta dimensionalidad para revelar la lógica regulatoria celular. Aunque los modelos fundacionales recientes inspirados en modelos de lenguaje grandes (tratando los genes como tokens y las células como oraciones) han mostrado promesa, enfrentan dos limitaciones fundamentales:

1. Distribuciones de Tipos Celulares de Cola Larga: Los conjuntos de datos de células únicas exhiben un desequilibrio de clases extremo, donde poblaciones celulares raras pero biológicamente críticas (por ejemplo, células madre iniciadoras de enfermedades) constituyen una fracción mínima de las muestras. Esto conduce a incrustaciones ruidosas o colapsadas para tipos celulares raros, ya que los modelos están sesgados hacia poblaciones abundantes.
2. Desplazamientos de Covariables: Artefactos técnicos, como efectos de lote y profundidades de secuenciación variables, crean brechas de distribución entre los datos de entrenamiento y de inferencia. Los modelos existentes a menudo se sobreajustan a patrones específicos del lote en lugar de capturar la lógica regulatoria universal, lo que limita su generalización entre diferentes plataformas o protocolos experimentales.

Las estrategias actuales de ajuste fino a menudo no logran resolver completamente estos problemas porque comienzan desde una variedad latente de incrustaciones inestable establecida durante el preentrenamiento inicial.

Metodología: CellRefine

Para abordar estos desafíos, los autores introducen CellRefine, un marco de post-preentrenamiento diseñado para operar entre la etapa inicial de preentrenamiento y el ajuste fino posterior. CellRefine inyecta sesgos inductivos fundamentados biológicamente para remodelar el espacio de incrustaciones latentes hacia una estructura más estable y discriminativa.

El método emplea una función objetivo multifacética ($L_{Total}$) que combina cuatro componentes:

1. Aprendizaje Guiado por Prototipos (Programas de Genes Marcadores):

   • Concepto: Utiliza conjuntos conocidos de genes marcadores como priores estructurales. Dado que los conjuntos completos de marcadores a menudo son desconocidos, el método utiliza subconjuntos curados de marcadores para crear "prototipos" para cada tipo celular.
   • Implementación: Los genes marcadores para un tipo celular $c_i$ se ordenan basándose en la jerarquía de la ontología celular (desde subtipos específicos hasta linajes más amplios) utilizando una función $H(c_i)$. Estas secuencias ordenadas se tokenizan y codifican en incrustaciones de prototipos ($z_m$).
   • Pérdida: Una pérdida de regularización guiada por prototipos ($L_{prototype}$) maximiza la similitud coseno entre la incrustación de una célula ($z_c$) y su incrustación de prototipo correspondiente, mientras minimiza la similitud con otros prototipos. Esto inyecta estructura biológica en la representación.

2. Regularización Consciente del Linaje:

   • Concepto: Aborda el problema donde los tipos celulares estrechamente relacionados (que comparten un linaje padre en la ontología) permanecen insuficientemente separados en el espacio de incrustaciones.
   • Implementación: Una pérdida de separación consciente del linaje ($L_{lineage}$) penaliza la similitud excesiva entre pares de células que comparten el mismo linaje padre y nivel de ontología, alentando al modelo a distinguir identidades biológicas de grano fino.

3. Codificación Variacional de Mezcla Gaussiana (GMVE):

   • Concepto: Modela explícitamente el espacio latente como una estructura agrupada para mejorar la calidad de la representación.
   • Implementación: Se añade un Codificador Variacional de Mezcla Gaussiana al modelo. Una pérdida de divergencia KL ($L_{GMVE}$) regulariza la posterior variacional contra un prior de mezcla gaussiana aprendido, imponiendo una estructura latente agrupada.

4. Modelado de Lenguaje enmascarado (MLM):

   • Se mantiene el objetivo estándar de preentrenamiento para asegurar que el modelo continúe aprendiendo patrones generales de expresión génica.

El objetivo total es:
$$L_{Total} = L_{MLM} + \lambda_1 L_{prototype} + \lambda_2 L_{lineage} + \lambda_3 L_{GMVE}$$

Contribuciones Clave

• Nueva Etapa de Post-preentrenamiento: Propone una etapa intermedia de adaptación (CellRefine) que refina la variedad latente de los modelos fundacionales antes del ajuste fino específico de la tarea, en lugar de depender únicamente del preentrenamiento seguido de un ajuste fino directo.
• Integración de Priors Biológicos: Integra sistemáticamente conocimiento biológico mecanicista (programas de genes marcadores y ontologías celulares) directamente en el proceso de optimización para guiar el aprendizaje de representaciones.
• Manejo de la Cola Larga y Desplazamientos de Covariables: Demuestra que fundamentar el modelo en priores biológicos mitiga el sesgo hacia tipos celulares abundantes y mejora la robustez ante cambios técnicos.

Resultados Experimentales

Los autores evaluaron CellRefine en tres tareas centrales de biología computacional en 11 conjuntos de datos que abarcan diversos tejidos (sangre, páncreas, hígado, cerebro, pulmón, corazón, etc.):

1. Predicción de Identidad Celular:

   • En Dominio: CellRefine superó consistentemente a las líneas base más avanzadas (incluyendo ajuste fino completo, LoRA y alineación estándar de MLM) en 10 conjuntos de datos. Logró mejoras de macro-F1 de hasta 15% sobre la línea base más fuerte (MLM $\to$ FF) en conjuntos de datos desequilibrados como Sangre y Páncreas.
   • Fuera de Dominio (Zero-Shot): En la transferencia entre modalidades (entrenamiento en scRNA-seq, prueba en transcriptómica espacial), CellRefine mostró un rendimiento superior en recall@k, indicando representaciones más robustas y generalizables.

2. Imputación de Transcriptómica Espacial:

   • CellRefine mejoró la predicción de expresiones génicas no medidas, logrando puntuaciones de correlación de Pearson y similitud coseno más altas en comparación con las líneas base en conjuntos de datos espaciales de hígado.

3. Predicción de Respuesta a Perturbaciones Génicas:

   • En la predicción de cambios en la expresión génica bajo perturbación, CellRefine arrojó mejoras consistentes, aunque menores, sobre las líneas base, logrando el mejor rendimiento general entre todos los métodos probados.

Estudios de Ablación:

• Eliminar cualquiera de los tres términos de regularización ($L_{prototype}$, $L_{lineage}$, $L_{GMVE}$) resultó en una degradación del rendimiento, confirmando que el enfoque multiobjetivo es sinérgico.
• Eficiencia de Muestra: En escenarios de aprendizaje con pocos ejemplos (5–50 ejemplos), CellRefine demostró ganancias de rendimiento significativamente más pronunciadas en conteos de muestras bajos en comparación con el ajuste fino estándar, lo que sugiere que aprovecha los datos etiquetados limitados de manera más efectiva.

Análisis Cualitativo:

• Las visualizaciones UMAP del espacio latente revelaron que CellRefine reorganiza la variedad de incrustaciones, haciendo que las poblaciones celulares de "cola" raras (por ejemplo, subconjuntos específicos de células T, tipos celulares raros del hígado) sean más distinguibles y menos enredadas con los principales grupos celulares en comparación con los modelos entrenados solo con MLM.

Significado y Afirmaciones

El artículo afirma que CellRefine representa una dirección prometedora para el aprendizaje de representaciones de células únicas al demostrar que los sesgos inductivos informados biológicamente pueden mejorar significativamente el rendimiento posterior de los modelos fundacionales.

• Utilidad Clínica: Al capturar mejor los tipos celulares raros y mejorar la robustez ante desplazamientos de covariables, el método aumenta el potencial para identificar mecanismos de enfermedades y objetivos terapéuticos en estados celulares raros o transicionales que a menudo quedan oscurecidos en modelos estándar.
• Cambio Metodológico: El trabajo argumenta en contra de depender únicamente del preentrenamiento basado en datos seguido de ajuste fino, abogando en su lugar por etapas intermedias que incorporen explícitamente conocimiento del dominio (genes marcadores y ontologías) para estabilizar el proceso de aprendizaje.
• Limitaciones: Los autores notan modestamente que el enfoque depende de programas de genes marcadores curados, que pueden estar incompletos o ser ruidosos para tipos celulares novedosos. Además, las ganancias de rendimiento no implican necesariamente una mayor eficiencia de parámetros.

En resumen, CellRefine ofrece un marco para cerrar la brecha entre el preentrenamiento a gran escala y las realidades específicas, a menudo desequilibradas, de los datos biológicos de células únicas, produciendo representaciones celulares más discriminativas y generalizables.