Resumen Técnico: CellTok – Tokenización de Transcriptomas de Célula Única como un Lenguaje Nativo para LLMs

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) sobresalen en el procesamiento de información diversa cuando esta se representa como tokens discretos dentro de un espacio de secuencia compartido. Sin embargo, los transcriptomas de célula única siguen siendo una "modalidad extranjera" para los LLMs. A diferencia del lenguaje natural o el código, los datos transcriptómicos consisten en perfiles moleculares continuos y de alta dimensión en lugar de unidades lingüísticas discretas. En consecuencia, las células no pueden ser leídas, compuestas, predichas o generadas directamente como parte del lenguaje de tokens nativo de un LLM. Los enfoques existentes suelen depender de interfaces indirectas, como la conversión de estados celulares en resúmenes textuales o la alineación de embeddings continuos con texto mediante aprendizaje cross-modal. Estos métodos limitan la capacidad de los LLMs para realizar razonamiento contextual sobre células, como el análisis de poblaciones celulares, la inferencia de comunicación intercelular o el modelado de trayectorias de desarrollo, porque la información celular es externa al espacio de tokens del modelo.

Metodología: CellTok

Los autores proponen CellTok, un enfoque de modelado de lenguaje de célula única tokenizado que convierte perfiles transcriptómicos en tokens celulares discretos y compactos, e integra estos directamente en el vocabulario de un LLM preentrenado.

1. Arquitectura de Tokenización

CellTok emplea una arquitectura de codificador–cuantizador–decodificador inspirada en los Autoencoders Variacionales Cuantizados Vectorialmente (VQ-VAE):

• Entrada: Los perfiles de expresión génica de célula única se normalizan y alinean a un panel compartido de 5,000 genes altamente variables.
• Codificador (Encoder): Mapea el perfil de expresión normalizado en una representación latente continua, la cual se particiona en segmentos.
• Cuantizador (Quantizer): Reemplaza cada segmento latente con el vector más cercano de un libro de códigos (codebook) aprendible (códigos discretos).
• Decodificador (Decoder): Reconstruye el perfil de expresión génica a partir de la representación latente cuantificada.
• Integración: Los vectores del libro de códigos aprendidos se tratan como IDs de tokens únicos y se añaden al vocabulario de un LLM preentrenado (específicamente Qwen 2.5 7B). Esto crea un diseño de fusión temprana (early-fusion) donde los tokens celulares y los tokens de texto coexisten en el mismo marco de modelado autorregresivo.

2. Estrategia de Entrenamiento

CellTok se entrena utilizando dos objetivos de preentrenamiento complementarios para alinear las modalidades celular y lingüística:

• Comprensión Celular (Cell Comprehension): El modelo se condiciona en una secuencia de tokens celulares para generar una descripción en lenguaje natural del estado celular.
• Generación Celular (Cell Generation): El modelo se condiciona en una descripción textual para generar la secuencia correspondiente de tokens celulares, que luego se decodifican de vuelta a perfiles transcriptómicos.
• Ajuste Fino (Fine-Tuning): El LLM preentrenado se adapta mediante Adaptación de Bajo Rango (LoRA), modificando aproximadamente el 2% de los parámetros (proyecciones de atención, capas de alimentación hacia adelante y embeddings de tokens). Los datos de entrenamiento incluyen 68 millones de perfiles de célula única de alta calidad de CELLxGENE, emparejados con descripciones textuales generadas por GPT-4o.

3. Tareas de Aval (Downstream Tasks)

El marco soporta diversas tareas mediante la composición de múltiples células tokenizadas dentro de un contexto autorregresivo compartido:

• Nivel de Célula: Anotación de tipo celular y generación condicional de células sintéticas.
• Nivel de Población: Anotación de clusters, anotación de poblaciones heterogéneas e inferencia de estados de enfermedad (por ejemplo, distinguir entre estados sanos y de COVID-19 sin etiquetas explícitas de tipo celular).
• Relacional: Inferencia de vías de comunicación célula-célula (CCC) entre poblaciones origen y destino, y distinción entre vecinos espaciales comunicantes y no comunicantes.
• Temporal: Inferencia del ordenamiento de desarrollo (pseudotiempo) y generación de perfiles transcriptómicos ajustados a estadios a lo largo de trayectorias.

Resultados Clave

El artículo evalúa CellTok a través de diversos benchmarks, demostrando que los LLMs pueden leer y razonar eficazmente sobre datos celulares cuando se les proporcionan tokens nativos.

• Identidad y Generación Celular: CellTok logra un rendimiento competitivo con Modelos Celulares Grandes (LCMs) especializados como Geneformer y scGPT, y notablemente supera a los LLMs de propósito general sustancialmente más grandes (por ejemplo, GPT-4o, LLaMA 3 70B) cuando se les solicita análisis de célula única. En tareas de generación, produce células sintéticas que coinciden estrechamente con perfiles reales, superando a Cell2Sentence y equiparándose con scDiffusion.
• Inferencia a Nivel de Población:
  • Anotación: CellTok supera a los modelos base en la anotación de clusters homogéneos y, crucialmente, en la anotación de poblaciones heterogéneas que contienen tipos celulares confundibles (por ejemplo, células T CD4+ vs. CD8+) directamente desde entradas mixtas.
  • Estado de Enfermedad: El modelo identifica con precisión los estados asociados a enfermedades (por ejemplo, COVID-19) a través de poblaciones mixtas sin haber recibido etiquetas de tipo celular durante la inferencia, basándose en su lugar en patrones transcriptómicos y contexto poblacional.
  • Sensibilidad Semántica: Los estudios de ablación muestran que reemplazar etiquetas biológicamente significativas (por ejemplo, "COVID-19") con etiquetas neutrales (por ejemplo, "Estado A") reduce el rendimiento, lo que indica que CellTok aprovecha los sesgos semánticos integrados en el conocimiento lingüístico del LLM.
• Comunicación Célula-Célula (CCC):
  • No Espacial: CellTok predice vías de señalización ligando-receptor entre poblaciones celulares. Generaliza a donantes no vistos y depende de contextos transcriptómicos emparejados en lugar de memorizar identidades de tipos celulares.
  • Espacial: En transcriptómica espacial (Visium HD), CellTok distingue entre células vecinas comunicantes y no comunicantes utilizando solo la entrada transcriptómica (sin coordenadas espaciales). Generaliza a regiones de tejido no vistas y funciona bien en interacciones heterotípicas, lo que sugiere que aprende competencia de comunicación en lugar de solo frecuencias de pares de tipos celulares.
• Trayectorias de Desarrollo: CellTok infiere con éxito el ordenamiento temporal relativo de las células a través de estadios de desarrollo (organoides cerebrales) y generaliza a puntos temporales no vistos. Puede también generar perfiles transcriptómicos para estadios de desarrollo específicos condicionados por células de otros estadios, soportando tanto la interpolación como la extrapolación.

Significancia y Reivindicaciones

Los autores afirman que CellTok establece una interfaz unificada para modelar células, poblaciones y conocimiento biológico en un espacio de tokens compartido.

• Lenguaje Nativo para la Biología: El trabajo demuestra que los transcriptomas de célula única pueden transformarse de una modalidad molecular extranjera a un lenguaje nativo para los LLMs. Esto permite que las mediciones celulares, los contextos de múltiples células, los prompts textuales y el conocimiento biológico sean modelados dentro de un único marco autorregresivo.
• Razonamiento Contextual: Al representar las células como unidades composicionales dentro del espacio de tokens, CellTok permite que los LLM realicen razonamiento contextual sobre poblaciones, relaciones intercelulares y procesos de desarrollo, yendo más allá de tratar a las células como puntos finales aislados.
• Anclaje Bidireccional (Bidirectional Grounding): El marco crea una interfaz directa entre las mediciones moleculares y el lenguaje natural, donde los tokens celulares pueden condicionar el texto y el texto puede condicionar la generación o interpretación de estados celulares.
• Prueba de Concepto: Los autores posicionan a CellTok como una prueba de concepto de la tokenización celular como una representación compartida e interfaz de tareas. Reconocen limitaciones, como la posible pérdida de información cuantitativa fina debido a la discretización y la necesidad de una mayor evaluación de la transferencia de conocimiento entre tareas. Sin embargo, argumentan que este enfoque proporciona una ruta hacia una ciencia basada en LLMs donde los modelos puedan interpretar mediciones moleculares en una conexión más cercana con el conocimiento biológico y las preguntas científicas.