Resumo Técnico: CellTok – Tokenizando Transcriptomas de Célula Única como uma Linguagem Nativa para LLMs

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) destacam-se no processamento de informações diversas quando representadas como tokens discretos dentro de um espaço de sequência compartilhado. No entanto, os transcriptomas de célula única permanecem uma "modalidade estrangeira" para os LLMs. Ao contrário da linguagem natural ou de código, os dados transcriptômicos consistem em perfis moleculares contínuos e de alta dimensão, em vez de unidades linguísticas discretas. Consequentemente, as células não podem ser lidas, compostas, previstas ou geradas diretamente como parte da linguagem de tokens nativa de um LLM. As abordagens existentes frequentemente dependem de interfaces indiretas, como a conversão de estados celulares em resumos textuais ou o alinhamento de embeddings contínuos com texto via aprendizado cross-modal. Esses métodos limitam a capacidade dos LLMs de realizar o raciocínio contextual sobre células, como analisar populações celulares, inferir comunicação intercelular ou modelar trajetórias de desenvolvimento, porque a informação celular é externa ao espaço de tokens do modelo.

Metodologia: CellTok

Os autores propõem o CellTok, uma abordagem de modelagem de linguagem de célula única tokenizada que converte perfis transcriptômicos em tokens celulares compactos e discretos e os integra diretamente ao vocabulário de um LLM pré-treinado.

1. Arquitetura de Tokenização

O CellTok utiliza uma arquitetura de codificador–quantizador–decodificador inspirada em Autoencoders Variacionais Quantizados Vetorialmente (VQ-VAE):

• Entrada: Perfis de expressão gênica de célula única são normalizados e alinhados a um painel compartilhado de 5.000 genes altamente variáveis.
• Codificador: Mapeia o perfil de expressão normalizado em uma representação latente contínua, que é particionada em segmentos.
• Quantizador: Substitui cada segmento latente pelo vetor mais próximo de um codebook aprendível (códigos discretos).
• Decodificador: Reconstrói o perfil de expressão gênica a partir da representação latente quantizada.
• Integração: Os vetores do codebook aprendido são tratados como IDs de tokens únicos e adicionados ao vocabulário de um LLM pré-treinado (especificamente o Qwen 2.5 7B). Isso cria um design de fusão precoce onde os tokens celulares e os tokens de texto coexistem no mesmo framework de modelagem autorregressiva.

2. Estratégia de Treinamento

O CellTok é treinado usando dois objetivos de pré-treinamento complementares para alinhar as modalidades celular e linguística:

• Compreensão Celular: O modelo condiciona-se a uma sequência de tokens celulares para gerar uma descrição em linguagem natural do estado celular.
• Geração Celular: O modelo condiciona-se a uma descrição textual para gerar a sequência correspondente de tokens celulares, que são então decodificados de volta para perfis transcriptômicos.
• Ajuste Fino (Fine-Tuning): O LLM pré-treinado é adaptado usando Low-Rank Adaptation (LoRA, modificando aproximadamente 2% dos parâmetros: projeções de atenção, camadas feed-forward e embeddings de tokens). Os dados de treinamento incluem 68 milhões de perfis de célula única de alta qualidade do CELLxGENE, pareados com descrições textuais geradas pelo GPT-4o.

3. Tarefas de Avaliação (Downstream Tasks)

O framework suporta várias tarefas ao compor múltiplas células tokenizadas dentro de um contexto autorregressivo compartilhado:

• Nível de Célula: Anotação de tipo celular e geração condicional de células sintéticas.
• Nível de População: Anotação de cluster, anotação de população heterogênea e inferência de estado de doença (ex: distinguir estados saudáveis vs. estados de COVID-19 sem rótulos explícitos de tipo celular).
• Relacional: Inferir vias de comunicação célula-célula (CCC) entre populações de origem e alvo, e distinguir vizinhos espaciais comunicantes vs. não comunicantes.
• Temporal: Inferir a ordenação temporal (pseudotempo) do desenvolvimento e gerar perfis transcriptômicos correspondentes a estágios ao longo de trajetórias.

Principais Resultados

O artigo avalia o CellTok através de diversos benchmarks, demonstrando que os LLMs podem ler e raciocinar efetivamente sobre dados celulares quando fornecidos com tokens nativos.

• Identidade e Geração Celular: O CellTok alcança um desempenho competitivo com modelos celulares de grande escala especializados (LCMs), como Geneformer e scGPT, e, notavelmente, supera LLMs de propósito geral substancialmente maiores (ex: GPT-4o, LLaMA 3 70B) quando solicitados para análise de célula única via prompt. Em tarefas de geração, ele produz células sintéticas que se assemelham de perto aos perfis reais, superando o Cell2Sentence e igualando o scDiffusion.
• Inferência de Nível de População:
  • Anotação: O CellTok supera os baselines na anotação de clusters homogêneos e, crucialmente, na anotação de populações heterogêneas contendo tipos celulares confundíveis (ex: CD4+ vs. CD8+ T cells) diretamente a partir de entradas mistas.
  • Estado de Doença: O modelo identifica com precisão estados associados a doenças (ex: COVID-19) através de populações mistas sem que lhe sejam fornecidos rótulos de tipo celular durante a inferência, baseando-se, em vez disso, em padrões transcriptômicos e contexto populacional.
  • Sensibilidade Semântica: Estudos de ablação mostram que substituir rótulos biologicamente significativos (ex: "COVID-19") por rótulos neutros (ex: "Status A") reduz o desempenho, indicando que o CellTok aproveita os priors semânticos incorporados no conhecimento de linguagem do LLM.
• Comunicação Célula-Célula (CCC):
  • Não Espacial: O CellTok prevê vias de sinalização ligante-receptor entre populações celulares. Ele generaliza para doadores não vistos e baseia-se em contextos transcriptômicos pareados em vez de memorizar identidades de tipos celulares.
  • Espacial: Na transcriptômica espacial (Visium HD), o CellTok distingue células vizinhas comunicantes de não comunicantes usando apenas o input transcriptômico (sem coordenadas espaciais). Ele generaliza para regiões teciduais não vistas e apresenta bom desempenho em interações heterotípicas, sugerindo que aprende competência de comunicação em vez de apenas frequências de pares de tipos celulares.
• Trajetórias de Desenvolvimento: O CellTok infere com sucesso a ordenação temporal relativa das células através de estágios de desenvolvimento (organoides cerebrais) e generaliza para pontos temporais não vistos. Ele também pode gerar perfis transcriptômicos para estágios específicos condicionados por células de outros estágios, suportando tanto interpolação quanto extrapolação.

Significância e Alegações

Os autores afirmam que o CellTok estabelece uma interface unificada para modelagem de células, populações e conhecimento biológico em um espaço de tokens compartilhado.

• Linguagem Nativa para a Biologia: Este trabalho demonstra que os transcriptomas de célula única podem ser transformados de uma modalidade molecular estrangeira em uma linguagem nativa para LLMs. Isso permite que medições celulares, contextos de múltiplas células, prompts textuais e conhecimento biológico sejam modelados dentro de um único framework autorregressivo.
• Raciocínio Contextual: Ao representar células como unidades composicionais dentro do espaço de tokens, o CellTok permite que os LLMs realizem o raciocínio contextual sobre populações, relações intercelulares e processos de desenvolvimento, indo além de tratar as células como endpoints isolados.
• Fundamentação Bidirecional: O framework cria uma interface direta entre medições moleculares e linguagem natural, onde tokens celulares podem condicionar o texto e o texto pode condicionar a geração/interpretação de estados celulares.
• Prova de Conceito: Os autores posicionam o CellTok como uma prova de conceito para a tokenização celular como uma representação e interface de tarefas compartilhadas. Eles reconhecem limitações, como a potencial perda de informações quantitativas finas devido à discretização e a necessidade de mais avaliações de transferência de conhecimento entre tarefas. No entanto, argumentam que esta abordagem oferece um caminho para a ciência baseada em LLMs, onde os modelos podem interpretar medições moleculares em uma conexão mais próxima com o conhecimento biológico e questões científicas.