Beyond Gene Reconstruction: Learning Cell Representations through Complementary Transcriptomic Views

Resumo Técnico: Além da Reconstrução de Genes: Aprendendo Representações Celulares através de Visões Transcriptômicas Complementares

Definição do Problema
Os modelos de fundação atuais para transcriptômica de célula única são predominantemente pré-treinados via predição de valores de expressão mascarados (Modelagem de Linguagem Mascarada, ou MLM). Embora esse objetivo aprenda efetivamente dependências ao nível de genes e estruturas de coexpressão latentes, ele fornece supervisão apenas ao nível de genes individuais. Consequentemente, esses modelos não otimizam diretamente representações de células inteiras, que são críticas para tarefas de jusante (downstream), como a anotação de tipos celulares e a inferência de redes de regulação gênica (GRN). Além disso, um forte desempenho de reconstrução não garante embeddings celulares discriminativos ou transferíveis.

Adicionalmente, a aplicação de aprendizado contrastivo padrão a dados de célula única apresenta dois desafios específicos do domínio:

1. Construção de Pares Positivos: Diferente das aumentações de imagem (ex: recorte/crop) que preservam a identidade do objeto, perturbar os valores de expressão gênica pode alterar o estado biológico subjacente ou a identidade celular, tornando difícil a construção de pares positivos válidos.
2. Atalhos de Pares Negativos: Em entradas transcriptômicas esparsas, diferentes células frequentemente retêm subconjuntos diferentes de identidades de genes. O aprendizado contrastivo padrão corre o risco de permitir que o modelo distinga pares negativos baseando-se apenas na composição do conjunto de genes (identidade do gene) em vez de aprender a correspondência entre genes específicos e seus valores de expressão.

Metodologia: CoCoS
Os autores propõem o CoCoS (Co-expression-guided Contrastive pretraining for Single-cell), um framework projetado para aprender representações celulares através de visões transcriptômicas complementares, abordando os desafios acima. O método integra três adaptações específicas:

1. Particionamento de Genes Guiado por Coexpressão:
   Para construir pares positivos biologicamente válidos sem alterar a identidade celular, o CoCoS particiona os genes de cada célula em duas visões complementares baseadas em um grafo de coocorrência. Genes que coocorrem frequentemente em estados de alta expressão são atribuídos a visões diferentes. Para cada célula, o modelo gera duas visões: uma mascara os valores de expressão no primeiro conjunto de genes, e a outra mascara os valores no segundo conjunto. Isso garante que cada valor de gene seja observado em uma visão e mascarado na outra, preservando as identidades de genes originais e os valores de expressão enquanto fornece informações complementares.

2. Construção de Conjunto de Contraste Consciente da Expressão:
   Para evitar que o modelo utilize a identidade do conjunto de genes como um atalho, o CoCoS constrói "negativos difíceis" (hard negatives). Para uma visão de célula âncora, o modelo cria negativos com identidade correspondente permutando os valores de expressão, mantendo as identidades dos genes e o padrão de mascaramento inalterados. Como as entradas originais e permutadas contêm exatamente o mesmo conjunto de genes, o modelo não pode distingui-las baseando-se apenas na composição do conjunto de genes; ele deve aprender a correspondência específica entre genes e seus valores de expressão. O conjunto de contraste inclui esses negativos difíceis junto com os negativos padrão do lote (in-batch) de outras células.

3. Início de Contraste com Gatilho de Competência:
   O framework introduz um controlador dependente de dados para determinar quando ativar o objetivo contrastivo. No início do treinamento, o modelo ainda não aprendeu dependências estáveis entre genes através da reconstrução mascarada. Introduzir a perda contrastiva imediatamente pode fazer com que o modelo alinhe as visões usando pistas técnicas (ex: tamanho da biblioteca ou esparsidade) em vez de correspondência biológica. O CoCoS utiliza uma coorte "sentinela" fixa e não rotulada para monitorar três métricas: concordância de programas gênicos (separação de visões pareadas vs. incompatíveis), erro de reconstrução e diversidade de embeddings (repertório). O peso do contraste permanece em zero até que essas métricas indiquem que o modelo alcançou competência de reconstrução estável e estrutura entre visões, após o qual o peso aumenta suavemente.

Principais Contribuições

• Identificação de Desalinhamento: Os autores caracterizam o desalinhamento entre a reconstrução de valores de expressão mascarados e o aprendizado de representação de célula inteira, definindo três requisitos específicos para aplicar aprendizado contrastivo no pré-treino de célula única: visões positivas biologicamente válidas, mitigação de atalhos de identidade de genes em negativos e tempo apropriado para supervisão contrastiva.
• Framework CoCoS: A introdução de um framework de pré-treino que projeta conjuntamente visões guiadas por coexpressão, conjuntos de contraste conscientes da expressão com desarranjos de identidade fixa e um mecanismo de início com gatilho de competência.
• Validação Empírica: Experimentos extensos demonstrando que a supervisão contrastiva de célula inteira limitada produz representações mais discriminativas e transferíveis do que métodos baseados puramente em reconstrução.

Resultados
Os autores avaliaram o CoCoS (especificamente a variante CoCoS-GPC) em tarefas de jusante usando embeddings de célula inteira congelados:

• Anotação de Tipo Celular: Sob um protocolo de avaliação de célula-para-frente unificado em dez conjuntos de dados, o CoCoS-GPC alcançou a maior precisão média de k-NN (74,82%) e precisão de sonda linear (78,85%) entre as variantes comparadas, superando modelos estabelecidos como scGPT e Geneformer V2-104M.
• Inferência de Rede de Regulação Gênica (GRN): Em uma avaliação de GRN de seis redes, o CoCoS-GPC registrou as estimativas de ponto mais altas de média AUROC (0,8733) e AUPRC (0,7120). Os autores observam que, embora a média seja a mais alta, a variante de melhor desempenho difere entre as redes individuais.
• Estudos de Ablação:
  • Design de Visão: A amostragem consciente da expressão superou a amostragem uniforme e os painéis aleatórios balanceados.
  • Construção de Negativos: Testes diagnósticos confirmaram que os negativos de identidade fixa mitigaram com sucesso a dependência da composição do conjunto de genes, estreitando a lacuna de confiança entre negativos comuns e desarranjos de identidade correspondente.
  • Tempo de Início: Um início com gatilho de competência (ativado no passo 93.000) superou o contraste imediato e os cronogramas de aquecimento (warmup) fixos (1 ou 2 épocas), validando a necessidade de esperar pela competência de reconstrução antes de introduzir a supervisão contrastiva.

Significância e Alegações
O artigo afirma que o aprendizado contrastivo de visão complementar é uma direção eficaz para estender o pré-treino de célula única além da reconstrução de genes. Ao abordar os desafios específicos de validade de pares positivos, atalhos de negativos de genes e tempo de treinamento, o CoCoS estabelece um método que produz representações celulares mais discriminativas e transferíveis. Os autores posicionam este trabalho não como um substituto para a reconstrução, mas como um complemento necessário que otimiza a geometria dos embeddings de célula inteira, melhorando assim o desempenho em tarefas de jusante como anotação de tipo celular e inferência de GRN dentro dos conjuntos de dados e protocolos avaliados. Os resultados sugerem que a supervisão contrastiva de célula inteira adequadamente limitada é superior às abordagens baseadas puramente em reconstrução para aprender representações celulares transferíveis.