Rank or Value? An Empirical Analysis of Single-Cell Transformer Tokenization under Sequencing-Depth Loss

Resumo Técnico: "Rank ou Valor? Uma Análise Empírica da Tokenização de Transformers de Célula Única sob Perda de Profundidade de Sequenciamento"

Problema
Dados de sequenciamento de RNA de célula única (scRNA-seq) são caracterizados pela esparsidade e por uma forte sensibilidade à profundidade de sequenciamento (tamanho da biblioteca). Modelos de fundação baseados em Transformers para dados de célula única, como o Geneformer e o scBERT, requerem a conversão de vetores de contagem esparsos e não ordenados em sequências de tokens. Esses modelos empregam estratégias de tokenização fundamentalmente diferentes:

• Baseada em Rank (ex: Geneformer): Os genes são ordenados pela expressão relativa a uma mediana do corpus. Essa codificação é teoricamente invariante a uma escala uniforme (multiplicar todos os counts de uma célula por uma constante).
• Baseada em Valor (ex: scBERT): Genes recebem tokens discretos baseados em valores de expressão fixos e discretizados.

Uma intuição comum sugere que codificações de rank são robustas a variações de profundidade de sequenciamento. No entanto, o artigo argumenta que a perda de profundidade no mundo real não é um redimensionamento uniforme, mas sim uma remoção estocástica de moléculas (afunilamento/thinning), o que cria novos zeros e pode reordenar genes. A questão empírica central é se a tokenização de rank baseada na mediana do corpus preserva melhor a informação do tipo celular quando os transcriptomas são submetidos à perda estocástica de UMI.

Metodologia
O estudo isola a tokenização da capacidade do modelo usando um framework de sonda linear controlado, em vez de comparar transformers pré-treinados.

• Dataset: 2.638 células mononucleares de sangue periférico (PBMCs) do conjunto de dados 10x Genomics 3k, alinhadas a 18.974 genes compartilhados com o vocabulário do Geneformer-104M. As células foram anotadas em 8 classes (ex: células T CD4, monócitos) usando rótulos do tutorial Scanpy.
• Encodings Testados:
  1. Contínuo: Expressão log-normalizada.
  2. Value-bin: Expressão log-discretizada e limitada em 5 (imitando o scBERT).
  3. Corpus-rank: Genes ranqueados por $X_{ig}/m_g$ (onde $m_g$ é a mediana do corpus), mapeados para pontuações de percentil esparsas (imitando o Geneformer).
  4. Plain-rank: Genes ranqueados por contagens brutas dentro da célula (controle de rank não escalonado).
  5. Binário: Apenas detecção ($X_{ig} > 0$).
• Simulação de Perda de Profundidade: Os contagens observadas foram afuniladas usando um processo binomial ($\tilde{X} \sim \text{Binomial}(X, p)$) para simular taxas de retenção de 75%, 50%, 25%, 10% e 5%. Cada nível de profundidade foi testado com 30 realizações estocásticas pareadas.
• Avaliação: Classificadores de vetor de suporte lineares balanceados por classe foram treinados nos dados de profundidade total e avaliados em dobras (folds) afuniladas mantidas fora do treino. A métrica primária foi o Macro-F1. A degradação do desempenho foi medida como a diferença de retenção de desempenho em relação ao baseline de profundidade total de cada encoding.

Resultos Principais

1. Value Bins Superam Ranks sob Afunilamento: A 25% de retenção de UMI, o encoding value-bin alcançou um Macro-F1 de 0,857, superando significativamente o encoding de rank baseado na mediana do corpus (0,776). Em relação aos seus respectivos baselines de profundidade total, os value bins retiveram 5,9 pontos de Macro-F1 a mais do que os ranks de mediana do corpus (intervalo de confiança de 95% de bootstrap: 5,6–6,3; Holm-ajustado $p < 10^{-8}$).
2. O Papel do Escalonamento do Corpus: O controle "Plain-rank" (não escalonado) melhorou o desempenho sobre os ranks de mediana do corpus (0,799 vs. 0,776 na retenção de 25%), mas ainda ficou atrás dos value bins. Isso indica que, embora o escalonamento do corpus contribua para a lacuna de desempenho, a perda da magnitude quantitativa (reter apenas a ordem) também é prejudicial sob a perda estocástica de moléculas.
3. Mecanismo de Falha: A análise por nível de token revelou que o escalonamento da mediana do corpus promoveu desproporcionalmente genes com contagens muito baixas. Metade dos 128 principais tokens no encoding de corpus-rank era suportada por um único UMI, comparado a menos de 1% para plain ranks. Consequentemente, os tokens de corpus-rank eram intrinsecamente mais frágeis ao afunilamento; a probabilidade analítica média de um token do top-128 permanecer detectado após o afunilamento de 25% era de 45,8% para corpus ranks versus 82,0% para plain ranks.
4. Impacto em Classes Raras: A lacuna de desempenho foi mais pronunciada para tipos celulares raros (ex: células dendríticas, megacariócitos). A 10% de retenção, os encodings baseados em rank falharam em distinguir classes raras (F1 próximo de zero), enquanto os value bins e as expressões contínuas mantiveram F1s mais altos.
5. Estabilidade de Value Bins: A expressão log contínua e os value bins limitados rastrearam-se de perto, sugerindo que a informação de magnitude grosseira é suficiente para a anotação linear e mais estável do que a ordem de rank sob perda de profundidade.

Significância e Alegações
O artigo não pretende classificar modelos de fundação pré-treinados (Geneformer vs. scBERT), mas sim avaliar a estabilidade de seus princípios de tokenização subjacentes sob um deslocamento de covariável específico (perda de molécula).

• Refutação da Intuição de Robustez: O estudo demonstra que a invariância à multiplicação do tamanho da biblioteca não implica robustez à perda estocástica de moléculas. A "robustez" do encoding de rank é condicional a um escalonamento uniforme, uma condição não atendida pela redução típica de profundidade de sequenciamento.
• Riscos do Escalonamento do Corpus: Os autores mostram que o escalonamento ao nível do corpus, destinado a destacar genes expressos anormalmente em relação ao seu baseline, pode inadvertidamente elevar genes de baixa contagem e frágeis para posições proeminentes de tokens, desestabilizando a representação quando os dados são afunilados.
• Recomendações de Avaliação: Os autores argumentam que os benchmarks de modelos de fundação de célula única devem incluir testes de estresse para deslocamentos de profundidade de sequenciamento. Eles propõem que os protocolos de avaliação devem relatar o desempenho sob profundidades discordantes, a estabilidade do token sob afunilamento e o impacto específico do escalonamento ao nível do corpus, em vez de depender apenas da acurácia em profundidades correspondentes.

Os resultados são apresentados como um achado condicional em um dataset específico (PBMC 3k) e partição de referência, destinado a identificar um modo de falha concreto para testes em larga escala, em vez de fornecer uma inferência definitiva para toda a população.