Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT

Este estudo demonstra que, embora os modelos de base de célula única Geneformer e scGPT tenham internalizado conhecimento biológico organizado e hierárquico, eles codificam apenas lógica regulatória causal mínima, conforme revelado pela aplicação sistemática de autoencoders esparsos.

O essencial

Imagine que você tem dois "cérebros artificiais" gigantes, chamados Geneformer e scGPT. Esses cérebros foram treinados lendo milhões de mapas de células humanas (como se fossem livros de biologia). Eles são tão inteligentes que conseguem prever o que acontece quando você altera um gene, ou identificar que tipo de célula é aquela apenas olhando para ela.

Mas existe um mistério: como eles fazem isso? Eles realmente entendem as regras de causa e efeito da biologia (como um professor que sabe por que algo acontece), ou eles apenas decoraram padrões estatísticos (como um aluno que decora que "se chove, o chão fica molhado", mas não entende a física da água)?

O autor deste artigo, Ihor Kendiukhov, decidiu abrir a "caixa preta" desses cérebros para ver o que está acontecendo lá dentro. Ele usou uma ferramenta chamada Autoencoder Esparsos (SAE), que é como uma lente mágica capaz de separar o pensamento confuso do cérebro em ideias individuais e claras.

Aqui está o que ele descobriu, explicado de forma simples:

1. O Cérebro está "Superlotado" (Superposição)

Imagine que o cérebro do Geneformer tem apenas 1.152 "caixas" (dimensões) para guardar informações. Mas ele precisa guardar mais de 82.000 conceitos biológicos diferentes!
Como ele faz isso? Ele usa um truque chamado superposição. É como se ele escrevesse milhares de livros diferentes no mesmo pedaço de papel, usando códigos que só funcionam se você olhar para eles de um ângulo muito específico.

• A descoberta: 99,8% das ideias dentro do cérebro são invisíveis para métodos comuns de análise. Elas estão escondidas em camadas complexas que só essa "lente mágica" (SAE) consegue ver.

2. O Cérebro é um Arquivo Biológico Organizado

Ao olhar através da lente, o autor viu que o cérebro não é bagunçado. Ele está incrivelmente organizado:

• Camadas de Abstração: Nas camadas iniciais, o cérebro entende "peças de Lego" (moléculas, DNA, proteínas). Nas camadas do meio, ele começa a juntar essas peças em "brinquedos" (células, vias de sinalização). Nas camadas finais, ele entende "cenários completos" (como uma célula se dividindo ou morrendo).
• Grupos de Amigos: As ideias se agrupam em "clubes" ou módulos. Se uma ideia sobre "ciclo celular" acende, outras ideias sobre "divisão de DNA" também acendem. São 141 desses clubes no Geneformer.
• Rodovias de Informação: Mesmo que as ideias mudem de nome a cada camada, elas se conectam. É como se a informação viajasse por rodovias invisíveis do início ao fim do cérebro, mantendo o sentido biológico.

3. O Grande Problema: O Cérebro sabe "O Quê", mas não "O Porquê"

Aqui está a parte mais importante e um pouco decepcionante.
O autor testou se o cérebro entendia a lógica de regulação (quem manda em quem). Ele simulou um experimento real: "E se desligarmos o gene X, o que acontece com o gene Y?".

• O Resultado: O cérebro percebeu que algo mudou (ele sabe que a célula está diferente), mas não soube prever corretamente quais genes específicos seriam afetados pela ordem daquele gene.
• A Analogia: Imagine que você tem um assistente que leu todos os livros de receitas do mundo. Se você pedir "faça um bolo", ele sabe exatamente quais ingredientes usar (ele conhece os padrões). Mas, se você perguntar "por que o ovo faz o bolo crescer?", ele não consegue explicar a química por trás disso. Ele apenas sabe que "ovo + farinha = bolo" porque viu isso milhões de vezes.
• A Estatística: De 48 fatores de controle (os "chefs" que dão ordens), o cérebro só entendeu a lógica correta em 6,2% dos casos. Ou seja, ele é ótimo em reconhecer padrões, mas péssimo em entender a causalidade (quem manda em quem).

4. A Culpa não é da Ferramenta, é do Cérebro

O autor teve uma dúvida: "Será que a lente (SAE) é ruim, ou o cérebro é que não aprendeu isso?".
Para testar, ele treinou a lente com dados de vários tipos de tecidos (não apenas um tipo de célula).

• Resultado: Mesmo com mais dados, a capacidade do cérebro de entender a lógica de controle melhorou muito pouco (de 6,2% para 10,4%).
• Conclusão: O problema não é a ferramenta de análise, é o próprio modelo. O modelo foi treinado apenas para prever o que vem a seguir (baseado em estatística), e não para entender a física da regulação gênica.

Resumo Final

Este artigo é como um raio-X que mostra que os grandes modelos de IA biológica são enciclopédias incrivelmente organizadas, mas não são cientistas.

• Eles sabem que "A está junto com B" (correlação).
• Eles não sabem que "A causa B" (causalidade).

O que isso significa para o futuro?
Para que a IA realmente entenda a biologia e possa nos ajudar a criar novos remédios ou entender doenças complexas, os cientistas precisarão ensinar esses modelos de uma maneira diferente. Eles precisarão de exercícios que forcem o cérebro a entender a causa e o efeito, e não apenas a memorizar padrões.

O autor também liberou dois sites interativos onde qualquer pessoa pode explorar esses "cérebros" e ver as 100.000+ ideias que foram descobertas, como se fosse um mapa do tesouro da biologia computacional.

Resumo técnico

Resumo Técnico: Autoencoders Esparsos Revelam Conhecimento Biológico Organizado, mas Lógica Regulatória Mínima em Modelos de Fundação de Célula Única

1. Problema e Contexto

Os modelos de fundação de célula única (scFMs), como Geneformer e scGPT, demonstraram capacidades notáveis na anotação de tipos celulares e previsão de respostas a perturbações. No entanto, uma questão central permanece sem resposta: essas representações aprendidas codificam lógica regulatória causal (relações direcionadas entre fatores de transcrição e genes alvo) ou apenas refletem padrões estatísticos de co-expressão (correlações que não implicam causalidade)?

Estudos anteriores focados em pesos de atenção sugeriram que os modelos capturam co-expressão, mas a atenção representa apenas uma visão da computação interna. O "stream residual" (a soma acumulada das saídas de todas as camadas) pode conter estruturas mais ricas. Além disso, a hipótese de superposição sugere que os modelos codificam muito mais conceitos do que suas dimensões ocultas permitem, tornando a maioria das características invisível a métodos de decomposição linear padrão (como SVD ou PCA).

2. Metodologia

Os autores aplicaram pela primeira vez Autoencoders Esparsos (SAEs) sistematicamente a modelos de fundação biológica para decompor as ativações densas em características interpretáveis.

• Modelos Analisados:
  • Geneformer V2-316M: 18 camadas, dimensão oculta $d=1.152$, treinado com tokens de valor de rank (30M células).
  • scGPT Whole-Human: 12 camadas, dimensão oculta $d=512$, treinado com valores de expressão contínua (33M células).
• Pipeline de Treinamento:
  • Extração de ativações do stream residual em todas as camadas.
  • Treinamento de TopK SAEs (com dicionário 4x supercompleto e esparsidade $k=32$) em posições de tokens.
  • Geração de atlas de características: 82.525 características para o Geneformer e 24.527 para o scGPT.
• Análises Realizadas:
  1. Anotação Biológica: Enrichment contra 5 bancos de dados (GO, KEGG, Reactome, STRING, TRRUST).
  2. Comparação com SVD: Verificação de quão muitas características são invisíveis à decomposição linear.
  3. Redes de Co-ativação: Construção de grafos usando Informação Mútua Ponto a Ponto (PMI) para identificar módulos funcionais.
  4. Patching Causal: Ablação de características individuais para medir a especificidade na perturbação dos logits de saída.
  5. Mapeamento de Resposta a Perturbação: Uso de dados CRISPRi (Replogle) para testar se as características respondem especificamente aos alvos regulatórios de Fatores de Transcrição (TFs).
  6. Controle Multi-tecido: Treinamento de SAEs em dados mistos (K562 + Tabula Sapiens) para descartar limitações dos dados de treinamento.

3. Principais Contribuições

1. Primeiros Atlas de Características para scFMs: Criação de mapas interativos e públicos de mais de 107.000 características interpretáveis através de 30 camadas de dois modelos líderes.
2. Validação da Superposição Massiva: Demonstração de que 99,8% das características biológicas codificadas são invisíveis ao SVD, exigindo SAEs para sua descoberta.
3. Análise Comparativa de Arquiteturas: Prova de que a organização biológica e a superposição são fenômenos robustos, presentes em arquiteturas e objetivos de treinamento fundamentalmente diferentes.
4. Definição do Limite de Conhecimento do Modelo: Estabelecimento de que, embora os modelos internalizem conhecimento biológico organizado, eles falham em codificar a lógica causal de regulação gênica.

4. Resultados Chave

A. Superposição e Estrutura Oculta

• Invisibilidade ao SVD: Apenas 0,2% das características alinham-se com os eixos SVD. As 99,8% restantes (características "novas") carregam 98,7% de todas as anotações ontológicas.
• Compressão: O Geneformer codifica ~82.000 conceitos biológicos em apenas 1.152 dimensões (razão de compressão > 70x).

B. Organização Biológica Hierárquica

• Perfil em U: A taxa de anotação biológica é alta nas camadas iniciais (57-59%), cai no meio (45%) e recupera-se nas camadas tardias, sugerindo uma abstração hierárquica:
  • Camadas Iniciais: Máquinas moleculares (ciclo celular, metabolismo).
  • Camadas Intermediárias: Computação abstrata (difícil de mapear para termos únicos).
  • Camadas Tardias: Programas celulares integrativos (diferenciação, sinalização).
• Módulos de Co-ativação: As características organizam-se em 141 módulos distintos no Geneformer e 76 no scGPT, com identidade biológica clara (ex: módulos de sinalização imune, transporte vesicular).
• Rodovias de Informação: 97–99,8% das características formam "rodovias" de informação entre camadas, conectando características de camadas diferentes funcionalmente, apesar de serem vetorialmente ortogonais.

C. Especificidade Causal vs. Lógica Regulatória

• Especificidade Causal (Patching): A ablação de uma única característica afeta especificamente os genes anotados a ela (mediana de especificidade 2,36x no Geneformer). Isso prova que a estrutura computacional existe no nível de características.
• Falha na Lógica Regulatória (Perturbação CRISPRi): Ao testar contra dados de knockdown de CRISPRi:
  • O modelo detecta que uma perturbação ocorreu (92% de detecção).
  • Porém, apenas 6,2% (3/48) dos Fatores de Transcrição (TFs) geraram respostas de características que correspondiam aos seus alvos regulatórios conhecidos.
  • O modelo responde à mudança geral no estado celular (co-expressão), não à lógica causal específica TF $\to$ Alvo.

D. Controle Multi-tecido

• O treinamento de SAEs em dados de múltiplos tecidos (K562 + Tabula Sapiens) melhorou marginalmente a especificidade (de 6,2% para 10,4%), mas de forma não sistemática. Isso confirma que o gargalo não são os dados de treinamento do SAE, mas sim as representações internas do próprio modelo Geneformer.

5. Significância e Conclusões

Este estudo redefine a compreensão do que os modelos de fundação de célula única "sabem":

1. Conhecimento vs. Causalidade: Os modelos internalizaram profundamente o conhecimento biológico organizado (membros de vias, interações proteicas, módulos funcionais), mas não internalizaram a lógica regulatória causal. Eles aprendem correlações estatísticas robustas, não a direção da regulação.
2. Limitação de Objetivos de Treinamento: Os objetivos atuais (previsão de próximo token ou gene mascarado) tendem a favorecer a captura de co-expressão. Para capturar causalidade, seriam necessários objetivos de treinamento específicos para perturbações.
3. Ferramentas de Interpretabilidade: Os Autoencoders Esparsos provaram ser uma ferramenta essencial para desvendar a "caixa preta" dos modelos biológicos, revelando estruturas que métodos lineares tradicionais (como análise de atenção ou SVD) falham em detectar.
4. Recursos para a Comunidade: Os autores lançaram plataformas web interativas (Geneformer Feature Atlas e scGPT Feature Atlas) permitindo a exploração de mais de 100.000 características, facilitando a descoberta de novos alvos biológicos e a interpretação de modelos.

Em suma, enquanto os scFMs são poderosos para inferir estrutura biológica e estados celulares, eles ainda não são modelos de "causa e efeito" regulatório, representando um limite fundamental para aplicações que exigem a previsão precisa de consequências de intervenções genéticas específicas.