🧬 biology

Rotation, rescaling, or replacement? Decomposing organ adaptation in single-cell transformer representations

Ao alavancar três checkpoints de scGPT com arquiteturas idênticas, mas corpora de pré-treinamento diferentes, este estudo demonstra que a adaptação específica de órgãos em transformers de célula única é mínima e concentrada em camadas de atenção específicas em vez de transformações geométricas globais, sugerindo que modelos treinados com menos de dez milhões de células retêm amplamente seu ruído de inicialização e que checkpoints gerais são superiores para extrair algoritmos biológicos.

Autores originais: Liu Chen

Publicado 2026-08-06

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Liu Chen

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você é um detetive tentando descobrir como um robô superinteligente aprende a entender o mundo. Na área da biologia, cientistas estão construindo esses robôs — chamados de "transformers" — para ler os manuais de instrução dentro de nossas células. Esses manuais são escritos em uma linguagem de genes, e os robôs são treinados em bibliotecas massivas de dados celulares para entender como diferentes partes do corpo funcionam. A grande questão é: quando ensinamos um robô sobre um órgão específico, como o cérebro ou o rim, ele simplesmente aprende a olhar para os mesmos fatos antigos sob um novo ângulo, ou ele reescreve completamente seu entendimento? Isso importa porque, se o robô apenas "rotacionar" sua visão, podemos facilmente traduzir o que ele aprendeu sobre cérebros para ajudar a entender rins. Mas se ele "substituir" toda a sua visão de mundo, teremos que começar do zero toda vez que mudarmos de órgão.

Este artigo investiga exatamente esse mistério usando um conjunto especial de três cérebros robóticos criados pelo projeto scGPT. Os pesquisadores tiveram uma vantagem única: eles tinham três versões do mesmo robô, construídas com as mesmas plantas exatas e partindo do mesmo "seed" (semente) aleatório de números. A única diferença era sua biblioteca de treinamento: um leu 33 milhões de células de todo o corpo humano, um leu 13,2 milhões de células cerebrais e um leu 814.000 células renais. Ao comparar estes três, o autor pôde ver exatamente o que os dados ensinaram aos robôs versus o que era apenas ruído aleatório restante de seu nascimento.

O Grande Experimento "O Que Você Aprendeu?"

Pense nestes três modelos de IA como três estudantes que começaram a escola no mesmo dia, sentados nos mesmos assentos, com os mesmos cadernos em branco e os mesmos rabiscos aleatórios nas margens (a "inicialização").

Estudante A leu uma enciclopédia massiva de 33 milhões de páginas cobrindo cada parte do corpo humano.
Estudante B leu um livro didático espesso de 13,2 milhões de páginas, mas apenas sobre o cérebro.
Estudante C leu um panfleto fino de 814.000 páginas, mas apenas sobre o rim.

Os pesquisadores queriam saber: Quando o Estudante B e o Estudante C terminaram sua leitura, eles apenas inclinaram a cabeça para olhar para os mesmos fatos de forma diferente (uma rotação), ou eles mudaram o tamanho das palavras que importavam (um redimensionamento/rescaling)? Ou, eles jogaram fora os fatos antigos e escreveram novos inteiramente (uma substituição)?

O "Fantasma" na Máquina

Antes de responder à grande pergunta, os pesquisadores encontraram uma pista assustadora. Eles notaram que milhares de linhas específicas nos cadernos de todos os três estudantes eram bit a bit idênticas. Estas eram linhas que nenhum estudante havia realmente lido ou aprendido. Como os cadernos começaram com rabiscos aleatórios, e essas linhas nunca mudaram, os pesquisadores perceberam: "Aha! Todos os três estudantes começaram com os mesmos rabiscos aleatórios!"

Isso foi um divisor de águas. Significou que os pesquisadores sabiam exatamente como o "ruído" parecia. Eles podiam traçar uma linha na areia: qualquer coisa abaixo dessa linha era apenas os rabiscos iniciais aleatórios; qualquer coisa acima dela era aprendizado real.

O Resultado Chocante: Não é uma Rotação, é uma Reescrita

Uma vez que filtraram os rabiscos aleatórios, a resposta para a principal pergunta deles ficou clara e surpreendente.

1. O Estudante do "Rim" Não Aprendeu Muito de Verdade
O estudante que leu apenas o panfleto do rim (814.000 células) mal mudou seu caderno. De 512 direções possíveis que poderiam ser aprendidas, apenas 12 foram realmente novas. O resto era apenas os rabiscos aleatórios originais. É como tentar aprender uma nova língua lendo um único gibi; você ainda não conhece a língua de verdade. Os pesquisadores descobriram que, para este estudante, o "aprendizado" era tão fraco que era majoritariamente ruído.

2. O Estudante do "Cérebro" Mudou o Mapa, Não Apenas o Ângulo
O estudante que leu o livro didático do cérebro (13,2 milhões de células) aprendeu mais — cerca de 104 novas direções. Mas aqui está a reviravolta: ele não apenas rotacionou o mapa ou tornou as estradas existentes maiores. Ele substituiu as estradas.

Os pesquisadores tentaram ajustar o mapa do estudante do cérebro ao mapa do estudante do corpo inteiro usando uma "rotação" (girar o mapa) ou um "redimensionamento" (esticar o mapa). Não funcionou bem.

Uma simples rotação explicou menos de 30% das mudanças.
Mesmo adicionando um "estiramento" para cada uma das estradas, explicou apenas um pouco mais.
Para fazer os mapas coincidirem, eles tiveram que usar um mapa linear complexo e bagunçado que explicava apenas cerca de 57% das mudanças.

Isso significa que, quando o robô aprende sobre um órgão específico, ele não apenas olha para os mesmos fatos biológicos de um ângulo diferente. Ele descarta a maioria dos antigos "eixos" (as principais formas como organiza a informação) e escreve novos. O estudante do cérebro e o estudante do rim estão falando dialetos diferentes da mesma língua, não apenas o mesmo dialeto com um sotaque diferente.

3. O "Meio" é Onde a Magia Acontece
Os pesquisadores também observaram onde no cérebro do robô o aprendizado aconteceu. Eles descobriram que o aprendizado estava concentrado nas camadas intermediárias da rede do robô, especificamente nas partes que prestam atenção às conexões (atenção) e nas partes que processam informações (feed-forward). As partes de "normalização" (que mantêm o robô estável) quase não mudaram. É como se o estudante tivesse reescrito os capítulos do meio de seu livro didático, mas deixasse a introdução e a conclusão exatamente como estavam quando começou.

4. Direção Importa Mais do que Tamanho
Quando o robô aprendeu sobre o cérebro versus o rim, o tamanho da mudança não lhes disse qual era o órgão. Um gene que mudou muito poderia ser de qualquer lugar. Mas a direção da mudança foi uma pista reveladora. Se um gene se moveu em uma direção específica, era quase certamente um gene cerebral. Se se moveu na direção oposta, era um gene renal. O robô aprendeu a reconhecer órgãos pelo modo como a informação se deslocou, não por quanto ela se deslocou.

A Lição para Futuros Exploradores

O artigo oferece algumas regras muito práticas para qualquer pessoa que tente usar esses robôs de IA para entender a biologia:

Apegue-se ao Generalista: Se você quer entender a biologia, use o modelo treinado em todo o corpo humano (o modelo de 33 milhões de células). Ele possui as direções mais "aprendidas" e a estrutura mais clara.
Não Presuma a Transferibilidade: Você não pode simplesmente pegar uma descoberta feita no modelo "cerebral" e aplicá-la ao modelo "renal" apenas girando um botão. Os mapas internos são muito diferentes. Se você quiser usar as descobertas do modelo cerebral para os rins, terá que reaprender tudo do zero.
Cuidado com Conjuntos de Dados Pequenos: Se um modelo é treinado com menos de cerca de 10 milhões de células (como o modelo do rim neste estudo), ele pode não ter aprendido nada real. Pode estar apenas ecoando seus próprios rabiscos iniciais aleatórios. Antes de confiar em um modelo específico de um órgão, você deve verificar se ele realmente aprendeu algo além do ruído.

Em resumo, o robô não apenas "vira" a cabeça para ver um novo órgão; ele tem que cultivar uma nova cabeça. E se ele não tiver tempo suficiente para ler (dados suficientes), ele pode não cultivar uma nova cabeça — ele pode ficar apenas encarando os rabiscos aleatórios com os quais começou.

Resumo Técnico: Decomposição da Adaptação de Órgãos em Representações de Transformers de Célula Única

Enunciado do Problema
Modelos de fundação de célula única, como o scGPT, são cada vez mais utilizados para extrair insights biológicos de suas representações internas. No entanto, uma suposição crítica neste campo permanece não testada: que a geometria do estado interno de um modelo reflete a biologia de seu corpus de treinamento, em vez das restrições da arquitetura, do esquema de inicialização ou do otimizador. No processamento de linguagem natural, separar esses fatores é difícil porque os checkpoints públicos raramente compartilham arquiteturas e objetivos idênticos, diferindo apenas no corpus. O campo da célula única oferece um experimento controlado único: o lançamento do scGPT inclui três checkpoints (humano total, cérebro e rim) que compartilham arquitetura (12 camadas, 8 cabeças, 512 dimensões), objetivos e configurações de otimizador idênticos, diferindo apenas em seus corpora de pré-treinamento (33M de células humanas totais, 13,2M de células cerebrais e 814K de células renais). Este artigo investiga como a adaptação de órgãos se manifesta nessas representações: ela rotaciona eixos biológicos existentes, os reescala ou os substitui inteiramente?

Metodologia
O autor emprega uma abordagem de "divergência de origem comum", aproveitando o fato de que os três checkpoints foram inicializados a partir do mesmo sorteio aleatório.

Calibração de Ruído de Inicialização: Ao identificar 4.437 linhas de genes que são bit a bit idênticas em todos os três checkpoints (genes nunca vistos em nenhum corpus de treinamento), o autor estabelece que essas linhas retêm os exatos valores de inicialização. Esses valores seguem uma distribuição uniforme em $[-0,1, 0,1]$ , criando um piso de ruído isotrópico conhecido. Usando a Teoria das Matrizes Aleatórias (distribuição de Marchenko–Pastur), eles definem um limiar de detecção preciso: valores singulares que caem dentro da banda prevista são indistinguíveis do ruído de inicialização, enquanto aqueles acima representam o sinal aprendido.
Decomposição Aninhada de Drift: O autor compara matrizes de incorporação de genes ( $X$ e $Y$ ) usando uma hierarquia de mapas lineares para determinar quão bem a geometria de um checkpoint pode ser transformada na de outro. Os modelos testados incluem identidade, translação, escala isotrópica, rotação ortogonal (Procrustes), escala por eixo e mapas lineares completos. A variância explicada por cada etapa isola a contribuição de rotação, reescalonamento e deslocamento específico do gene.
Análise Espectral e por Camada: O estudo analisa a conservação de direções espectrais (vetores singulares) entre modelos e mapeia a localização da adaptação através dos 163 tensores de peso da pilha do transformer, distinguindo entre deslocamentos aprendidos e energia de inicialização retida.
Validação Biológica: A especificidade tecidual é avaliada usando o Human Protein Atlas (HPA) e o Tabula Sapiens. O autor correlaciona o drift geométrico (direção e magnitude) com a expressão gênica específica de tecido e a coerência de vias (Gene Ontology, Reactome, Hallmark).

Contribuições Principais

Calibração do Piso de Ruído: O artigo fornece o primeiro modelo exato de ruído para representações de transformers de célula única ao explorar a inicialização compartilhada entre os checkpoints, permitendo uma separação rigorosa entre o sinal aprendido e artefatos de inicialização.
Caracterização Geométrica da Adaptação: Demonstra que a adaptação de órgãos não é uma simples rotação ou reescalonamento de um subespaço biológico compartilhado, mas sim uma substituição de eixos, onde apenas uma minoria de direções sobrevive à transição entre os corpora.
Quantificação do Aprendizado: Quantifica a "dimensionalidade aprendida" de diferentes corpora, revelando que conjuntos de dados menores (ex: 814K células) resultam em modelos onde a vasta maioria do espaço de incorporação permanece como ruído de inicialização não aprendido.

Resultos

Dominância da Inicialização: Aproximadamente 80% da variância da inicialização persiste em todas as três matrizes de incorporação de genes. O número de "direções aprendidas" (valores singulares que excedem o piso de ruído) é 119 para o humano total, 104 para o cérebro e apenas 12 para o rim.
Substituição, Não Rotação: Uma transformação de similaridade (rotação + escala isotrópica) explica apenas 48% do drift bruto entre os modelos humano total e cérebro. Quando restrito aos subespaços aprendidos (removendo o ruído de inicialização), isso cai para 29% para o cérebro e 8% para o rim. Adicionar escala por eixo contribui de forma insignificante (0,3 pontos percentuais). O principal motor do drift é o deslocamento específico do gene que nenhum mapa linear global consegue absorver.
Conservação Espectral: A conservação das direções aprendidas decai monotonicamente com o índice espectral. As 10 principais direções aprendidas do modelo humano total retêm ~48% de sua massa no subespaço aprendido do modelo cerebral, mas isso cai para <20% para direções além do índice 50.
Direção vs. Magnitude: Ao nível do gene, a direção do deslocamento codifica a identidade tecidual, não a magnitude. O eixo de contraste principal cérebro–rim correlaciona-se fortemente com o enriquecimento de expressão cérebro-versus-rim ( $\rho = 0,246$ ), enquanto a magnitude do deslocamento mostra correlação negligenciável com a especificidade tecidual.
Adaptação por Camada: A adaptação concentra-se nas matrizes de atenção e de projeção feed-forward das camadas intermediárias. Os vetores de ganho da LayerNorm permanecem efetivamente intocados, retendo 99% de sua energia de inicialização.
Limiar de Volume de Dados: Apenas o checkpoint cerebral (13,2M de células) adquire um eixo genuinamente específico do órgão (sobre-codificando conjuntos de genes neurais). O checkpoint renal (814K células) não mostra enriquecimento renal e falha em aprender a estrutura específica do órgão, comportando-se majoritariamente como inicialização não aprendida.

Significância e Alegações
O artigo argumenta que, para pesquisadores que extraem algoritmos interpretáveis de modelos de fundação, a escolha do checkpoint é uma decisão metodológica de primeira ordem.

Use Checkpoints Gerais: O checkpoint geral (humano total) é o substrato superior para extração, oferecendo as direções aprendidas mais numerosas e a estrutura de vias mais forte.
Não Mapeie Entre Checkpoints: Achados de um checkpoint de órgão não se transferem para outro via mudanças simples de base (rotação/escala). Sondas e circuitos devem ser reajustados para cada checkpoint específico.
Foque no Espectro: Questões biológicas com probabilidade de transferência entre órgãos estão alinhadas com o topo do índice espectral (as principais direções aprendidas).
Cuidado com Pequenos Corpora: Checkpoints treinados em menos de aproximadamente 10 milhões de células (como o modelo renal) são "majoritariamente não aprendidos". Análises que dependem de mais de uma dúzia de direções de incorporação nesses modelos estão provavelmente analisando ruído de inicialização aleatória em vez de sinal biológico.

O autor conclui que a adaptação de órgãos substitui eixos biológicos em vez de refiná-los, e que o "piso de ruído" da inicialização deve ser explicitamente considerado para evitar a interpretação errônea de estrutura aleatória como conservação biológica.

O Grande Experimento "O Que Você Aprendeu?"

O "Fantasma" na Máquina

O Resultado Chocante: Não é uma Rotação, é uma Reescrita

A Lição para Futuros Exploradores

Mais como este