🧬 biology

Geometric Representations of Knowledge Inside Biological Large Language Models: an Empirical Analysis

Este estudo empírico revela que, embora os grandes modelos de linguagem biológicos (SCFMs) codifiquem uma estrutura geométrica real, de baixa dimensão e parcialmente linearizada para o conhecimento biológico, esta estrutura é modesta, frequentemente emaranhada de forma não linear e sobrepõe-se amplamente ao que métodos clássicos baseados em expressão, como o PCA, já conseguem recuperar, ficando aquém da geometria nítida e regular observada nos modelos de linguagem natural.

Autores originais: Olivia Denvis

Publicado 2026-07-22

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Olivia Denvis

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta é uma explicação gerada por IA de um preprint que não foi revisado por pares. Não é aconselhamento médico. Não tome decisões de saúde com base neste conteúdo. Ler aviso legal completo

Imagine que você tem uma biblioteca mágica gigante onde cada livro é uma única célula viva do corpo humano. Durante anos, cientistas tentaram ler esses livros para entender como nossos corpos funcionam, mas o texto é bagunçado e difícil de decifrar. Recentemente, um novo tipo de "super-leitor" chamado Modelo de Linguagem de Grande Escala Biológico (ou LLM Biológico) foi inventado. Estes são programas de computador treinados em milhões de "livros" de células para detectar padrões, de forma muito semelhante a como o teclado do seu telefone aprende a prever a próxima palavra que você digitará.

A grande questão que os cientistas têm feito é: esses super-leitores organizam o conhecimento de uma forma direta e retilínea? Nos modelos de linguagem comuns (aqueles que escrevem ensaios ou conversam com você), pesquisadores descobriram que ideias como "rei" e "rainha" situam-se em uma linha reta, e opostos estão apenas a um passo simples de distância um do outro. É como um mapa perfeitamente organizado onde cada conceito tem sua própria rua clara. Os cientistas esperavam que esses super-leitores biológicos tivessem esse mesmo mapa direto e retilíneo para coisas como "saudável vs. doente" ou "crescendo vs. em repouso". Se eles tivessem, isso significaria que poderíamos ajustar facilmente o pensamento do computador para entender doenças ou o desenvolvimento. Mas, como estamos prestos a ver, o mapa dentro desses modelos biológicos é um pouco mais parecido com uma trilha de floresta sinuosa e montanhosa do que com uma rua de cidade reta e organizada.

O Mapa Dentro da Máquina: Uma Floresta, Não uma Rodovia

Neste estudo, uma pesquisadora chamada Olivia Denvis decidiu mergulhar profundamente em quatro desses super-leitores biológicos (chamados scBERT, Geneformer, scGPT e UCE) para ver se eles realmente possuem essa organização direta e retilínea. Ela os tratou como exploradores, enviando-os para um enorme conjunto de dados de 420.000 células com notas detalhadas sobre o que elas são, onde vivem e o que estão fazendo. Ela então comparou os mapas internos dos modelos contra as ferramentas antigas e confiáveis que os cientistas usam há décadas, como truques matemáticos simples chamados PCA.

Aqui está o que ela descobriu: os modelos possuem um mapa, mas não é a rodovia nítida e reta que todos esperavam.

1. O Mapa é Compacto, mas Aglomerado
Primeiro, os pesquisadores verificaram quanto espaço os modelos usam para armazenar informações. Imagine um armazém enorme (o tamanho total do modelo) que poderia conter 1.280 prateleiras. O estudo descobriu que os modelos utilizam apenas cerca de 12 a 26 prateleiras para armazenar seu conhecimento. Esse é um espaço de baixa dimensionalidade, o que é bom porque significa que os modelos são eficientes. No entanto, o espaço é "anisotrópico", o que é uma maneira sofisticada de dizer que tem o formato de um cone longo e estreito, em vez de uma bola redonda. Os modelos menores estavam ainda mais espremidos nesse cone estreito, sugerindo que podem estar um pouco "apertados" em sua forma de pensar.

2. O Fácil é Reto, o Difícil é Curvo
Quando a pesquisadora pediu aos modelos para identificar coisas simples, como "Esta célula é de um macho ou de uma fêmea?" ou "Ela pertence ao sistema imunológico?", os modelos foram incríveis. Eles conseguiram desenhar uma linha reta para separar esses grupos, exatamente como os modelos de linguagem fazem. De fato, para essas categorias fáceis, os modelos foram quase perfeitos.

Mas aqui está a reviravolta: quando ela perguntou sobre as coisas interessantes — como "Esta célula está doente?" ou "Que subtipo específico ela é?" ou "Quão longe ela está em seu desenvolvimento?" — as linhas retas pararam de funcionar. O conhecimento ainda estava lá, mas estava emaranhado em curvas.

A Prova: Quando a pesquisadora tentou usar uma linha reta simples para prever o tempo de desenvolvimento de uma célula, ela acertou apenas cerca de 61% da resposta. Mas quando ela permitiu que o computador seguisse o caminho natural e curvo dos dados (como caminhar por uma trilha sinuosa em vez de cortar através de um campo), a precisão saltou para 80%.
A Lição: Os modelos conhecem as coisas complexas, mas as armazenam de uma forma curva e não linear, que linhas retas simples não conseguem alcançar facilmente. Isso é diferente dos modelos de linguagem, onde até ideias complexas costumam residir em linhas retas.

3. O "Volante" é um Pouco Instável
Nos modelos de linguagem, se você quiser mudar o significado de uma palavra (como transformar "feliz" em "triste"), você pode simplesmente adicionar um vetor específico (uma direção) a ela, e funciona perfeitamente. A pesquisadora tentou isso com os modelos biológicos. Ela tentou "direcionar" a identidade de uma célula adicionando um vetor de direção.

O Resultado: Funcionou, mas apenas cerca de 54% a 66% das vezes. Foi melhor do que um cara ou coroa, mas longe do controle perfeito visto nos modelos de linguagem. Às vezes, tentar mudar uma coisa acabava mudando outra. As direções para diferentes ideias eram um tanto paralelas, mas não perfeitamente, e eram apenas fracamente alinhadas.

4. Os Modelos Concordam Entre Si, Não com a "Verdade"
A pesquisadora também verificou se todos os quatro modelos estavam pensando da mesma forma. Eles eram moderadamente semelhantes entre si (cerca de 55% a 74% de semelhança), o que é bom. Mas quando ela os comparou com o "Padrão Ouro" do conhecimento biológico (um mapa detalhado de como os tipos de células estão relacionados na vida real), os modelos tinham apenas cerca de 36% a 45% de semelhança.

A Surpresa: Os modelos na verdade se pareciam mais com as ferramentas matemáticas antigas (PCA) do que com a verdadeira realidade biológica. Eles convergiram para uma visão compartilhada e simplificada dos dados, que era mais próxima da matemática básica do que da complexa realidade da biologia.

5. O Conhecimento "Profundo" está no Meio
Finalmente, ela observou onde nas camadas do modelo (seu "cérebro") esse conhecimento residia.

Identidade Simples: Saber "que tipo de célula" esta é torna-se mais forte à medida que se avança nas camadas profundas do modelo.
Status de Doença: Saber se uma célula está doente atingiu o pico nas camadas do meio e depois desapareceu conforme o modelo ficava mais profundo.
Efeitos de Lote (Batch Effects): Os modelos foram bons em ignorar o ruído técnico (como qual máquina tirou a foto), mas não esqueceram completamente disso nas camadas iniciais.

A Conclusão

Então, qual é o veredito? Os Modelos de Linguagem de Grande Escala Biológicos são reais, e eles de fato detêm um mapa geométrico de conhecimento. Mas não é o mapa limpo, de linha reta e perfeitamente organizado que vimos nos modelos de linguagem. Em vez disso, é um mapa "parcialmente linearizado e de baixa dimensionalidade".

Os modelos são ótimos para as coisas fáceis (como distinguir uma célula masculina de uma feminina), mas para as coisas difíceis e clinicamente importantes (como doença ou desenvolvimento), o conhecimento é curvo e emaranhado. A maior parte do conhecimento de "linha reta" que os modelos possuem é, na verdade, aquilo que já poderíamos obter através de ferramentas matemáticas simples e antigas. O novo conteúdo que os modelos aprenderam está lá, mas está escondido nas curvas, tornando-o mais difícil de ler e utilizar.

O estudo conclui que, embora esses modelos sejam úteis, eles não são a ruptura mágica de "linha reta" que alguns esperavam. O verdadeiro desafio para o futuro não é apenas construir modelos maiores, mas construir melhores ferramentas para ler os caminhos curvos e sinuosos onde os segredos biológicos mais importantes estão, de fato, escondidos.

Resumo Técnico: Representações Geométricas de Conhecimento em Modelos de Linguagem de Grande Escala Biológicos

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) exibem uma "hipótese de representação linear", onde o conhecimento de alto nível (conceitos, analogias, taxonomias) é codificado em estruturas geométricas surpreendentemente regulares: conceitos alinham-se com direções lineares, analogias com deslocamentos paralelos e hierarquias com subespaços aninhados e ortogonais. Os modelos de fundação de célula única (SCFMs)—LLMs biológicos treinados em sequências de transcriptoma mascaradas—emergiram como repositórios de conhecimento biológico. No entanto, permanece não testado se esses modelos biológicos herdam a geometria nítida e linearizável observada nos modelos de linguagem ou se suas representações internas são meramente correlacionais e emaranhadas. Além disso, não está claro quanto de qualquer estrutura observada é genuinamente nova para o modelo de fundação versus o que já é recuperável a partir de embeddings de expressão linear clássicos (ex: PCA).

Metodologia
Os autores conduziram uma análise empírica sistemática comparando quatro SCFMs de diferentes escalas (8,9M a 650M de parâmetros: scBERT, Geneformer, scGPT, UCE) contra bases de expressão linear fortes (Genes Altamente Variáveis, PCA-50 e scVI). A avaliação utilizou um painel de atlas de 0,42M de células com metadados ricos (tipo celular, tecido, sexo, doença, etc.) e um conjunto de dados de trajetória de diferenciação hematopoiética com pseudotempo de verdade fundamental (ground-truth).

O estudo empregou seis famílias de análises geométricas, com cada medição explicitamente comparada contra as bases de expressão para isolar a estrutura adicionada pelo modelo:

Geometria Global: Estimativa da dimensão intrínseca (via TwoNN e Levina–Bickel MLE) e anisotropia (similaridade de cosseno média de pares aleatórios).
Sondagem (Probing): Sondas lineares (regressão logística) e não lineares (MLP) para medir a decodificabilidade de nove atributos, calculando a lacuna entre o desempenho linear e o não linear.
Direções de Conceito: Análise de paralelismo analógico (similaridade de cosseno de vetores de diferença de médias entre linhagens), quase-ortogonalidade de conceitos não relacionados e taxas de sucesso de direcionamento (steering), avaliadas em espaços brutos e em espaços causalmente branqueados (whitened).
Geometria Categórica e Entre Modelos: Avaliação de alinhamento hierárquico (correlação copenética com a Ontologia Celular) e similaridade entre modelos usando Alinhamento de Kernel Centrado (CKA) contra outros modelos e um kernel de referência de ontologia.
Geometria de Trajetória-Manifold: Comparação da recuperação de pseudotempo via uma única direção linear versus uma estimativa de geodésica (manifold) no conjunto de dados hematopoiético.
Perfil de Profundidade: Análise camada por camada de onde o conhecimento específico (tipo celular, doença, lote) se concentra na rede.

Principais Resultados
O estudo constata que a geometria do conhecimento em LLMs biológicos é real, mas modesta, divergindo significativamente da estrutura "nítida" documentada em modelos de linguagem:

Baixa Dimensionalidade e Anisotropia: As representações dos SCFMs são de baixa dimensão (dimensão intrínseca 12–26, ou 4–6% da largura do modelo) e fortemente anisotrópicas (cosseno médio 0,29–0,52), contrastando com a natureza quase isotrópica das bases PCA/scVI.
Decodificabilidade Linear é Limitada: O conhecimento categórico grosseiro (compartimento, sexo, tipo celular amplo) é linearmente decodificável, mas oferece ganho incremental negligenciável sobre o PCA (ganho mediano de ~3,5 pontos de acurácia balanceada). Os modelos adicionam mais valor a distinções intermediárias (subtipos), mas não oferecem vantagem para rótulos já fáceis (sexo) ou variáveis de lote (onde às vezes performam pior que o PCA).
Emaranhamento Não Linear: Atributos mais finos (estado de doença, subtipos finos, tempo de desenvolvimento) estão presentes nas representações, mas são não linearmente emaranhados. A lacuna entre sondas lineares e não lineares atinge 9 pontos para doença, e uma única direção linear recupera apenas $R^2 \approx 0,61$ do pseudotempo, enquanto uma geodésica curva atinge $\rho \approx 0,80$ (correspondendo aos mapas de difusão clássicos).
Estrutura Linear Fraca: Direções de conceito são apenas fracamente paralelas (cosseno médio 0,17–0,26, subindo para 0,28–0,41 após branqueamento causal) e o direcionamento (steering) tem sucesso apenas 54–66% das vezes. No entanto, conceitos não relacionados são quase ortogonais, impedindo o colapso total de conceitos distintos.
Alinhamento Taxonômico Parcial: A organização hierárquica está presente, mas é grosseira (correlação copenética ~0,58), longe dos simplices aninhados limpos vistos em modelos de linguagem.
Convergência: A similaridade entre modelos é moderada (CKA 0,55–0,74), mas os modelos convergem mais fortemente entre si e para as bases de expressão do que para a verdade biológica (kernel CKA da Ontologia Celular 0,36–0,45).

Significância e Alegações
O artigo conclui que os atuais LLMs biológicos codificam uma geometria de baixa dimensão e parcialmente linearizada, que é útil, mas longe da estrutura idealizada dos modelos de linguagem. A principal significância destas descobertas é tripla:

Explicação das Margens de Desempenho: As "margens estreitas" frequentemente observadas nos benchmarks de SCFM sobre pipelines clássicos são explicadas pelo fato de que o conhecimento linearmente acessível nesses modelos largely sobrepõe-se ao que o PCA já captura. O conhecimento adicional e mais complexo (doença, desenvolvimento) é codificado de forma não linear, tornando-o inacessível para cabeças de processamento lineares padrão.
Correção Metodológica: Os autores argumentam que aplicar ferramentas de interpretabilidade de LLM à biologia sem uma base de comparação é enganoso. Na análise de célula única, onde os embeddings lineares já são altamente informativos, a questão crítica não é se a estrutura existe, mas quanto o modelo de fundação adiciona além dos métodos clássicos.
Direção Futura: Os resultados sugerem que o conhecimento mais relevante para decisão nos atuais SCFMs é ou redundante com embeddings clássicos ou codificado em estruturas não lineares de ordem superior. O progresso futuro em modelos de fundação biológica e suas ferramentas de interpretabilidade deve focar em desbloquear esses manifolds curvos e não lineares, em vez de assumir a decomponibilidade linear.

Os autores declaram explicitamente que não estão propondo novas arquiteturas ou alegando que os SCFMs resolveram o raciocínio biológico; em vez disso, fornecem um relato calibrado e relativo à base sobre as limitações e capacidades geométricas dos modelos atuais.

O Mapa Dentro da Máquina: Uma Floresta, Não uma Rodovia

A Conclusão

Mais como este