💬 NLP

Linear Representations of Hierarchical Concepts in Language Models

O artigo demonstra que as relações hierárquicas de conceitos são codificadas nas representações internas dos modelos de linguagem na forma de representações lineares altamente interpretáveis, que podem ser recuperadas em subespaços de baixa dimensão específicos de cada domínio e que apresentam alta similaridade entre si.

Autores originais: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Publicado 2026-04-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (como o ChatGPT ou o Llama) são como bibliotecas gigantes e caóticas. Dentro delas, existem milhões de livros (palavras e conceitos) espalhados. A grande pergunta dos pesquisadores é: como essa biblioteca organiza as coisas?

Especificamente, eles queriam saber: quando o modelo pensa em "Tóquio", ele sabe automaticamente que isso está dentro de "Japão", que está dentro da "Ásia"? E, mais importante, onde e como essa informação está guardada na "mente" do computador?

Aqui está uma explicação simples do que eles descobriram, usando analogias do dia a dia:

1. O Problema: A "Caixa de Ferramentas" Escondida

Antes desse estudo, sabíamos que os modelos sabiam hierarquias (coisas que estão dentro de outras coisas), mas era como se soubéssemos que o cofre existe, sem saber onde ele está na casa ou como abri-lo.

O que eles fizeram: Eles criaram uma nova ferramenta chamada LHE (Codificação Linear Hierárquica). Pense nisso como um "detector de metais" ou uma "lupa mágica" que eles passaram por todas as camadas do cérebro do computador (não apenas no final, mas no meio do processo de pensamento).

2. A Descoberta: O "Mapa de Metros"

Eles descobriram que o modelo não guarda essas hierarquias de forma bagunçada. Ele as guarda de uma maneira muito organizada, quase como um mapa de metrô.

A Analogia: Imagine que cada conceito (como "Japão" ou "Jogador de Beisebol") é uma estação. O modelo aprendeu que existe uma "linha reta" mágica que conecta a estação "Osaka" diretamente à estação "Japão".
O Truque: Eles conseguiram aprender uma fórmula matemática simples (uma transformação linear) que pega o "ponto" onde o modelo está pensando em Osaka e o desliza magicamente para o ponto onde ele pensa em Japão. É como se o modelo tivesse um botão de "subir um nível" na hierarquia.

3. O Segredo: O "Gaveteiro" Específico

Aqui está a parte mais interessante. Eles descobriram que essa organização acontece em gavetas específicas dentro do cérebro do computador.

A Analogia: Imagine que o cérebro do modelo é um grande armário com milhares de gavetas.
- Existe uma gaveta especial para Geografia onde ficam guardados os mapas de países e cidades.
- Existe outra gaveta especial para Pessoas onde ficam os mapas de atletas e cientistas.
- Existe uma gaveta para Animais, outra para Organizações, etc.
O que eles viram: Quando o modelo pensa em "Tóquio", ele usa a gaveta de Geografia. Quando pensa em "Messi", ele usa a gaveta de Pessoas. O modelo não mistura tudo na mesma gaveta; ele mantém tudo separado por "tema".

4. A Surpresa: O "Esqueleto" é o Mesmo

Mesmo que as gavetas sejam diferentes (uma para Geografia, outra para Pessoas), a estrutura interna de como as coisas são organizadas dentro delas é quase idêntica.

A Analogia: Pense em dois prédios diferentes: um hospital e uma escola. Eles têm funções diferentes e móveis diferentes (camas vs. carteiras). Mas, se você olhar a planta baixa (o esqueleto do prédio), ambos têm corredores, salas e escadas organizados da mesma forma lógica.
O que isso significa: O modelo aprendeu uma "receita" universal para organizar hierarquias. Não importa se é um animal ou um país, o modelo usa o mesmo "esqueleto" mental para conectar o filho ao pai, o pai ao avô, e assim por diante.

5. O Teste de Controle Remoto (Causalidade)

Para provar que não era apenas uma coincidência, eles fizeram um teste de "controle remoto".

O Experimento: Eles pegaram o pensamento do modelo sobre "Messi" (que ele acha que é um jogador de futebol) e, usando a fórmula mágica que aprenderam, "empurraram" o pensamento para a direção de "Jogador de Basquete".
O Resultado: O modelo mudou de ideia! Ele começou a responder como se Messi fosse um jogador de basquete. Isso provou que a informação hierárquica não está apenas "desenhada" no modelo, mas é ativa. O modelo realmente usa essa informação para decidir o que dizer a seguir.

Resumo em uma frase

Os pesquisadores descobriram que os modelos de linguagem organizam o conhecimento como um arquivo bem estruturado: cada tema tem sua própria "gaveta" específica, mas dentro de todas elas, as coisas são organizadas da mesma maneira lógica e previsível, permitindo que possamos "ler" e até "editar" o pensamento do computador de forma simples.

Isso é ótimo porque significa que, se entendermos essas "linhas de metrô" e "gavetas", podemos tornar os modelos mais transparentes, mais seguros e mais fáceis de corrigir quando eles erram.

1. Problema e Motivação

O artigo investiga como e até que ponto as relações hierárquicas (ex: Japão ⊂ Ásia Oriental ⊂ Ásia) são codificadas nas representações internas de Grandes Modelos de Linguagem (LLMs).

Embora trabalhos anteriores tenham demonstrado que LLMs codificam geometricamente conceitos como cores, localização e tempo, a compreensão sobre a representação de hierarquias ainda é limitada por duas lacunas principais:

Restrição de Camada: Estudos anteriores (como Park et al., 2025) focaram apenas nas representações estáticas da camada de unembedding (saída), ignorando as ricas representações intermediárias onde muitas relações são processadas.
Limitação de Tokens: Métodos anteriores geralmente lidam apenas com conceitos de um único token, falhando em entidades compostas por múltiplos tokens (ex: Babe Ruth ⊂ Jogador de Beisebol).

O objetivo deste trabalho é preencher essas lacunas, analisando como LLMs representam hierarquias envolvendo entidades diversas e multi-token através de suas camadas intermediárias.

2. Metodologia: Linear Hierarchical Encoding (LHE)

Os autores propõem um novo framework chamado Linear Hierarchical Encoding (LHE), baseado no conceito de Linear Relational Concepts (LRC). A abordagem funciona da seguinte forma:

Construção de Dados: Criaram um dataset abrangente com hierarquias de conceitos em cinco domínios: Localização, Pessoa, Organização, Organismo e Tópicos de Pesquisa. Os dados incluem entidades de múltiplos tokens e são filtrados para garantir que o modelo já possua o conhecimento hierárquico (via few-shot QA).
Transformações Lineares Específicas: O LHE aprende transformações lineares separadas para cada profundidade da hierarquia e para cada domínio semântico.
- Dada uma relação hierárquica (ex: "Osaka é parte de"), o modelo aprende uma transformação linear que mapeia a representação do nó filho ("Osaka") para a representação do nó pai ("Japão") em camadas intermediárias do LLM.
- A relação é modelada como $R_r(s) = W_r s + b_r$ , onde $s$ é o estado oculto do filho e $R_r(s)$ é a representação do pai.
Direções de Conceito: Utilizando a pseudo-inversa da matriz de transformação ( $W^\dagger_r$ ), extraem vetores de conceito ( $v_{r,c}$ ) que atuam como direções prototípicas no espaço de representação.
Métricas de Avaliação:
- Acurácia: Mede se a informação hierárquica pode ser decodificada linearmente (prever o pai correto dado o estado do filho).
- Causalidade: Testa se a intervenção no estado oculto (adicionando/subtraindo vetores de conceito) altera causalmente a previsão do próximo token do modelo.

3. Principais Contribuições e Resultados

O estudo foi conduzido em quatro modelos (Llama 3.2 3B, Llama 3.1 8B, Qwen3 8B e Qwen3 14B) e cinco domínios. Os resultados principais são:

Recuperação Linear e Causalidade:
- As relações pai-filho podem ser recuperadas linearmente a partir das representações internas com alta precisão (Acurácia variando de ~0.5 a 0.9).
- As intervenções baseadas nas direções aprendidas alteram efetivamente as previsões do modelo (Causalidade alta), provando que essas características não são apenas correlacionais, mas causalmente relevantes para a geração de texto.
- O método LHE superou consistentemente baselines como SVM e Input Averaging.
Codificação em Subespaços de Baixa Dimensão:
- A informação hierárquica está concentrada em subespaços de baixa dimensão. Para modelos com estados ocultos de 3000-5000 dimensões, a informação hierárquica é expressa efetivamente em 150–250 dimensões.
Especificidade de Domínio vs. Estrutura Universal:
- Especificidade: O subespaço onde a informação hierárquica é codificada é específico do domínio. Transformações treinadas em um domínio (ex: Localização) têm baixa eficácia causal em outro (ex: Pessoas), indicando que as características interveníveis são localizadas em subespaços distintos.
- Estrutura Similar: Apesar da especificidade do subespaço, a estrutura geométrica das representações hierárquicas é altamente similar entre diferentes domínios. Análises de Topological Data Analysis (TDA) e visualizações PCA mostram que a organização topológica (agrupamento por subárvores e variação de profundidade) é compartilhada.

4. Significado e Conclusão

Este trabalho demonstra que LLMs representam hierarquias de conceitos de uma maneira altamente interpretável e linear.

Implicações Teóricas: Sugere que, embora os modelos utilizem subespaços específicos para diferentes tipos de conhecimento (domínios), eles compartilham uma organização geral baseada em hierarquia (uma "geometria platônica" das hierarquias) que transcende os domínios específicos.
Implicações Práticas: O método LHE oferece uma ferramenta robusta para analisar e manipular o conhecimento estrutural dentro de LLMs, permitindo a extração de conceitos e a intervenção causal em previsões, mesmo para entidades complexas de múltiplos tokens.

Em resumo, o artigo confirma que a estrutura hierárquica não é apenas uma emergência estatística, mas uma propriedade estrutural codificada linearmente e causalmente no espaço latente dos modelos de linguagem, organizada de forma consistente através de domínios diversos.