🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

Este artigo demonstra que estruturas relacionais de alta ordem nos estados ocultos do Transformer podem ser detectadas por meio da entropia de sinal de Plücker e efetivamente orientadas por intervenções direcionadas na geometria do quadro de relações, recuperando assim saídas comportamentais corretas em modelos Llama de diversas escalas.

Autores originais: Mazen Kobrosly

Publicado 2026-05-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mazen Kobrosly

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem grande (como os que alimentam chatbots) como uma cidade massiva e movimentada. Dentro desta cidade, a informação flui por ruas chamadas "estados ocultos". A maioria dos pesquisadores tem observado esta cidade estudando edifícios individuais (neurônios), semáforos únicos (cabeças de atenção) ou estradas específicas (direções). Eles perguntam: "O que este edifício específico faz?"

Este artigo faz uma pergunta diferente: "Como é a relação entre vários edifícios como um todo?"

O autor, Mazen Kobrosly, propõe que, quando um modelo compreende uma relação complexa (como "A é para B assim como C é para D"), ele não apenas acende alguns pontos aleatórios. Em vez disso, os tokens (palavras) envolvidos formam uma forma geométrica específica e rígida no espaço interno do modelo. O artigo chama isso de "Quadro de Relação".

Aqui está uma análise das descobertas do artigo usando analogias simples:

1. O "Nível do Encanador" (Detectando a Forma)

Para encontrar essas formas, o autor inventou uma ferramenta chamada Entropia de Sinal de Plücker.

A Analogia: Imagine que você tem um conjunto de três varas flutuando no espaço 3D. Você pode organizá-las para formar uma pirâmide. Se você trocar a ordem das varas, a pirâmide pode virar de cabeça para baixo ou do avesso. Essa "virada" é uma mudança na orientação (como uma mão esquerda versus uma mão direita).
O Teste: O autor observa grupos de palavras que deveriam estar relacionados (por exemplo, três palavras formando um quebra-cabeça lógico específico) e grupos de palavras que são apenas um amontoado sem sentido.
A Descoberta: Quando o modelo processa as palavras relacionadas corretas, elas se organizam em uma orientação geométrica muito consistente e previsível (como uma pirâmide perfeitamente construída). Quando as palavras estão embaralhadas, elas parecem uma pilha bagunçada de varas sem forma consistente.
O Resultado: Essa "assinatura geométrica" foi encontrada em modelos Llama de diferentes tamanhos (8 bilhões, 70 bilhões e 405 bilhões de parâmetros). Quanto maior o modelo, mais clara e consistente era essa forma.

2. A "Grade Mágica" (O Experimento)

Para provar que essa forma realmente causa o modelo a pensar corretamente, o autor criou um jogo chamado Ensaio de Grade de Aresta.

A Analogia: Imagine uma planilha com 8 linhas e 8 colunas.
- Estado Limpo: As marcações "SIM" formam uma linha diagonal perfeita (Linha 1 conecta à Coluna 1, Linha 2 à Coluna 2, etc.). O modelo identifica corretamente isso como um "padrão diagonal".
- Estado Corrompido: As marcações "SIM" estão embaralhadas de modo que várias linhas apontam para a mesma coluna. O modelo identifica corretamente isso como um "padrão duplicado".
A Intervenção: O autor pegou o estado "Corrompido" (onde o modelo estava confuso) e tentou "dirigi-lo". Eles não apenas deram um leve empurrão ao modelo; tentaram remodelar fisicamente a "nuvem" interna de dados que representa essas palavras.

3. A "Escultura de Argila" (Direcionando o Modelo)

O autor tentou corrigir o modelo "Corrompido" movendo seus dados internos de diferentes maneiras. Pense nos dados como um bloco de argila.

Tentativa A: Mover o Centro (Centróide Apenas): Eles tentaram apenas empurrar todo o bloco de argila na direção da resposta "Limpa".
- Resultado: Falha. O modelo permaneceu confuso. Mover o centro de massa não corrigiu a lógica.
Tentativa B: Adicionar Ruído: Eles adicionaram estática aleatória aos dados.
- Resultado: Falha. O modelo permaneceu confuso.
Tentativa C: Remodelar o Bloco (Apenas Forma): Eles mantiveram o bloco no mesmo lugar, mas remodelaram para corresponder à geometria da resposta "Limpa". Eles torceram e viraram a argila até que ela parecesse exatamente com a escultura "Limpa".
- Resultado: Sucesso! O modelo começou a dar a resposta correta de repente.

A Chave da Descoberta: Não era onde os dados estavam (a localização) que importava; era como os dados estavam organizados em relação a si mesmos (a forma). O modelo precisa do "esqueleto" geométrico específico da relação para funcionar.

4. A "Transferência de Planta" (Sucesso Cruzado entre Prompts)

O autor testou se essa "Forma Limpa" era uma correção universal.

Eles pegaram a "Forma Limpa" de um quebra-cabeça específico e aplicaram a um diferente quebra-cabeça com a mesma estrutura, mas com palavras diferentes.
Resultado: Funcionou! O modelo resolveu o novo quebra-cabeça.
O Problema: Isso só funcionou se a "Forma Limpa" viesse de um exemplo corretamente resolvido. Se eles tentassem transferir uma "Forma Limpa" de um exemplo corrompido, falhou. Isso prova que o modelo não está apenas memorizando palavras específicas; está aprendendo um formato geométrico portátil para "correção".

Resumo das Alegações

O artigo faz três alegações específicas, nada mais:

Detecção: Podemos detectar que os modelos representam relações como formas geométricas específicas (Quadros de Relação) usando uma ferramenta matemática chamada entropia de sinal de Plücker.
Intervenção: Podemos corrigir erros de raciocínio de um modelo não mudando as palavras, mas remodelando cirurgicamente a "nuvem" geométrica interna da relação para corresponder a um exemplo correto.
Especificidade: Isso funciona por causa da forma dos dados, não apenas de sua localização ou tamanho. O modelo depende dessa disposição geométrica específica para obter a resposta correta.

O que o artigo NÃO alega:

Não alega ter encontrado a "alma" da IA.
Não alega que isso funciona para todo tipo de pergunta (foi testado em grades lógicas específicas).
Não alega ter mapeado todo o circuito de como o modelo constrói essas formas (apenas olhou para a forma em si, não para a "máquina" que a constrói).

Em resumo, o artigo mostra que dentro da "caixa preta" de uma IA grande, as relações têm uma forma 3D distinta e mensurável, e se você puder corrigir essa forma, pode corrigir a resposta da IA.

Resumo Técnico: Geometria de Rank Relacional em Transformers

Declaração do Problema

A interpretabilidade mecanística atual foca amplamente em objetos locais ou de baixa ordem, como neurônios individuais, cabeças de atenção, características esparsas ou direções lineares no fluxo residual. Embora eficazes para características localizadas, essas ferramentas deixam uma lacuna fundamental: elas não descrevem adequadamente a geometria das relações entre múltiplos tokens como um objeto unificado. A literatura recente sugere que conceitos podem formar variedades curvas e que a ligação relacional permanece uma dificuldade sistemática para modelos de fronteira. Este artigo postula que, quando um modelo representa uma relação entre vários tokens, a própria relação constitui um objeto geométrico distinto — um quadro de relação — definido como a configuração do estado oculto das tuplas de tokens participantes. O problema central é determinar se esses quadros possuem uma estrutura de orientação mensurável, indexada por rank, e se essa estrutura pode ser alvo para orientar o comportamento do modelo.

Metodologia

1. Diagnóstico: Entropia de Sinal de Plücker

Para detectar a geometria das relações, o artigo introduz a entropia de sinal de Plücker, uma estatística diagnóstica derivada das coordenadas de Plücker (menores determinantes).

Projeção: Os estados ocultos são projetados em um subespaço fixo e de baixa dimensão (dimensão $p=64$ ) usando uma matriz de projeção Gaussiana.
Medição de Orientação: Para uma tupla de $k$ tokens, o método calcula o sinal do determinante do menor de linha selecionado na incorporação de token de singularidade esquerda superior- $k$ . Este sinal registra a orientação (quiralidade) da tupla, descartando a escala.
Cálculo de Entropia: A entropia desses sinais é calculada em conjuntos de tuplas de relação verdadeiras, tuplas embaralhadas (mesmos tokens, ligação quebrada) e controles aleatórios. Uma entropia de sinal mais baixa indica uma assinatura de orientação mais consistente.
Hipótese de Rank: O artigo hipotetiza que uma relação de $r$ argumentos exibirá sua maior consistência de orientação (menor entropia) no rank de Plücker $k=r$ . O diagnóstico mede a "margem diagonal", comparando a lacuna de entropia no rank esperado $k=r$ contra outros ranks admissíveis.

2. Intervenção: Ensaios de Grade de Borda Limpo/Corrompido

Para testar se esses quadros são acionáveis, o artigo emprega um ensaio de grade de borda usando grades $8 \times 8$ de tokens de linha/coluna com marcadores SIM/NÃO.

Configuração: Os prompts compartilham a mesma estrutura de linha/coluna e vocabulário, mas diferem no mapa de relação SIM/NÃO (Limpo: mapa de identidade coerente; Corrompido: mapa de alvo duplicado). Isso cria um cenário controlado onde o estado da relação muda enquanto a estrutura de superfície permanece fixa.
Caminhos de Orientação: O estudo aplica correções (patches) em estados ocultos em posições específicas de tokens marcadores SIM/NÃO (Camada 5) para mover a "nuvem" de marcadores de relação "corrompida" em direção à nuvem "limpa". Várias famílias de intervenção são testadas:
- Baseada em Forma: Substituindo o arranjo relativo dos marcadores (forma centralizada) mantendo o centróide fixo.
- Baseada em Centróide: Traduzindo apenas o vetor médio.
- Baseada em Subespaço: Movendo o subespaço de Grassmann abrangido pela nuvem.
- Controles: Ruído de norma igual, rotações aleatórias e correções em locais errados.
Leitura: A recuperação é medida por duas métricas na camada de leitura (Camada 35 para 70B/405B):
1. Recuperação Comportamental: A mudança nos logits de resposta em direção à resposta limpa.
2. Recuperação Geométrica Residual: A mudança em um vetor de lâmina relacional residual (construído a partir de produtos exteriores de tokens de linha/coluna) em direção à geometria limpa.
3. Recuperação Acoplada: Uma métrica que garante que o comportamento e a geometria se movam juntos ao longo do caminho.

Principais Contribuições

Ensaio Diagnóstico Indexado por Rank: O artigo demonstra que tuplas de relação de $r$ argumentos controladas exibem maior consistência de sinal de orientação no rank de Plücker esperado $k=r$ em modelos da família Llama de 8B, 70B e 405B. Este sinal é mais uniforme no modelo 405B e persiste em auditorias de múltiplos modelos, distinguindo-se de artefatos de nível de superfície.
Ensaio de Grade de Borda com Portão de Competência: Um desenho experimental inovador que isola a geometria do marcador de relação da estrutura de suporte do prompt circundante, permitindo intervenção precisa no estado da relação sem alterar a estrutura da tarefa.
Evidência Intervencionista para Quadros de Relação: O estudo mostra que, em modelos competentes (70B e 405B), orientar a forma da nuvem de marcadores de relação (especificamente a geometria ordenada, estado limpo) recupera tanto o comportamento de resposta limpa quanto a geometria relacional residual. Crucialmente, a tradução apenas do centróide e o ruído de norma igual falham em produzir essa recuperação, indicando que a forma estruturada, e não apenas a média ou a magnitude da perturbação, é o objeto causalmente eficaz.

Resultados

Detecção: Em todos os tamanhos de modelo, tuplas de relação verdadeiras mostram margens diagonais positivas no rank esperado ( $k=r$ para apenas argumentos, $k=r+1$ para predicado mais argumento). O modelo 405B mostra margens positivas consistentes em todos os construtores e aridades testados ( $r=3$ a $6$), enquanto 8B e 70B mostram variações estruturadas, mas específicas ao construtor.
Orientação: Em 70B e 405B, caminhos suaves de quadro de relação (marcador linear, apenas forma, forma de Grassmann) alcançam recuperação quase completa do ponto final tanto do comportamento quanto da geometria residual.
- Forma vs. Centróide: Intervenções apenas de forma recuperam o comportamento quase tão efetivamente quanto intervenções completas de centróide mais forma, enquanto a tradução apenas do centróide produz recuperação negligenciável ( $\approx 0.002$ ).
- Controles de Local/Ordem: Permutar a ordem das formas limpas ou refleti-las abolui a recuperação, confirmando que a geometria ordenada é essencial. A transferência cruzada de prompts da forma limpa tem sucesso, mas transferir uma forma corrompida ou aplicar deltas limpos em locais errados falha.
- Leitura de Plücker: Intervenções bem-sucedidas também restauram a leitura de Plücker do marcador de borda (estrutura de sinal determinante) em direção ao estado limpo, conectando as metades diagnóstica e intervencionista do estudo.
Limitações: O modelo 8B é identificado como um limite de competência; ele carece da competência comportamental de base para ancorar a afirmação de orientação, embora algum movimento geométrico seja observado. Os resultados de transferência cruzada de prompts são específicos ao estado limpo de mapa de identidade usado no banco de prompts e ainda não provam transferência através de conteúdos de relação arbitrários.

Significado e Afirmações

O artigo afirma estabelecer uma ponte de nível de estado da sondagem de relação à intervenção de quadro de relação. Ele argumenta que a geometria de rank relacional é tanto detectável via estatísticas de sinal determinante quanto alvo de intervenções em estados ocultos que recuperam comportamento dependente de relação.

O significado reside na mudança da unidade de análise de características isoladas ou direções lineares para configurações finitas e ordenadas de estados ocultos de tokens. Os resultados sugerem que, para relações de ordem superior, o modelo utiliza um objeto geométrico (o quadro de relação) cuja forma estruturada é o principal motor do comportamento correto. Isso fornece uma alça concreta, em nível de relação, para a interpretabilidade mecanística, distinta de, mas complementar a, objetos em nível de circuito ou de característica. O artigo afirma explicitamente não reivindicar ter localizado a circuitaria completa a montante/germinal, mas sim ter identificado um objeto de estado mensurável e orientável que media o comportamento relacional.