🤖 machine learning

The Anatomy of a Truth Direction: Knowledge-Dependent Dimensionality, a Relational Law, and a Convergent Category Geometry in Small Language Models

Este artigo amplia a compreensão das representações de verdade em modelos de linguagem ao demonstrar que a dimensionalidade da verdade é dependente do conhecimento (colapsando para um único eixo para fatos conhecidos), identificando componentes arquitetônicos específicos que propagam ou opõem quadros de verdade e revelando uma lei geométrica convergente e condicionada ao conhecimento que governa a direção da verdade através de diversas famílias de modelos.

Autores originais: Francesco Karim Vicidomini

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Francesco Karim Vicidomini

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Bússola Escondida no Cérebro da Máquina

Imagine uma biblioteca gigante onde um robô leu todos os livros já escritos. Este robô, chamado de Modelo de Linguagem de Grande Escala (LLM), é tão bom em imitar a fala humana que consegue escrever poemas, resolver problemas matemáticos e contar histórias. Mas há um detalhe: ele também pode mentir com total confiança. Ele pode dizer que a lua é feita de queijo, e dirá isso com a mesma voz suave que usa para dizer que a lua é feita de rocha. Cientistas há muito se perguntam: dentro do cérebro deste robô, existe um "interruptor da verdade" oculto que acende quando ele sabe que algo é real?

Para entender isso, precisamos saber como o robô pensa. Ele não armazena fatos como um humano; em vez disso, ele transforma cada frase que lê em uma longa lista de números, como um código secreto. Os cientistas chamam isso de "vetor". Pense nesses números como coordenadas em um mapa. Se o robô conhece um fato, essas coordenadas podem apontar em uma direção específica. Se ele estiver apenas adivinhando, as coordenadas podem estar espalhadas por toda parte. A grande questão é: Existe uma única linha reta neste mapa que aponta para a "Verdade"? Ou a verdade é uma nuvem multidimensional e bagunçada que muda dependendo do que você está discutindo? Este artigo mergulha fundo nesse mapa para ver se conseguimos encontrar uma bússola que sempre aponte para a verdade, ou se o cérebro do robô é complexo demais para uma agulha simples.

A Bússola da Verdade de Uma Única Direção

Os pesquisadores deste artigo decidiram brincar de detetive dentro do cérebro de um robô pequeno (especificamente, um modelo chamado Qwen2.5-1.5B). Eles queriam ver se consegiam encontrar uma única linha reta — uma "direção da verdade" — que separasse o que o robô sabe que é verdadeiro do que ele sabe que é falso.

A Magia dos "Pares Mínimos"
Para fazer isso, eles usaram um truão inteligente chamado "pares mínimos". Imagine que você tem duas frases que são gêmeas, exceto por uma palavra.

Frase A: "O Sol é uma estrela." (Verdadeiro)
Frase B: "O Sol é um planeta." (Falso)

O robô lê ambas as frases. Os pesquisadores então observaram os códigos numéricos secretos (os estados ocultos) que o robô criou para cada frase e subtraíram um do outro. Como as frases são quase idênticas, todo o "ruído" se cancela, deixando apenas a diferença causada pela verdade ou pela mentira. Eles usaram uma ferramenta matemática (SVD) para encontrar a direção principal dessa diferença.

A Grande Descoberta: A Verdade é uma Linha, Mas Apenas Quando Você Sabe
A equipe descobriu algo incrível: para fatos que o robô realmente conhece, a verdade realmente vive em uma única linha reta. Quando testaram isso em fatos que o robô havia memorizado (como capitais ou símbolos químicos), sua "bússola da verdade" funcionou incrivelmente bem, acertando a resposta cerca de 93,8% das vezes.

No entanto, eles descobriram uma regra crucial: a bússola só funciona se o robô conhecer o fato.

Quando o robô sabe: O sinal da verdade é nítido e concentrado naquela única linha.
Quando o robô não sabe: O sinal torna-se nebuloso e se espalha. Se você perguntar ao robô sobre fatos obscuros que ele não aprendeu, as coordenadas da "verdade" e da "mentira" começam a se sobrepor, como duas nuvens de neblina se fundindo. A bússola não consegue distingui-las porque o robô está apenas adivinhando.

O artigo também testou várias ideias selvagens para ver se a verdade era mais complexa do que uma simples linha. Eles perguntaram: "A verdade é um objeto 3D? É uma fase giratória? É uma rotação complexa?" A resposta foi um não retumbante. Eles realizaram sete experimentos diferentes tentando encontrar uma segunda dimensão ou um padrão oculto e, em todas as vezes, a complexidade extra revelou-se apenas ruído. A verdade, para fatos conhecidos, é estritamente unidimensional.

A Anatomia de uma Mentira: Quem Escreve a Verdade?

Os pesquisadores não pararam na descoberta da linha; eles queriam saber quem no cérebro do robô a estava desenhando. O cérebro do robô tem dois trabalhadores principais: a Atenção (que olha para as palavras e as conecta) e a FFN (uma rede feed-forward que atua como um escritor de memória).

Eles encontraram uma dança fascinante entre esses dois trabalhadores:

A Atenção é a Construtora: Nas camadas intermediárias do cérebro do robô, o trabalhador de Atenção constrói o sinal da verdade. Ele reúne os fatos e desenha a linha.
A FFN é a Apagadora: Uma vez desenhada a linha, o trabalhador FFN vem e começa a bagunçá-la. Ele na verdade empurra o sinal da verdade para longe da direção correta, especialmente logo após o pico de compreensão.

É como um jogo de cabo de guerra. A Atenção puxa a corda em direção à "Verdade", mas a FFN a puxa de volta em direção à "Previsão da Próxima Palavra". Os pesquisadores descobriram que a FFN está tão ocupada tentando adivinhar qual palavra vem a seguir que acaba apagando o sinal da verdade que ela mesma ajudou a criar.

A Lei Relacional: Uma Regra Universal

A equipe testou isso em quatro robôs diferentes de duas famílias distintas (Qwen e Llama). Eles descobriram uma lei universal que se aplica a todos eles, independentemente do tamanho ou treinamento:

A Atenção sempre propaga (carrega adiante) os quadros de verdade que ela não escreveu.
A FFN sempre se opõe ao quadro de verdade do momento atual e escreve o material para o próximo momento.

É como se o trabalhador de Atenção dissesse: "Aqui está a verdade!", e o trabalhador de FFN dissesse: "Ok, eu vou pegar isso, mas agora vou sobrescrever com minha própria ideia para a próxima frase". Isso cria um ciclo onde o sinal da verdade sobe, atinge o pico e depois desaparece conforme o robô avança para prever a próxima palavra.

O Mapa Secreto das Categorias

Finalmente, os pesquisadores observaram como o robô lida com diferentes tipos de fatos, como "países", "idiomas" ou "esportes". Eles descobriram que o robô não usa a mesma linha para tudo. Em vez disso, ele possui um mapa inteiro de diferentes linhas, uma para cada categoria.

Aqui está a parte impressionante: mesmo que as duas famílias de robôs (Qwen e Llama) tenham sido construídas de forma diferente e treinadas com dados diferentes, ambas acabaram desenhando este mapa da mesma maneira.

Se "Idiomas" e "Países" apontam em direções opostas no mapa do Qwen, eles também apontam em direções opostas no mapa do Llama.
Se "Esportes" é um solitário que não se alinha com nada, é um solitário em ambos os mapas.

Isso sugere que a forma como a verdade é organizada não é aleatória; é uma propriedade do próprio conhecimento. Os robôs estão ambos descobrindo a mesma geometria oculta do mundo. No entanto, esse acordo só acontece se ambos os robôs realmente conhecerem os fatos. Se estiverem adivinhando, o mapa desmorona.

O Que Isso Significa (E O Que Não Significa)

O artigo é muito cuidadoso para não exagerar suas descobertas. Ele exclui explicitamente várias coisas:

A verdade não é um objeto 3D: É uma linha (para fatos conhecidos).
A FFN não ajuda a verdade: Ela na verdade a prejudica após o pico.
A bússola não é mágica: Ela falha completamente se o robô não conhece o fato.

Os pesquisadores estão confiantes em suas medições porque usaram controles rigorosos, como "experimentos de falsificação", onde tentaram provar a si mesmos que estavam errados. Eles até encontraram um erro em seu próprio pensamento anterior (sobre uma "inversão" no sinal) e o corrigiram, mostrando que o sinal é, na verdade, uma lei universal, e não apenas um acaso de uma camada específica.

Em resumo, este artigo nos mostra que, dentro do cérebro do robô, a verdade é uma linha reta e simples — mas apenas quando o robô tem certeza da resposta. Quando está adivinhando, a linha se dissolve em uma névoa. E embora o cérebro do robô seja complexo, a forma como ele organiza a verdade segue uma geometria bela e universal que parece estar construída na própria natureza do conhecimento.

Resumo Técnico: A Anatomia de uma Direção de Verdade

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) geram afirmações falsas com fluência comparável às verdadeiras, embora trabalhos recentes sugiram que os valores de verdade são linearmente legíveis do fluxo residual. Embora Bürger et al. (2024) tenham estabelecido que as representações de verdade residem em um subespaço multidimensional (abrangendo uma direção de verdade geral e uma direção sensível à polaridade), três questões críticas permanecem sem resposta em relação à natureza dessa representação:

Como a dimensionalidade do subespaço da verdade depende do conhecimento real do modelo sobre os fatos?
Quais componentes arquitetônicos (Atenção vs. Redes Feed-Forward) constroem, propagam ou degradam o sinal de verdade?
Qual é a composição da direção de verdade quando o modelo processa categorias heterogêneas de fatos?

Metodologia

O artigo emprega uma sonda direcional de treinamento livre e sem rótulos (até o sinal) derivada da Decomposição de Valor Singular (SVD) das diferenças de estados ocultos entre pares mínimos (variantes de sentenças verdadeiras/falsas que diferem por uma única palavra de conteúdo).

Instrumento: O vetor singular à direita dominante ( $v_1$ ) da matriz de diferença $D = h_{true} - h_{false}$ serve como o "eixo de verdade". Pelo Lema 1, o span deste eixo é invariante a qual sentença no par é rotulada como verdadeira, exigindo apenas um único bit de sinal global para orientação.
Avaliação: O desempenho é medido via Área Sob a Curva (AUC) de amostras retidas usando validação cruzada k-fold sobre os pares. Um nulo de permutação (trocando rótulos dentro dos pares) controla o viés de seleção na varredura de camadas.
Anatomia: O fluxo residual é decomposto em contribuições de atenção ( $a_\ell$ ) e FFN ( $f_\ell$ ). A ablação causal (zerando componentes) e controles de "proveniência de quadro" (medindo contribuições contra quadros ajustados em diferentes profundidades) isolam os mecanismos causais.
Disciplina: O estudo adere a um protocolo estrito de falsificabilidade. As predições são pré-registradas; resultados negativos e correções das próprias interpretações anteriores do autor são reportados com igual rigor.

Contribuições Principais e Resultados

Parte I: Dimensionalidade e Dependência de Conhecimento (Modelo Único: Qwen2.5-1.5B)

Dimensionalidade Dependente de Conhecimento: O sinal de verdade não possui dimensionalidade fixa. Em fatos que o modelo conhece comportamentalmente (pares curados), o sinal é altamente concentrado em um único eixo (AUC 0.938). À medida que o conhecimento diminui (CounterFact) ou a heterogeneidade do material aumenta (mix TruthfulQA), o sinal torna-se difuso, e a lacuna entre a sonda de eixo único e uma sonda linear completa aumenta significativamente (de 0.051 para 0.203). Isso sugere que a representação da verdade é dependente do conhecimento: fatos conhecidos ocupam uma direção dedicada; fatos desconhecidos resultam em superposições sobrepostas e não resolvidas.
Verificação de Unidimensionalidade: Sete experimentos de falsificação (testando dinâmicas de fase complexa, assinaturas de profundidade global, departamentos de camada, energia e agrupamento 3D) falharam em derrubar a leitura unidimensional em fatos conhecidos. A "fase" ou "rotação" das falsidades foi retratada como uma reexpressão da inversão de sinal do eixo real.
Recuperação de Polaridade: A SVD de pares mínimos de polaridade mista recupera a direção de polaridade supervisionada ( $t_P$ ) de Bürger et al. (2024), com um cosseno de 0.959, sem nunca ter visto rótulos de polaridade.
Origem Anatômica: A Atenção constrói causalmente o sinal de verdade nas camadas intermediárias. Por outro lado, o FFN degrada o sinal após o pico de legibilidade.

Parte II: Leis Relacionais e Geometria Convergente (Quatro Modelos: Famílias Qwen e Llama)

Lei Empírica 1 (Propagar vs. Sobrescrever): Uma lei relacional emerge entre os modelos: a Atenção propaga quadros de verdade que ela não escreveu, enquanto o FFN se opõe ao quadro de seu bloco atual e deposita o material para o próximo quadro. Essa dinâmica explica o "flip" observado no pico de verdade: o aparente registro pró-verdade do FFN no pico é um artefato de medir o componente contra um quadro que ele mesmo ajudou a criar; quando medido contra um "pré-quadro" limpo, o FFF é consistentemente anti-alinhado com o atual quadro de verdade.
Atribuição Causal de Erosão: A genuína queda pós-pico do sinal de verdade é atribuída causalmente ao fluxo de valor SwiGLU do FFN, não ao gate.
Escala e Traços de Família:
- Escala: Um "cabo de guerra" (onde a atenção continua a escrever pró-verdade enquanto o FFN sobrescreve) é um traço de modelos maiores (3B), ausente em modelos menores (1B).
- Família: Uma "ignição de camada única" do sinal é um traço da família Qwen, enquanto a Llama exibe uma rampa suave.
Geometria de Categorias Convergentes: Os eixos de verdade para diferentes categorias semânticas (ex: idiomas, continentes, cidadania) formam um arranjo semanticamente assinado que contradiz a superfície lexical inicial e converge entre famílias de modelos.
- A Lei do Arranjo: Diferentes modelos treinados no mesmo mundo convergem para o mesmo arranjo funcional de direções de verdade. Esta geometria pertence ao domínio do conhecimento, não à arquitetura.
- Portão de Conhecimento: Esta convergência é bloqueada pelo conhecimento (knowledge-gated). A força do acordo entre famílias (Mantel $p=0.0009$ ) fortalece-se de +0.42 em material de conhecimento misto para +0.74 em categorias de conhecimento restrito.
Instabilidade de Sinal e Correção: A orientação por categoria é instável para fatos de baixo conhecimento. O artigo introduz um medidor de consenso espectral (usando o autovetor principal da matriz de cosseno) para reparar a instabilidade de sinal, garantindo que as comparações entre modelos não sejam artefatos de inversões de sinal arbitrárias.

Significância e Alegações

O artigo alega estabelecer uma sonda estrutural de baixo custo para a verdade que rivaliza com sondas treinadas em fatos conhecidos sem necessidade de otimização. Sua principal contribuição teórica é o reenquadramento da representação da verdade:

A dimensionalidade não é fixa: É uma função do conhecimento do modelo. Fatos desconhecidos não falham em ter uma direção; em vez disso, seu sinal é distribuído através de características sobrepostas, tornando-os ilegíveis por um eixo único.
O mecanismo é relacional: A verdade não é um objeto estático, mas um fluxo dinâmico onde a atenção propaga quadros e os FFNs sobrescrevem com novas direções específicas de categoria.
A geometria é impulsionada pelo conhecimento: O arranjo das direções de verdade através das categorias é uma propriedade do domínio de conhecimento compartilhado, convergindo através de diferentes arquiteturas de modelos.

Os autores afirmam explicitamente que este método não é um substituto para autoencoders esparsos (que são necessários para desambiguar características sobrepostas), mas serve como uma "sonda estrutural leve, honesta e quase gratuita" para coexistir com a geração. O trabalho enfatiza que estudar a geometria de uma capacidade pressupõe a existência dessa capacidade comportamentalmente, um princípio aplicado sistematicamente ao medir as "taxas de conhecimento" antes da análise geométrica.

O artigo conclui que um resultado que sobrevive aos próprios ataques do autor (via correções pré-registradas e falsificações) é mais robusto do que um que nunca foi atacado, posicionando os achados como uma base fortalecida para o futuro trabalho de interpretabilidade mecanística.