💻 computer science

MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models

Este artigo introduz o MENTIS, um framework de prioridade geométrica que revela que o alinhamento de preferências induz uma reorganização geométrica seletiva e localizada em profundidade em modelos de linguagem, caracterizada por maiores deslocamentos de torção em conceitos normativos e correlações negativas com a entropia contextual, em vez de mudanças internas uniformes.

Autores originais: Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem duas versões de um assistente robô muito inteligente.

Versão A (O "Estudante"): Este robô leu muitos livros e aprendeu a seguir instruções. É inteligente, mas se você o enganar com uma pergunta sorrateira, ele pode acabar dizendo algo rude ou perigoso sem querer.
Versão B (O "Graduado"): Este é o mesmo robô após um treinamento especial chamado "Alinhamento". Ele foi ensinado a ser útil, inofensivo e honesto. Ele se recusa a responder perguntas ruins e se comporta muito melhor.

Sabemos que a Versão B age melhor por fora. Mas o grande mistério é: O que realmente mudou dentro do cérebro dela? Ela apenas aprendeu algumas novas palavras de "parada"? Ou toda a sua maneira de pensar foi reorganizada?

Este artigo apresenta uma nova ferramenta chamada MENTIS para olhar dentro do cérebro do robô e responder a essa pergunta.

A Ideia Central: "Crença" como uma Direção

Os autores não pensam na "crença" de um robô como uma crença humana (ex: "Eu acredito que o céu é azul"). Em vez disso, eles pensam nela como uma agulha de bússola.

Imagine que, para cada pergunta que você faz, o robô tem uma pequena agulha de bússola apontando na direção da resposta que ele deseja dar.

Na versão Estudante, se você fizer uma pergunta capciosa, essa agulha pode oscilar ou apontar para uma resposta rude.
Na versão Graduado, essa agulha foi fisicamente rotacionada para apontar para uma resposta útil e segura.

MENTIS é uma ferramenta que mede o quanto essa agulha gira e vira enquanto o robô processa sua pergunta, da primeira camada de seu cérebro até a última.

As Três Grandes Descobertas

Os pesquisadores usaram o MENTIS para comparar o Estudante e o Graduado. Aqui está o que encontraram, explicado com analogias simples:

1. A Mudança é Seletiva, Não Uniforme

A Analogia: Imagine que você está pintando uma casa. Você pode pensar que o "Alinhamento" é como pintar a casa inteira de uma nova cor (uma mudança uniforme).
A Realidade: O MENTIS descobriu que o trabalho de pintura é, na verdade, muito específico.

Quando o robô pensa sobre valores (como "Justiça" ou "Paz"), as agulhas de bússola internas giram e viram muito. O robô reorganiza significativamente seu pensamento para lidar com esses tópicos.
Quando o robô pensa sobre fatos (como "Qual é a capital da França?"), as agulhas mal se movem.
Conclusão: O treinamento não apenas adicionou um filtro de segurança genérico. Ele especificamente reconfigurou como o robô lida com conceitos morais e baseados em valores.

2. A Mudança Ocorre em Momentos "Silenciosos", Não no Caos

A Analogia: Você poderia supor que um robô muda de ideia principalmente quando está confuso ou incerto (alta entropia).
A Realidade: Os pesquisadores descobriram o oposto. As maiores "voltas" na bússola interna do robô aconteceram quando o contexto era claro e estruturado.

Quando o robô estava confuso ou a situação era caótica, as mudanças internas foram pequenas.
Quando o robô sabia exatamente que tipo de resposta era esperada, o treinamento teve o maior efeito sobre como ele orientava seus pensamentos.
Conclusão: O alinhamento funciona melhor quando o robô tem confiança suficiente para ter uma direção clara e, então, ele gentilmente direciona essa direção para a segurança.

3. A "Volta" Acontece em Andares Específicos

A Analogia: Imagine que o cérebro do robô é um edifício de 30 andares. Você pode pensar que o treinamento de segurança acontece no térreo (onde ele começa) ou no topo (onde ele termina).
A Realidade: A "volta" acontece em andares diferentes para modelos de robôs diferentes.

Para um modelo (OLMo), a maior mudança ocorreu no 29º ou 30º andar.
Para outro modelo (Mistral), a maior mudança ocorreu no 14º andar.
Conclusão: Não existe uma única "camada de segurança". Cada arquitetura de robô tem seu próprio "andar" específico onde o treinamento intensivo fez a maior parte do trabalho.

Uma Reviravolta Surpreendente: Prompts Seguros Mudam Mais

Normalmente, pensamos que o treinamento de segurança é todo sobre impedir coisas ruins. Você esperaria que o cérebro do robô mudasse mais quando ele visse um prompt "ruim" (inseguro).

A Surpresa: O cérebro do robô mudou mais quando ele estava respondendo a prompts seguros e úteis.

Por quê? Os pesquisadores sugerem que dizer "não" a uma pergunta ruim é fácil e automático (como um reflexo). Mas dizer "sim" a uma pergunta boa enquanto permanece educado, útil e seguro exige uma dança interna muito mais complexa. O robô precisa equilibrar cuidadosamente o ser útil sem cruzar a linha, o que causa uma reorganização maior de sua bússola interna.

O Que Isso Significa (e O Que Não Significa)

O que significa: O alinhamento não é apenas um remendo superficial. Ele deixa uma "assinatura geométrica" específica e mensurável profundamente dentro do cérebro do robô. Ele muda a forma como o robô vira seus pensamentos, mas o faz de forma seletiva (principalmente para valores) e em locais específicos (andares diferentes para modelos diferentes).
O que não significa: Este artigo é uma ferramenta de diagnóstico, como um raio-X. Ele nos mostra onde os ossos estão quebrados ou alterados, mas não prova que consertar esse osso específico é a única razão pela qual o robô se comporta melhor. Também não nos diz como usar isso para construir robôs melhores ainda; apenas nos diz como os atuais se parecem por dentro.

Em resumo: O MENTIS mostra que, quando ensinamos um robô a ser "bom", não estamos apenas adicionando uma placa de pare. Estamos moldando suavemente sua bússola interna, especialmente quando ele está pensando em valores, e fazemos isso de maneiras específicas e únicas para cada modelo de robô diferente.

Resumo Técnico: MENTIS – Medindo a Torção Latente Multiescala em Modelos de Linguagem

1. Declaração do Problema

Embora o alinhamento de preferências (PA) tenha melhorado significativamente o comportamento observável dos Grandes Modelos de Linguagem (LLMs), as mudanças geométricas internas induzidas pela transformação de um modelo de Ajuste de Instrução (IT) em um modelo de PA permanecem obscuras. As avaliações existentes ao nível do comportamento (ex: resistência a jailbreaks, taxas de recusa) são insuficientes porque sistemas alinhados ainda falham sob condições adversariais, como injeção de prompts.

O problema central abordado é a falta de um framework diagnóstico para medir como o alinhamento reorganiza a computação interna. Especificamente, o artigo questiona:

Quais estruturas geométricas mudam quando um modelo IT se torna um modelo PA?
Onde essas mudanças se concentram através da profundidade (camadas)?
Quão seletivamente essas mudanças variam entre conceitos, prompts e famílias de modelos?

Os autores argumentam que o pós-treinamento deve deixar traços mensuráveis na computação interna, indo além de sondas estáticas de estados ocultos ou auditorias comportamentais para entender a reorientação direcional condicionada à tarefa do modelo.

2. Metodologia: O Framework MENTIS

MENTIS (Measuring Multi-Scale Latent Torsion in Language Models) é um framework focado em geometria projetado para comparar pares de checkpoints IT e PA. Ele define "crença" não como uma proposição simbólica, mas como uma direção interna condicionada à tarefa — a direção local no espaço do estado oculto que aumenta o suporte para uma continuação alvo sob um prompt específico.

2.1 Definições Principais

Campo Direcional por Camada ( $v_\ell$ ): Definido como o gradiente do log-probabilidade de um token alvo $y$ em relação ao estado oculto $h_\ell$ na camada $\ell$ . Isso representa a direção local mais íngreme que aumenta o suporte para o alvo.
Deslocamento Induzido pelo Alinhamento: A diferença entre os campos direcionais do modelo PA ( $v^{(1)}$ ) e do modelo IT ( $v^{(0)}$ ), medida por magnitude ( $\Delta mag$ ) e ângulo ( $\Delta ang$ ).

2.2 Métricas de Torção

O MENTIS quantifica o "giro" desses campos direcionais através da profundidade da rede:

Torção Angular ( $T$ ): A soma cumulativa dos ângulos de giro de camadas adjacentes ( $\omega_\ell$ ) ao longo da trajetória de profundidade. O deslocamento induzido pelo alinhamento é $\Delta T = T^{(PA)} - T^{(IT)}$ .
Torção de Matriz ( $T_1$ ): Uma norma baseada em covariância por camada derivada do componente antissimétrico da matriz de covariância do estado oculto entre camadas. Ela mede a energia rotacional total em uma camada.
Torção Espectral ( $T_2$ ): Um diagnóstico secundário que mede a variância na distribuição do sinal de rotação através dos modos espectrais.
Energia-Radiância-Ativação (ERA): Uma métrica de localização que normaliza o perfil de diferença por camada ( $\Delta \tau_\ell$ ) para identificar a camada de pico ( $\ell^\star$ ) onde a torção induzida pelo alinhamento está mais concentrada.

2.3 Medição Multiescala

O framework opera em três escalas:

Nível de Palavra: Analisando deslocamentos de torção condicionados a conceitos para determinar quais conceitos semânticos sofrem a maior reorientação.
Nível de Prompt: Comparando deslocamentos de torção entre famílias de prompts seguros e inseguros.
Nível de Modelo: Examinando perfis por camada para determinar se os efeitos são rasos, de camada média, de camada tardia ou distribuídos.

2.4 Configuração Experimental

Modelos: Quatro pares de modelos de 7–8 bilhões de parâmetros (OLMo-2-1124-7B, Mistral-7B-v0.3, Llama-3.1-8B, Tülu-3-8B).
Benchmark: LITMUS, um benchmark de alinhamento estruturado por conceitos com 20.439 prompts, 18 conceitos representativos e rótulos explícitos de seguro/inseguro.
Baselines: Comparado contra CKA (similaridade representacional), Distância de Cosseno (deriva de checkpoint) e RepE (direções de controle linear).

3. Resultados Principais

3.1 A Torção Separa o Alinhamento da Deriva Genérica

O MENTIS demonstra discriminação superior em comparação com os baselines padrão.

Discriminação de Conceito: O MENTIS alcança um Coeficiente de Variação (CV) de 0,64 entre conceitos, superando significativamente o CKA (0,08) e o RepE (0,21).
Discriminação Seguro/Inseguro: O MENTIS alcança um AUC de 0,89 para distinguir prompts seguros de inseguros, comparado a 0,64 para a distância de cosseno.
Verificação de Nulo: Comparações do mesmo modelo (IT→IT) resultam em deslocamentos de torção abaixo de $10^{-4}$ , confirmando que os deslocamentos IT→PA observados não são artefatos numéricos.

3.2 Seletividade Semântica

A reorganização induzida pelo alinhamento é seletiva, não uniforme.

Normativo vs. Factual: Conceitos normativos exibem deslocamentos de torção significativamente maiores ( $\Delta T_1 = 1,74$ ) do que conceitos factuais ( $\Delta T_1 = 1,47$ ).
Variação Granular: Mesmo dentro de conceitos normativos relacionados (ex: JUSTIÇA, PAZ, PROTESTO), os deslocamentos de torção variam, indicando que o MENTIS captura a reorganização direcional além das partições semânticas grosseiras.
Sensibilidade ao Enquadramento: A métrica rastreia o enquadramento saliente ao alinhamento em vez de simplesmente reproduzir os rótulos do dataset (ex: o conceito "GUERRA", rotulado como factual, mostra o maior deslocamento de conceito único).

3.3 Correlação de Entropia

A torção possui uma correlação negativa com a entropia contextual.

Contextos de maior entropia (maior incerteza) estão associados a normas de torção menores.
As reorganizações mais fortes induzidas pelo alinhamento ocorrem em contextos semânticos estruturados, de entropia baixa a média, sugerindo que o alinhamento modifica direções estáveis condicionadas à tarefa em vez de amplificar a incerteza.

3.4 Localização de Profundidade (ERA)

Os efeitos de alinhamento localizam-se em bandas de profundidade específicas da arquitetura, não em camadas universais.

OLMo-2-1124-7B & Tülu-3-8B: Apicam nas camadas 29–30.
Llama-3.1-8B: Apica na camada 20.
Mistral-7B-v0.3: Apica na camada 14.
Isso indica que a atualização IT→PA interage com a organização representacional específica de cada família de modelos.

3.5 Prompts Seguros vs. Inseguros

Ao contrário da hipótesia de que prompts inseguros impulsionam a maior mudança interna (via mecanismos de recusa), prompts seguros induzem maiores deslocamentos de torção em todas as quatro arquiteturas.

Os autores interpretam isso como o fato de que prompts seguros exigem que o modelo preserve a utilidade e a estrutura consistente com as normas sem colapsar na recusa, induzindo uma reorganização interna mais ampla do que os caminhos estereotipados acionados por prompts inseguros.

4. Significância e Alegações

O artigo afirma que o MENTIS fornece a primeira assinatura geométrica estruturada e localizada em profundidade do alinhamento de preferência.

Além do Comportamento: Os resultados sugerem que o alinhamento deixa traços geométricos internos que a avaliação baseada em comportamento sozinha não consegue revelar.
Definição Operacional de Crença: Ao definir crença como uma direção interna condicionada à tarefa, o artigo oferece uma maneira mensurável de rastrear a "mudança de crença" como uma reorientação do campo direcional, distinta da revisão filosófica de crença.
Utilidade Diagnóstica: O framework identifica que o alinhamento não é um deslocamento global, mas uma reorganização seletiva concentrada em conceitos de valor e camadas arquiteturais específicas.
Limitações: Os autores declaram explicitamente que o MENTIS é um framework diagnóstico, não uma teoria causal. Ele identifica correlatos geométricos do alinhamento, mas não prova que camadas ou conceitos de alta torção são causalmente necessários para o comportamento alinhado. Os tamanhos de efeito absolutos são pequenos ( $\Delta \tau \in [0,002, 0,008]$ ), enfatizando que a contribuição reside na estrutura do deslocamento (seletividade, correlação de entropia, localização de profundidade) e não na magnitude do movimento bruto.

O artigo conclui que o alinhamento de preferências reorganiza a computação interna de uma forma que é seletiva entre conceitos, estruturada pela entropia e localizada em profundidades específicas de cada arquitetura, fornecendo uma nova lente para compreender a mecânica interna dos LLMs alinhados.