💬 NLP

The Confidence Manifold: Geometric Structure of Correctness Representations in Language Models

Este artigo revela que as representações internas de veracidade em modelos de linguagem formam uma estrutura geométrica simples e de baixa dimensão definida por centroides de classe, permitindo a detecção altamente eficaz e a manipulação causal de alucinações através de sondas lineares e direcionamento de ativação.

Autores originais: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Publicado 2026-07-31

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Seonglae Cho, Zekun Wu, Kleyton Da Costa, Adriano Koshiyama

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um robô muito inteligente, muito rápido, que leu quase todos os livros já escritos. Você faz uma pergunta e ele responde com gramática perfeita e total confiança. Mas, às vezes, o robô está errado. Ele pode dizer que a capital da Austrália é Sydney (na verdade, é Camberra) ou que uma figura histórica famosa nasceu no século errado. A parte assustadora é que o robô soa tão seguro quando está mentindo quanto quando está dizendo a verdade. Ele não gagueja, não hesita e seu "medidor de confiança" (os números que ele calcula internamente) parece normal.

Por muito tempo, os cientistas se perguntaram: o robô sabe que está errado, mesmo que não diga isso? Existe um sinal secreto escondido profundamente dentro de seu cérebro que diz: "Ei, este fato é falso!"? Para entender isso, precisamos saber um pouco sobre como esses robôs funcionam. Eles não pensam como os humanos; eles processam informações como nuvens massivas de números chamadas "ativações". Conforme o robô lê e pensa, esses números fluem através de camadas de uma rede digital. Os cientistas descobriram que essas nuvens de números não são apenas aleatórias; elas têm formas e estruturas. Às vezes, a diferença entre um fato verdadeiro e uma mentira não é um padrão complexo e confuso, mas sim uma linha simples e reta neste espaço digital. A grande questão é: podemos encontrar essa linha e podemos usá-la para pegar o robô em uma mentira antes mesmo de ele terminar sua frase?

É exatamente isso que o artigo "The Confidence Manifold" se propõe a explorar. Os pesquisadores, liderados por Seonglae Cho e colegas, decidiram olhar dentro dos cérebros de 11 modelos de linguagem diferentes, variando de pequenos com 124 milhões de parâmetros até massivos com 14 bilhões. Eles queriam mapear a "geometria da correção" — a forma e localização específica no cérebro do robô onde a verdade vive.

Pense no cérebro do robô como um quarto gigante, multidimensional. Cada vez que o robô pensa em uma frase, ele coloca um ponto neste quarto. Se a frase é verdadeira, o ponto cai em uma área; se é falsa, o ponto cai em outra. Os pesquisadores descobriram que esses pontos não estão espalhados aleatoriamente por todo o quarto. Em vez disso, eles estão organizados de forma organizada em dois grupos distintos, como duas pilhas de bolas de gude. A pilha da "verdade" e a pilha da "mentira" são separadas por um corredor muito simples e de baixa dimensão.

Aqui está a parte mais surpreendente: você não precisa de um computador supercomplexo para distinguir essas pilhas. Os pesquisadores descobriram que a diferença entre uma afirmação verdadeira e uma falsa é apenas um deslocamento simples na posição média desses pontos. É como se você tivesse um saco de bolas de gude vermelhas e um saco de bolas de gude azuis. Você não precisa medir o tamanho, o peso ou a textura de cada uma das bolas de gude para distingui-las; você só precisa saber que as vermelhas estão, em média, um pouco mais à esquerda, e as azuis estão um pouco mais à direita. No cérebro do robô, essa "posição média" (ou centroide) é tudo o que importa. Os pesquisadores descobriram que poderiam detectar mentiras com 90% de precisão usando apenas 25 exemplos rotulados para encontrar esses dois centros. Melhor ainda, eles descobriram que esse "sinal de verdade" vive apenas em um pequeno corredor de apenas 2 a 8 dimensões, embora o cérebro do robô tenha milhares de dimensões para brincar.

A equipe não apenas olhou; eles também cutucaram e provocaram o robô para ver se esse sinal era real. Eles usaram uma técnica chamada "direcionamento de ativação" (activation steering), que é como dar um leve empurrão nos números internos do robô em uma direção específica. Quando eles empurraram o robód em direção à direção da "verdade", ele começou a cometer menos erros. Quando o empurraram em direção à direção da "mentira", ele começou a alucinar mais. Eles também tentaram apagar o sinal completamente, removendo esse corredor específico do cérebro do robô, e de repente, o robô tornou-se completamente incapaz de distinguir verdade de mentira, performando não melhor do que o acaso. Isso provou que o sinal não era apenas uma coincidência; era uma parte necessária de como o robô processa fatos.

No entanto, o artigo também nos alerta que isso não é uma bala mágica para todas as situações. Os pesquisadores descobriram que este "detector de verdade" interno funciona incrivelmente bem quando o robô está sendo astuto — como quando está afirmando confiantemente um equívoco comum. Mas em perguntas padrão e entediantes, onde o robô não está tentando enganar ninguém, o próprio resultado do robô (o que ele diz em voz alta) é tão bom para dizer a verdade. O sinal interno brilha mais intensamente quando o robô está sendo enganoso.

Outra descoberta interessante é sobre como esses sinais viajam entre diferentes tipos de perguntas. Se você ensinar o robô a detectar mentiras em um conjunto de dados específico (como um quiz sobre história), ele pode não ser capaz de detectar mentiras em um conjunto de dados diferente (como um quiz sobre ciência), a menos que você o treine nos dois ao mesmo tempo. É como aprender a dirigir um carro em uma pista de corrida não te torna automaticamente bom em dirigir em uma cidade com neve; você precisa praticar ambos. Os pesquisadores mostraram que, ao treinar o detector em múltiplos conjuntos de dados juntos, eles poderiam criar uma "bússola da verdade" universal que funciona através de diferentes tópicos.

No fim, este artigo nos dá uma imagem mais clara de como os modelos de linguagem lidam com a verdade. Ele sugere que, no fundo desses mecanismos complexos, a diferença entre o certo e o errado é surpreendentemente simples: é apenas uma questão de de qual lado de uma linha os dados caem. Embora isso não signifique que possamos consertar instantaneamente todas as mentiras do robô em todas as situações, prova que o robô sabe quando está errado, mesmo que nem sempre admita. O sinal está lá, é geométrico e está esperando para ser encontrado.

Resumo Técnico: O Manifold de Confiança

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente afirmam equívocos com a mesma fluência e confiança que fatos, tornando métricas de incerteza baseadas na saída (como entropia de tokens ou entropia semântica) insuficientes para detectar alucinações. Embora trabalhos anteriores tenham estabelecido que sinais relacionados à verdade existem linearmente no fluxo residual dos LLMs, a estrutura geométrica desses sinais permanece não caracterizada. Especificamente, desconhece-se:

Quantas dimensões são necessárias para separar afirmações corretas de incorretas.
Quão simples pode ser a regra de decisão antes que o sinal seja perdido.
Se a direção deste sinal é causalmente responsável pela saída do modelo ou se apenas correlaciona-se com ela.
Se um detector treinado em um conjunto de dados se transfere para outros.

Este artigo aborda essas questões caracterizando o "Manifold de Confiança" — a estrutura geométrica das representações de correção — através de 11 modelos variando de 124M a 14B de parâmetros.

Metodologia

Os autores empregam uma abordagem de múltiplos estágios envolvendo construção de dados, análise geométrica e validação causal:

Construção de Dados: Usando o TruthfulQA, os autores constroem pares contrastivos onde o mesmo enunciado de pergunta é pareado tanto com uma resposta correta quanto com uma incorreta. Isso isola o sinal de correção da variação de conteúdo. Os estados ocultos são extraídos da posição do último token em todas as camadas.
Aprendizado de Direção e Análise Geométrica:
- Treinamento de Probes: Probes de regressão logística são treinados para prever rótulos binários de correção a partir dos estados ocultos.
- Varredura de Dimensionalidade: Os autores utilizam regressão de Mínimos Quadrados Parciais (PLS) para projetar ativações em subespaços de dimensões variadas ( $k$ ) para determinar a dimensionalidade ideal para classificação.
- Dimensão Intrínseca: O estimador MLE de Levina–Bickel é usado para medir a dimensão intrínseca do manifold de representação de forma independente da classificação.
- Análise de Centroide: Os autores testam se a fronteira de decisão colapsa para uma métrica simples de distância ao centroide (deslocamento de média) em vez de exigir um hiperplano complexo.
Validação Causal: Três métodos complementares são usados para validar o subespaço:
- Direcionamento de Ativação (Activation Steering): Intervir no fluxo residual ( $h' = h + \alpha \hat{w}$ ) para observar se o deslocamento ao longo da direção aprendida altera causalmente as taxas de alucinação.
- Apagamento de Conceito (RLACE): Projetar ativações no nulocleano da direção de correção para testar se o sinal é necessário para a detecção.
- Busca de Alinhamento Distribuído (DAS): Um método de intervenção por troca que explicitamente realiza uma varredura no rank $k$ para limitar a dimensionalidade causal do subespaço.

Principais Resultados

1. Subespaço Discriminativo de Baixo Rank

Em 11 modelos, o sinal de correção está concentrado em um subespaço de 2 a 8 dimensões.

O desempenho atinge o pico dentro deste intervalo e degrada significativamente conforme as dimensões aumentam (ex: o GPT-2 cai 18% em AUC ao passar de 3D para 32D), indicando que dimensões extras introduzem ruído em vez de sinal.
A dimensão intrínseca do manifold de embedding (8–12D) é maior que a dimensão discriminativa (2–8D), sugerindo que o sinal é um recurso de baixo rank dentro de um espaço de maior dimensionalidade.

2. Suficiência de Centroide (Deslocamento de Média)

A regra de decisão para correção é notavelmente simples: dois centroides de classe são suficientes.

A separação entre as classes corretas e incorretas é dominada por um deslocamento de média (mean shift), em vez de uma diferença de covariância.
Classificadores geométricos (distância ao centroide, distância de Mahalanobis) performam dentro de $\pm 0,02$ de AUC em relação aos probes lineares treinados.
Variantes de múltiplos protótipos (ex: K-Means com múltiplos centroides por classe) degradam o desempenho, confirmando que as distribuições por classe são unimodais.
A detecção baseada em centroide é altamente eficiente em termos de rótulos, recuperando 90% do desempenho de dados completos com apenas 25 exemplos rotulados.

3. Estrutura Causal

Eficácia: O direcionamento ao longo da direção aprendida altera as taxas de alucinação em 9,1 pontos percentuais no Qwen2-7B (a taxa de erro move-se de 0,56 para 0,52 ou 0,61 dependendo da direção).
Necessidade: Apagar o subespaço via RLACE colapsa o desempenho de detecção para o acaso ( $\approx 0,50$ AUC).
Rank Causal: Embora o direcionamento e o apagamento não limitem o rank, o DAS limita independentemente o rank causal em no máximo 5 dimensões nos modelos testados.

4. Vantagem Específica de Regime

Probes internos superam métodos de incerteza baseados na saída (P(Verdadeiro), entropia semântica) especificamente em dados de equívocos adversariais (ex: TruthfulQA), onde os modelos estão confidentemente errados.

No TruthfulQA, os probes internos alcançam 0,80–0,94 AUC, enquanto os métodos de saída caem para 0,44–0,64.
Em conjuntos de dados de QA padrão (SciQ, FEVER, CommonsenseQA), a lacuna diminui e os métodos de saída performam comparavelmente aos probes internos.
A vantagem não é uma superioridade universal, mas específica para regimes onde a confiança do modelo está desacoplada da correção.

5. A Transferência Requer Treinamento Conjunto

Probes treinados em um único conjunto de dados (ex: TruthfulQA) transferem de forma quase aleatória (0,39–0,66 AUC) para outros conjuntos de dados.

A falha é atribuída a um desajuste direcional (ortogonalidade) entre os conjuntos de dados, em vez da ausência de um sinal.
O treinamento conjunto multi-dataset restaura a transferibilidade, alcançando 0,73–0,91 AUC em modelos ajustados por instrução.
Isso sugere que um "hiperplano de veracidade universal" requer restringir o subespaço com múltiplos conjuntos de dados para alinhar a orientação.

Significância e Alegações

O artigo posiciona-se não como uma proposta de um novo detector, mas como uma caracterização da geometria da correção.

Suficiência de Centroide: A principal alegação é que a separação entre verdade e falsidade em LLMs é um simples deslocamento de média em um subespaço de baixo rank, não uma fronteira de decisão complexa e de alto rank. Isso explica por que regras geométricas simples (distância ao centroide) igualam probes lineares complexos.
Rank Causal Limitado: Os autores fornecem evidências de que o mecanismo causal para correção ocupa um número muito pequeno de dimensões (2–8 para detecção, $\le 5$ para causalidade), refinando a "Hipótese de Representação Linear" para uma hipótese de "Separador Linear de Baixo Rank".
Transferência Dependente de Receita: O artigo esclarece que a transferibilidade não é automática; ela requer treinamento conjunto para resolver o desalinhamento direcional entre domínios.
Limitações: Os autores explicitamente observam que seus resultados derivam de configurações de teacher-forcing (onde o modelo recebe os tokens da resposta correta). Eles não alegam que esses resultados se traduzem diretamente para geração livre sem validação adicional, pois a escolha do juiz em configurações de geração livre introduz ruído significativo. Além disso, o limite de rank causal é específico para os modelos e camadas testados.

Em resumo, o artigo estabelece que a correção em LLMs é codificada como um sinal de baixo rank e deslocamento de média no fluxo residual, o qual é causalmente necessário para a saída do modelo, mas requer regimes de treinamento específicos para generalizar através de domínios.