🤖 machine learning

Reading Calibrated Uncertainty from Language Model Trajectories

Este artigo propõe um método para melhorar a quantificação da incerteza em modelos de linguagem, extraindo características geométricas invariantes de escala a partir de trajetórias de atualização do MLP por camada e alimentando-as em uma sonda linear esparsa, a qual supera a abordagem padrão de probabilidade máxima de softmax ao mesmo tempo que fornece insights interpretáveis sobre como e onde os erros se desenvolvem ao longo da profundidade do modelo.

Autores originais: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Publicado 2026-05-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Aliai Eusebi, Alexander Herzog, Xiaoyu Liang, Marie Vasek, Enrico Mariconti, Lorenzo Cavallaro

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um modelo de linguagem de grande escala (LLM) como um estudante muito inteligente, mas às vezes excessivamente confiante, fazendo uma prova de múltipla escolha. Quando o estudante termina uma questão, ele geralmente fornece uma "pontuação de confiança" (como dizer: "Tenho 95% de certeza de que esta é a resposta"). Esta é a maneira padrão de verificarmos se o modelo está certo ou errado.

No entanto, o artigo argumenta que essa pontuação de confiança é frequentemente uma mentira. O modelo pode dizer "95% de certeza" mesmo quando está completamente errado. É como um estudante que chuta aleatoriamente, mas sente-se muito confiante em relação ao seu chute.

O Problema: Olhar para o Destino, Não para a Jornada

A maioria dos métodos para verificar se uma IA está confiante observa apenas a resposta final (o destino). Eles tratam o processo de pensamento do modelo como um único instantâneo capturado no próprio final.

Os autores deste artigo dizem: "Espere um minuto! Para entender se alguém está verdadeiramente seguro, você não deve olhar apenas para a resposta final. Você deve observar como eles chegaram lá."

Eles comparam o pensamento interno do modelo a um caminhante subindo uma montanha:

O Método Padrão (MSP): Olha apenas para o caminhante quando ele atinge o cume. Se ele parecer feliz no topo, assumimos que ele teve uma subida fácil e reta.
O Novo Método (Trajetória): Observa todo o caminho percorrido pelo caminhante. Ele caminhou em linha reta? Ele se desviou de um penhasco e teve que voltar atrás? Ele zigzagueou freneticamente antes de finalmente tropeçar no pico?

O artigo afirma que, mesmo que dois caminhantes atinjam o mesmo cume com a mesma expressão feliz, seus caminhos podem contar histórias muito diferentes. Um pode ter tido uma escalada suave e confiante (provavelmente correta), enquanto o outro pode ter estado perdido, confuso e lutando contra o vento o tempo todo (provavelmente errado), mesmo que ambos terminem sorrindo no topo.

A Solução: O "Detector de Movimento"

Os pesquisadores construíram uma ferramenta que atua como um detector de movimento para o pensamento interno do modelo.

Rastreamento dos Passos: À medida que o modelo processa uma questão, ele passa por muitas camadas de "neurônios" (como andares em um prédio). Em cada andar, o modelo faz um pequeno ajuste em sua resposta.
Desenhando o Mapa: Em vez de olhar apenas para o resultado final, a ferramenta desenha um mapa do caminho que o modelo percorreu por esses andares.
Medindo a Forma: A ferramenta mede 11 coisas específicas sobre esse caminho, como:
- Suavidade: O modelo mudou de ideia repentinamente?
- Direção: O modelo continuou empurrando na mesma direção, ou lutou contra seus próprios pensamentos anteriores?
- Eficiência: O modelo seguiu uma rota direta, ou vagueou em círculos?

O Resultado: Um Botão de "Parar" Mais Inteligente

Usando esse "mapa de movimento", os pesquisadores treinaram um sistema simples e transparente (uma "sonda linear esparsa") para prever erros.

Melhor que o Padrão: Este novo sistema é muito mais eficaz em detectar quando o modelo está mentindo sobre sua confiança. Nos testes, ele reduziu significativamente o número de "erros de alta confiança" em comparação com o método padrão.
O Truque da "Abstenção Seletiva": Como este sistema é tão bom em detectar problemas, ele pode dizer ao modelo: "Ei, você acha que tem 95% de certeza, mas seu caminho interno foi bagunçado. Vou dizer para você parar e não dar uma resposta." Isso impede que o modelo dê respostas erradas com confiança.
O Fator "Porquê": A parte mais legal é que, como a ferramenta usa medições geométricas simples (como "quanto o caminho curvou?"), podemos realmente ver por que ela sinalizou um erro. Ela pode nos dizer: "O modelo começou confiante, depois mudou de ideia repentinamente nas camadas intermediárias e, em seguida, tentou forçar a resposta de volta à ideia original." É como um médico poder dizer: "O paciente não está apenas doente; sua frequência cardíaca disparou às 14h e sua temperatura caiu às 15h", em vez de apenas dizer: "O paciente está doente".

Resumo

Em resumo, este artigo nos ensina a parar de confiar na afirmação final do modelo de "Estou seguro!". Em vez disso, devemos assistir ao filme de como o modelo pensou sobre o problema. Ao observar o "movimento" e a "forma" de seus passos internos, podemos pegar erros confiantes que, de outra forma, passariam despercebidos, tornando a IA mais segura e confiável sem a necessidade de sistemas novos, caros ou complexos.

Resumo Técnico: Leitura de Incerteza Calibrada a partir de Trajetórias de Modelos de Linguagem

1. Declaração do Problema

As abordagens atuais para Quantificação de Incerteza (UQ) em Modelos de Linguagem de Grande Escala (LLMs) com saída estruturada enfrentam um trade-off entre eficiência computacional e calibração. O método padrão, Probabilidade Máxima de Softmax (MSP), é computacionalmente gratuito, mas frequentemente mal calibrado, atribuindo alta confiança a previsões incorretas. Por outro lado, os métodos existentes que sondam ativações internas geralmente tratam os estados ocultos como instantâneos estáticos (seja de uma única camada ou em média), descartando a trajetória camada a camada pela qual uma representação é formada. Essa visão estática ignora como as evidências se acumulam, reforçam ou revertem ao longo da profundidade da rede, potencialmente obscurecendo sinais de incerteza presentes no caminho computacional, mas não na distribuição de saída final.

2. Metodologia

Os autores propõem um método que trata as ativações do modelo não como estados estáticos, mas como trajetórias representacionais. A abordagem envolve três componentes principais:

2.1. O Substrato: Vetores de Escrita do MLP

Em vez de analisar estados ocultos brutos, o método foca nos vetores de escrita do MLP ( $m_\ell$ ) contribuídos pelo Perceptron Multicamadas (MLP) de cada bloco transformador para o fluxo residual. Trabalhos anteriores de interpretabilidade mecânica sugerem que os MLPs são locais críticos para o armazenamento de conhecimento factual.

O método captura a sequência desses vetores na posição final do prompt (posição de leitura) durante uma única passagem direta.
Constrói uma trajetória discreta no espaço de representação calculando a soma cumulativa desses vetores: $s_\ell = \sum_{k \le \ell} m_k$ .
A trajetória é definida do estado inicial ( $s_0 = 0$ ) até o ponto final ( $s_L$ ).

2.2. Extração de Características Geométricas

A trajetória é resumida usando onze características geométricas invariantes de escala por camada, agrupadas em quatro categorias:

Distribuição de Profundidade: Mede como o esforço computacional (magnitude da atualização) é distribuído entre as camadas (por exemplo, priorização inicial vs. priorização final).
Forma da Trajetória Local: Captura consistência direcional (cosseno consecutivo), mudanças abruptas (curvatura) e se as atualizações reforçam ou contradizem o estado anterior (alinhamento atualização-estado).
Relação com o Ponto Final: Mede como as camadas se relacionam com a direção final, incluindo convergência (direção para o final), alinhamento de atualizações individuais (atualização para o final) e identificação de camadas que se opõem ativamente ao ponto final (suporte contraditório).
Eficiência: Mede a razão entre o deslocamento líquido e o comprimento total do caminho (coerência cumulativa), indicando quão diretamente a trajetória atinge seu ponto final.

2.3. Sonda Linear Esparsa

Essas características são alimentadas em uma sonda linear esparsa (regressão logística esparsa) para prever a probabilidade de erro.

Entrada: O vetor de 11 características por camada ( $\phi(x)$ ) e a pontuação MSP do modelo ( $p_{msp}$ ).
Interação: O modelo inclui termos de interação entre as características e o MSP, permitindo que a sonda pondere sinais geométricos de forma diferente com base na confiança de linha de base do modelo.
Treinamento: A sonda é treinada para minimizar a entropia cruzada binária balanceada por classe contra um indicador de erro, regularizada com uma penalidade elastic-net para impor esparsidade. Isso permite que o modelo identifique características preditivas diretamente, sem uma etapa de seleção separada.

3. Contribuições Principais

UQ Baseada em Trajetória: Os autores propõem um conjunto compacto de características geométricas que descrevem a evolução das representações ao longo da profundidade da rede. Quando alimentadas em uma sonda linear esparsa, este método supera o MSP sob abstenção seletiva, com ganhos de desempenho escalando com a má calibração da linha de base (melhoria de até 21 pontos de AURC).
Interpretabilidade de Ponta a Ponta: Diferentemente de sondas densas opacas sobre ativações brutas, cada característica possui um significado geométrico de forma fechada. Os coeficientes da sonda revelam como os erros ocorrem: identificando quais camadas se comprometem prematuramente, quais contradizem o estado em execução e onde as trajetórias se desviam de seu ponto final.
Avaliação Empírica Abrangente: O método foi avaliado em 9 LLMs ajustados para instruções (famílias Qwen, Llama, DeepSeek, variando de 3B a 72B parâmetros) em cinco tarefas diversas de PLN (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. Resultados Experimentais

Desempenho: A sonda superou o MSP em 41 de 45 pares modelo-conjunto de dados. Os ganhos foram mais significativos onde o MSP performou pior (alta má calibração), reduzindo o AURC (Área sob a Curva de Risco-Cobertura) em 11,45 a 21,83 pontos nas configurações mais difíceis.
Comparação com Linhas de Base: A sonda igualou ou superou uma "sonda de ativação bruta" de alta capacidade (treinada em estados ocultos completos) em 24 configurações e permaneceu dentro de 2 pontos de AURC em outras 6, apesar de usar apenas 11 características escalares.
Seletividade: A sonda produz curvas de risco-cobertura suaves e monótonas, evitando os picos instáveis de baixa cobertura frequentemente observados com o MSP. Ela separa efetivamente previsões corretas de incorretas, mesmo quando as pontuações de confiança do MSP são idênticas.
Descobertas de Interpretabilidade:
- Correto vs. Incorreto: Previsões com pontuações MSP idênticas exibem assinaturas de trajetória distintas. Por exemplo, previsões incorretas frequentemente mostram alinhamento prematuro com a direção final nas camadas iniciais, seguido por um "retorno duplo" ou desvio.
- Especificidade da Tarefa: As assinaturas geométricas dos erros variam conforme a tarefa. Em HaluSum, os erros manifestaram-se como comprometimento prematuro seguido de uma correção tardia e quebra de estado. Em CosmosQA, os erros apareceram como desvio de profundidade média ortogonal à direção da resposta.
- Análise de Coeficientes: Os coeficientes da sonda localizam mecanismos de erro. Por exemplo, em HaluSum, os sinais de erro concentraram-se no último quarto da rede, enquanto em CosmosQA, estavam distribuídos por toda a profundidade.

5. Significado e Afirmações

O artigo afirma que tratar as ativações como movimento e não como instantâneos estáticos oferece um "caminho intermediário tratável" entre a opacidade de sondas densas e o sinal limitado do MSP.

Incerteza Auditável: Como as características são interpretáveis por construção, o sinal de confiança resultante permite que os praticantes inspecionem não apenas se um modelo está incerto, mas onde em seu cálculo essa incerteza surge (por exemplo, camadas específicas ou desvios geométricos).
Eficiência: O método adiciona custo computacional negligenciável na inferência, exigindo apenas uma única passagem direta e cálculos geométricos simples, evitando o alto custo de abordagens baseadas em amostragem ou ensemble.
Limitações: Os autores observam que sua análise é restrita a cenários de escolha discreta (questões de múltipla escolha) e que a sonda é atualmente ajustada por par (modelo, tarefa), sendo a transferibilidade entre modelos e tarefas uma questão em aberto.

Em resumo, o trabalho demonstra que a geometria de como um modelo de linguagem monta uma previsão contém sinais ricos e interpretáveis sobre incerteza que são invisíveis para a distribuição de saída final, permitindo previsão seletiva mais confiável e auditável.