🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

Este artigo introduz o "rivalismo de características" como pares de características de Autoencoder Esparsos negativamente correlacionados que servem como uma assinatura mecânica da incerteza do modelo em Gemma-2-2B, demonstrando que prompts de alta entropia desencadeiam um rivalismo mais forte em camadas específicas, que a orientação ao longo dos eixos de rivalismo influencia causalmente as saídas e que as pontuações de rivalismo podem prever a correção das respostas.

Autores originais: Harshavardhan

Publicado 2026-05-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Harshavardhan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Modelo de Linguagem Grande (LLM) como o Gemma-2 como uma cidade enorme e movimentada, onde milhões de pequenos trabalhadores (neurônios) passam constantemente bilhetes uns aos outros para responder a perguntas. Geralmente, esses trabalhadores estão organizados em equipes especializadas. Mas, às vezes, quando o modelo não tem certeza da resposta, duas equipes diferentes aparecem ao mesmo tempo, gritando umas sobre as outras, tentando assumir o controle da conversa.

Este artigo chama esse caos de "Rivalidade de Características".

Aqui está uma explicação simples do que os pesquisadores descobriram, usando analogias do cotidiano:

1. A Ideia Central: O "Debate" no Cérebro

Os pesquisadores usaram uma ferramenta especial chamada Autoencoder Esparso (SAE). Pense nessa ferramenta como um par de óculos de alta tecnologia que nos permite ver os "conceitos" individuais em que o modelo está pensando, em vez de apenas ver a resposta final.

Quando o modelo está confiante: É como um coral cantando em perfeita harmonia. Uma melodia clara (um conceito dominante) sobe acima das demais.
Quando o modelo está incerto: É como um debate acalorado em uma assembleia municipal. Duas ideias opostas (características rivais) começam a gritar uma com a outra, tentando suprimir a outra. O artigo descobriu que, quando o modelo está inseguro, esses conceitos "rivais" tornam-se fortemente correlacionados negativamente — eles lutam ativamente para cancelar um ao outro.

2. Experimento 1: Onde a Briga Acontece?

Os pesquisadores fizeram 400 perguntas ao modelo. Eles as dividiram em dois grupos:

Perguntas Fáceis: O modelo sabia a resposta instantaneamente (Baixa Entropia).
Perguntas Difíceis/Ambíguas: O modelo estava confuso e deu respostas diferentes a cada vez (Alta Entropia).

A Descoberta:
Eles descobriram que a "briga" entre conceitos não acontecia em todos os lugares. Ela estava concentrada em dois "salões" específicos (camadas) do cérebro do modelo:

Salão 0 (A Entrada): A briga começa imediatamente quando a pergunta entra no sistema. Mesmo antes de o modelo começar a processar a lógica, a incerteza já está causando um cabo de guerra entre os conceitos.
Salão 12 (O Meio): A briga volta a eclodir no meio da cadeia de processamento, onde o modelo está tentando juntar o significado.

Analogia: Imagine uma corrida de revezamento. Se o corredor não tem certeza da rota, ele tropeça logo na linha de partida (Camada 0) e novamente logo antes da troca do bastão no meio da pista (Camada 12). Se ele tem certeza, ele corre suavemente.

3. Experimento 2: Podemos Inclinar a Balança?

Os pesquisadores queriam saber se essa briga realmente causa a mudança na resposta do modelo, ou se é apenas um efeito colateral.

Eles usaram uma técnica chamada Direcionamento de Ativação. Imagine que o cérebro do modelo é um barco e a "rivalidade" é uma forte corrente empurrando-o para a esquerda ou para a direita. Os pesquisadores pegaram o leme e empurraram na direção da rivalidade (na direção em que os dois conceitos estão lutando).

A Descoberta:

Quando deram um leve empurrão na direção da rivalidade, o modelo mudou sua resposta com mais frequência do que quando o empurraram em uma direção aleatória.
Analogia: É como um balanço com duas crianças brigando pelo topo. Se você empurrar suavemente o balanço em direção ao lado da "briga", você pode inclinar o equilíbrio e fazer o modelo escolher a ideia da outra criança. Isso prova que a rivalidade não é apenas ruído; é uma força real e ativa que molda a saída.

4. Experimento 3: Podemos Prever Erros?

Finalmente, eles perguntaram: "Podemos olhar para essa luta interna para adivinhar se o modelo está prestes a errar a resposta?"

Eles criaram uma "Pontuação de Rivalidade" para cada pergunta.

Pontuação Alta: Muita briga entre os conceitos.
Pontuação Baixa: Os conceitos estão calmos e concordando.

A Descoberta:

A Pontuação de Rivalidade foi bastante boa em prever erros (cerca de 69% de precisão).
Não foi tão boa quanto o próprio "medidor de confiança" do modelo (que foi de cerca de 81% de precisão), mas tinha um superpoder único: Não precisava ver a resposta final para saber que o modelo estava inseguro.
Analogia: O medidor de confiança do modelo é como verificar o relatório do tempo depois que choveu. A Pontuação de Rivalidade é como olhar para as nuvens escuras se reunindo antes da chuva começar. Ela dá um aviso precoce baseado na tempestade interna, não no resultado.

Resumo

Este artigo mostra que, quando uma IA está confusa, seus "trabalhadores" internos começam a brigar entre si. Essa briga:

Ocorre em etapas específicas do processo de pensamento da IA.
Realmente muda o que a IA diz se você a empurrar na direção certa.
Pode ser usada como um "detector de fumaça" para nos dizer que a IA está insegura, mesmo antes de ela nos dar uma resposta errada.

Os pesquisadores enfatizam que isso é uma maneira de entender como o modelo pensa, em vez de apenas o que ele pensa, oferecendo uma nova janela para a "caixa preta" da incerteza da IA.

Resumo Técnico: Rivalidade de Características em Representações de Autoencoders Esparsos

Declaração do Problema

Embora os Autoencoders Esparsos (SAEs) tenham se tornado uma ferramenta padrão para decompor representações de Modelos de Linguagem de Grande Escala (LLM) em características interpretáveis e monossêmicas, os mecanismos que governam como essas características interagem sob condições de incerteza permanecem pouco compreendidos. Especificamente, não está claro se a competição entre múltiplas características ativadas simultaneamente serve como uma assinatura mecânica da incerteza do modelo. Este artigo investiga a Rivalidade de Características — definida como a presença de pares de características do SAE fortemente correlacionados negativamente em uma determinada camada — como um indicador potencial de ambiguidade no processamento do modelo.

Metodologia

O estudo utiliza Gemma-2-2B e SAEs Gemma Scope (largura 16k) em 13 camadas (0–24, passo 2). O desenho experimental baseia-se no conjunto de dados PopQA, empregando uma divisão de entropia dentro do domínio para isolar a incerteza do modelo de confusões ao nível do conjunto de dados.

Preparação de Dados: Os autores amostraram 20 conclusões por pergunta na temperatura 1.0 para calcular a entropia de Shannon normalizada ( $H(q)$ ). As perguntas foram divididas em duas condições:
- Ambíguo (Alta Entropia): $H(q) > 0.7$ (200 perguntas).
- Não Ambíguo (Baixa Entropia): $H(q) < 0.5$ (200 perguntas).
- Este desenho garante que domínio, formato e tipos de resposta permaneçam constantes, atribuindo diferenças observadas exclusivamente à incerteza do modelo.
Experimento 1: Localização da Rivalidade:
- Métrica: A "Pontuação de Rivalidade" é definida como o percentil 5 de todas as correlações de Pearson em pares de ativações de características em prompts em uma camada específica. Valores mais negativos indicam rivalidade mais forte.
- Análise: Testes U de Mann-Whitney compararam distribuições de rivalidade entre condições ambíguas e não ambíguas em todas as camadas.
Experimento 2: Intervenção Causal (Direcionamento de Ativação):
- Configuração: Os 20 pares de características rivais principais foram identificados. Um vetor de "eixo de rivalidade" ( $v_{rivalry}$ ) foi construído subtraindo os vetores do decodificador das duas características rivais ( $W_{dec}[A] - W_{dec}[B]$ ).
- Intervenção: Durante a geração na camada 10, este vetor foi adicionado ao estado oculto do último token.
- Comparação: A "taxa de inversão" (fração de saídas que mudam) para o direcionamento do eixo de rivalidade foi comparada contra uma linha de base de direção aleatória em multiplicadores de direcionamento de 5, 10 e 20.
Experimento 3: Utilidade Preditiva:
- Métrica: Uma pontuação de rivalidade por prompt foi calculada na camada 10 usando o percentil 5 das similaridades de cosseno entre os vetores do decodificador das 50 características ativas principais.
- Avaliação: Esta pontuação foi testada como preditor de correção da resposta (binário: verdade fundamental presente na saída) e comparada contra a confiança softmax (probabilidade do token principal) usando AUROC.

Principais Resultados

1. Localização da Incerteza

A rivalidade de características é significativamente mais forte para perguntas ambíguas em comparação com as não ambíguas, mas este efeito não é uniforme em toda a rede.

Camada 0: Diferença altamente significativa ( $p = 5.3 \times 10^{-26}$ ), sugerindo que a incerteza se manifesta como competição de características imediatamente após a codificação inicial.
Camada 12: Um segundo pico significativo ( $p = 5.8 \times 10^{-5}$ ), correspondendo à integração semântica de nível médio.
Outras camadas não mostraram diferenças significativas após a correção de Bonferroni.

2. Influência Causal

O direcionamento de ativação ao longo do eixo de rivalidade produziu um efeito causal mensurável nas saídas do modelo.

Em um multiplicador de direcionamento baixo (5), o direcionamento do eixo de rivalidade resultou em taxas de inversão de saída mais altas do que o direcionamento aleatório em 15 de 20 pares rivais (75%).
A diferença média na taxa de inversão foi de +0,06 (Rivalidade: 0,20 vs. Aleatório: 0,14).
O efeito diminuiu em multiplicadores mais altos (10 e 20), onde as perturbações se tornaram grandes demais e indiscriminadas.

3. Desempenho Preditivo

A pontuação de rivalidade por prompt serve como um sinal de incerteza válido, embora imperfeito.

AUROC para Previsão de Correção: A pontuação de rivalidade alcançou 0,689, superando significativamente o acaso aleatório (0,500), mas ficando aquém da confiança softmax (0,808).
Calibração: Ambos os sinais mostraram tendências monótonas onde pontuações mais altas correlacionaram-se com maior precisão.
Valor Distinto: Diferentemente da confiança softmax, a pontuação de rivalidade é derivada puramente de representações internas, sem exigir amostragem de saída ou acesso à verdade fundamental.

Significado e Alegações

O artigo postula que a Rivalidade de Características é um sinal mecanicamente fundamentado de incerteza que oferece três contribuições principais:

Localização Mecanística: Identifica estágios específicos no fluxo residual (codificação inicial e integração semântica de nível médio) onde a incerteza se manifesta como competição entre representações de conceitos, em vez de ser uma propriedade monolítica do modelo.
Validação Causal: Fornece evidências causais de que a competição entre características rivais é anterior às saídas do modelo; o direcionamento ao longo da direção de rivalidade influencia diretamente a geração, confirmando que essas características competem ativamente durante a inferência.
Sinal de Incerteza Interpretável: Demonstra que a competição interna de características pode prever a correção da resposta sem depender de distribuições de saída. Embora menos precisa que a confiança softmax, oferece interpretabilidade (identificando quais conceitos estão competindo) e computabilidade em cenários de passagem única.

Os autores enfatizam que sua divisão de entropia dentro do domínio é uma melhoria metodológica sobre comparações entre conjuntos de dados, garantindo que as diferenças de rivalidade sejam atribuíveis à incerteza do modelo e não a artefatos do conjunto de dados. Eles concluem que, embora a rivalidade não supere a confiança softmax em poder preditivo bruto para QA de formulário curto, ela fornece uma janela única e interpretável para a dinâmica interna da incerteza.