Resumo Técnico: Localizando Caminhos de Ancoragem em Modelos de Linguagem

Declaração do Problema

Grandes Modelos de Linguagem (LLMs), assim como os humanos, exibem o viés de ancoragem, onde um valor numérico irrelevante em um prompt desloca julgamentos subsequentes em direção a esse valor, mesmo quando o modelo possui o conhecimento factual correto. Embora trabalhos anteriores tenham estabelecido a existência deste fenômeno comportamental, eles o trataram majoritariamente como uma caixa preta, medindo a magnitude do deslocamento sem explicar os mecanismos internos. Este artigo aborda a lacuna na interpretabilidade mecanística: especificamente, identificar quais caminhos internos dentro de um LLM carregam o sinal que faz com que uma âncora irrelevante compita com a resposta correta durante a predição.

Metodologia

1. Configuração de Tarefa Controlada

Os autores adaptaram 100 questões de estimativa numérica do Open Anchoring Question Dataset (OpAQ) para um formato controlado de múltipla escolha.

• Estrutura do Prompt: Cada item inclui uma pergunta factual, uma resposta de verdade fundamental (ground-truth) e uma frase irrelevante de "máquina de caça-níqueis" contendo uma âncora baixa, uma âncora alta ou um controle de token correspondente (string não numérica).
• Espaço de Resposta: Um conjunto fixo de nove opções é usado em todas as condições, contendo a verdade fundamental, as âncoras e valores intermediários. O modelo é instruído a fornecer apenas a letra da resposta.
• Modelos Avaliados: Quatro modelos de decodificação única (decoder-only) de pesos abertos das famílias Qwen2.5 e Llama-3.1:
  • Modelos base: Qwen2.5-7B, Llama-3.1-8B.
  • Variantes ajustadas por instrução (instruction-tuned): Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. Métricas

• Métrica Comportamental: O deslocamento do Valor Esperado (EV) Normalizado mede a direção e a magnitude do deslocamento na distribuição de probabilidade do modelo em direção à âncora.
• Métrica de Atribuição: Uma métrica de diferença de logit ($m$) é definida como a diferença entre o logit da resposta correta e o logit da resposta da âncora ativa ($m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$).
  • Uma diminuição em $m$ indica que a âncora está se tornando mais competitiva.
  • A mudança nesta métrica ($\Delta m$) entre prompts ancorados e de controle serve como o alvo para a localização do circuito.
  • A validação confirmou que $\Delta m$ correlaciona-se fortemente com os deslocamentos de EV comportamentais.

3. Estrutura de Localização de Circuito

O estudo emprega localização de circuito baseada em atribuição para identificar o subgrafo mínimo do modelo responsável pelo efeito de ancoragem.

• Representação de Grafo: O transformer é tratado como um grafo de computação onde os nós são componentes (cabeças de atenção, MLPs) e as arestas são caminhos direcionados.
• Métodos Comparados:
  • Atribuição de Nó (NAP/NAP-IG): Pontua componentes individuais.
  • Atribuição de Aresta (EAP/EAP-IG): Pontua caminhos direcionados entre componentes.
  • Gradientes Integrados (IG): Variantes (NAP-IG, EAP-IG) que fazem a média de gradientes ao longo de um caminho de interpolação para melhorar a qualidade da atribuição.
• Avaliação de Fidelidade: Os autores medem a Recuperação de Desempenho do Circuito (CPR). Eles retêm os $k\%$ superiores de arestas/nós classificados da execução "limpa" (controle) e aplicam o patching do restante com as ativações da execução "corrompida" (ancorada). Um alto escore de CPR indica que o subgrafo retido recupera com sucesso o comportamento não ancorado do modelo.

Principais Contribuições

1. Validação de Métrica: O artigo estabelece uma métrica validada ao nível de resposta (diferença de logit) que rastreia a ancoragem comportamental, permitindo o uso de atribuição baseada em gradiente para a localização de circuitos.
2. Localização de Aresta vs. Nó: O estudo demonstra que métodos ao nível de aresta (EAP, EAP-IG) recuperam o sinal de ancoragem de forma significativamente mais fiel que métodos ao nível de nó (NAP, NAP-IG). Isso sugere que o viés é melhor compreendido como uma propriedade dos caminhos entre componentes, em vez de componentes isolados "viesados".
3. Análise Estrutural de Circuitos:
   • Padrões por Camada: Modelos Qwen concentram a atribuição em camadas médias a tardias, enquanto modelos Llama a concentram em camadas iniciais.
   • Tipos de Componentes: Os circuitos de classificação superior são dominados por arestas de atenção-para-atenção (aprox. 68–80% das arestas selecionadas), com envolvimento significativo de conexões atenção-MLP, sugerindo que os MLPs participam via caminhos mediados pela atenção.
4. Descobertas de Transferibilidade:
   • Intra-Modelo: Circuitos de âncora baixa e alta compartilham estrutura substancial (aprox. 66–71% de arestas compartilhadas) e transferem bem entre contrastes de âncora dentro do mesmo modelo.
   • Entre Variantes: Embora os modelos base e ajustados por instrução compartilhem padrões amplos de atribuição por camada, as arestas esparsas específicas que mais importam mudam após o ajuste por instrução. A transferência entre variantes é menos confiável, particularmente para contrastes de âncora baixa e circuitos esparsos.

Resultados

• Fidelidade: O EAP-IG (Atribuição de Aresta com Gradientes Integrados) emergiu como o método de localização mais fiel, alcançando escores de CPR frequentemente superiores a 0,90 entre modelos e condições. Em contraste, métodos ao nível de nó (NAP) pontuaram significativamente abaixo (ex: 0,36–0,67).
• Estrutura de Ancoragem:
  • Circuitos de âncora baixa e alta dentro de um único modelo são quase idênticos em sua distribuição de profundidade de camada (correlação de Pearson > 0,99) e compartilham cerca de dois terços de suas arestas de classificação superior.
  • O ajuste por instrução preserva a profundidade geral da atribuição, mas altera as arestas esparsas específicas que impulsionam o efeito. Por exemplo, no Qwen-7B, a fidelidade entre variantes para contrastes de âncora baixa caiu de 0,917 (correspondente) para 0,291 ao usar o ranking do modelo ajustado por instrução.
• Diferenças entre Modelos: Modelos Qwen exibem uma ancoragem comportamental mais forte e atribuição em camadas mais tardias em comparação aos modelos Llama, que mostram concentração em camadas iniciais.

Significância e Alegações

O artigo afirma fornecer uma explicação mecanística de como os sinais de decisão relacionados à ancoragem são carregados dentro dos modelos de linguagem. Ao enquadrar a ancoragem como um problema de localização de circuito, os autores vão além de medir que um viés ocorre para entender como ele é computado.

As principais implicações extraídas pelos autores incluem:

• Caminho vs. Componente: A ancoragem é um fenôão de nível de caminho; isolar nós "viesados" específicos é menos eficaz do que identificar o fluxo de informação entre componentes.
• Mecanismos Compartilhados: A forte transferência entre âncoras baixas e altas sugere um mecanismo interno compartilhado para a sensibilidade à âncora, em vez de modos de falha distintos para diferentes direções de âncora.
• Sensibilidade de Pós-Treinamento: A reduzida transferibilidade entre modelos base e ajustados por instrução indica que o pós-treinamento altera quais caminhos específicos são críticos para este viés, implicando que estratégias de mitigação podem precisar ser reavaliadas após o ajuste fino.
• Contribuição Metodológica: O trabalho demonstra a utilidade de aplicar a localização de circuitos a vieses cognitivos, oferecendo um quadro para mover-se da observação comportamental para a compreensão mecanística.

Os autores mantêm a modéstia, observando que suas descobertas são específicas para a formulação de múltipla escolha e para um conjunto de dados específico (OpAQ), e que os circuitos identificados representam o mecanismo para a métrica validada de diferença de logit, em vez de toda manifestação possível de ancoragem em geração de texto aberto.