Resumo Técnico: Pontuação de Contribuição de Logit Identifica Cabeças de Recuperação Não Literais

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente sintetizam respostas a partir do significado semântico de um intervalo de contexto relevante, em vez de copiar literalmente os tokens. Embora o trabalho atual de interpretabilidade mecanística tenha identificado "cabeças de recuperação" (retrieval heads) responsáveis pelo acesso ao contexto, os métodos de detecção atuais são fundamentalmente limitados à recuperação literal.

Os detectores existentes (ex: Wu et al., 2025; Fu et al., 2025) baseiam-se em observáveis de pesos de atenção. Eles recompensam cabeças onde o token de origem atendido corresponde ao token da resposta gerada. Este critério de "correspondência de tokens" identifica com sucesso cabeças que copiam e colam informações (recuperação literal), mas falha em detectar cabeças que realizam recuperação não literal. Em cenários não literais, um modelo pode atender a uma frase de origem (ex: "Torre Eiffel") mas sintetizar um token de resposta diferente (ex: "Yuki") por meio de seu circuito de saída-valor (OV). A pontuação baseada em atenção captura onde uma cabeça lê, mas ignora o que ela escreve, perdendo o mecanismo crítico pelo qual a síntese não literal ocorre.

2. Metodologia: Pontuação de Contribuição de Logit (LOCOS)

Os autores introduzem a Pontuação de Contribuição de Logit (LOCOS), um detector "consciente da escrita" que avalia cabeças de atenção com base em sua contribuição para o logit da resposta final, em vez de sua distribuição de atenção.

Mecanismo Central

O LOCOS decompõe a operação de uma cabeça de atenção em dois circuitos:

1. Circuito QK: Determina onde a cabeça lê (pesos de atenção $\alpha$).
2. Circuito OV: Determina o que a cabeça escreve para o fluxo residual (projeção de saída $W_O v$).

O método pontua uma cabeça $(l, h)$ projetando a saída de seu circuito OV na direção de desincorporação (unembedding) do token de resposta correto ($u_{y_t}$).

O Procedimento de Três Etapas

1. Contribuição de Logit por Posição:
   Para um passo de decodificação $t$ gerando o token $y_t$, a contribuição de uma posição de origem $j$ através da cabeça $(l, h)$ é calculada como:
   $$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$$
   Este escalar $\phi$ captura todo o pipeline: uma cabeça pode ter alta atenção ($\alpha$), mas contribuição quase nula se sua saída OV for ortogonal à direção da resposta. Inversamente, uma cabeça com atenção moderada pode ter alta contribuição se seu circuito OV transformar a representação atendida em um vetor alinhado à resposta.

2. Contraste Espacial:
   Para isolar sinais específicos de recuperação, o LOCOS compara contribuições de posições de agulha (o intervalo de contexto relevante $[s_\tau, e_\tau)$) contra posições fora da agulha (off-needle).
   $$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$$
   $$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$$
   O fator de reescalonamento garante que a soma fora da agulha seja comparável à soma da agulha em termos de comprimento. A pontuação para um único passo é a diferença: $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$. Este contraste espacial (agulha vs. fora da agulha dentro de um único passo) substitui o contraste temporal (resposta vs. passos de não-resposta) usado em trabalhos anteriores.

3. Agregação:
   A pontuação final $S_{l,h}$ é a média desses contrastes espaciais em todos os passos de decodificação onde o modelo gera uma resposta correta, agregada sobre todas as tentativas bem-sucedidas em um benchmark. Pontuações negativas indicam cabeças cujas contribuições para o logit da resposta originam-se predominantemente de posições fora da agulha.

3. Principais Contribuições

• Detecção Consciente da Escrita: O artigo estabelece que identificar a recuperação não literal requer medir a saída do circuito OV, não apenas os pesos de atenção.
• Algoritmo LOCOS: Um método de passagem única (single-forward-pass) que pontua cabeças por sua contribuição projetada para o logit da resposta, contrastando fontes dentro e fora da agulha.
• Validação Causal: Através de experimentos de ablação de média, os autores demonstram que o LOCOS identifica cabeças que são causalmente críticas para a recuperação não literal, enquanto baselines baseados em atenção falham em fazer isso.

4. Resultados Experimentais

O método foi avaliado no benchmark NoLiMa (uma tarefa de agulha-no-palheiro não literal) em três famílias de modelos: Qwen3 (8B, 14B, 32B), Gemma-3 (12B, 27B) e OLMo-3.1 (32B).

Desempenho de Ablação (NoLiMa)

• Degradação Superior: A ablação da média das top-$k$ cabeças LOCOS causa um declínio mais acentuado no ROUGE-L em comparação com todos os baselines baseados em atenção (Wu/NIAH-scored, Wu/NoLiMa-scored e cabeças aleatórias).
• Estudo de Caso Qwen3-8B: Ablar as top 50 cabeças LOCOS colapsa o ROUGE-L de 0.401 para 0.000. Em contraste, o baseline baseado em atenção mais forte (Wu/NIAH) retém um RูGE-L de 0.292 na mesma profundidade.
• Especificidade: Ablar as cabeças LOCOS degrada severamente a recuperação contextual, enquanto deixa a recuperação paramétrica (ex: associações cidade-país) e o raciocínio aritmético intactos. Isso confirma que as cabeças identificadas são específicas de recuperação, não genericamente importantes para a saída do modelo.

Especificidade Literal vs. Não Literal

• Ablar as top-$k$ cabeças LOCOS degrada tanto a recuperação não literal (NoLiMa) quanto a literal (NIAH).
• No entanto, a queda é significativamente mais acentuada no NoLiMa. Isso indica que, embora o LOCOS capture cabeças relevantes para ambos os regimes, ele identifica unicamente o subconjunto de cabeças responsáveis pela síntese não literal que os detectores de correspondência de tokens perdem.

Transferência Downstream

• Nos benchmarks de contexto longo subsequentes (MuSique e BABILong), ablar as top-50 cabeças LOCOS degrada significativamente o desempenho, particularmente na família Qwen3 (ex: a precisão do MuSique no Qwen3-8B cai de 0.55 para 0.08).
• O ranking de LOCOS vs. baselines baseados em atenção varia por benchmark, sugerindo que tarefas de QA multi-salto recrutam tanto circuitos de recuperação literal quanto não literal.

Distribuição de Camadas

• As pontuações LOCOS estão fortemente concentradas em camadas tardias para a família Qwen3 e Gemma-3-27B.
• Os autores observam que essa concentração pode ser influenciada pela "suposição de caminho direto" (cabeças mais próximas da saída têm um impacto mais direto nos logits), mas experimentos de patch causal sugerem que o padrão de camadas tardias não é meramente um artefato.

5. Significância e Alegações

O artigo afirma que o LOCOS fornece a primeira identificação mecanística de cabeças de recuperação não literal.

• Limitação de Trabalhos Anteriores: Detectores existentes são "cegos" para a recuperação não literal porque recompensam cabeças onde o token atendido corresponde ao token gerado. Isso ignora cabeças que atendem a uma fonte e sintetizam uma resposta diferente.
• Insight Mecanístico: Ao medir a projeção do circuito OV na direção da resposta, o LOCOS captura a operação de "escrita" essencial para a síntese.
• Utilidade Prática: O método identifica cabeças que são causalmente críticas para o raciocínio de contexto longo. Esta descoberta tem implicações para:
  • Interpretabilidade: Fornecer um mapa mais preciso de como os LLMs acessam e sintetizam o contexto.
  • Eficiência: Permitir uma compressão de cache KV mais direcionada, preservando apenas as cabeças específicas responsáveis pela recuperação, em vez de heurísticas uniformes ou baseadas em atenção.
  • Mitigação de Alucinação: Oferecer um mecanismo para identificar e intervir em cabeças que falham ao recuperar o contexto relevante corretamente.

Os autores mantêm a modéstia quanto à generalização, observando que suas descobertas são específicas para as arquiteturas testadas (transformers decoder-only padrão) e para o benchmark NoLiMa. Eles não afirmam que o LOCOS identifica todos os mecanismos de recuperação, mas sim que consegue isolar o subconjunto perdido pelos critérios de correspondência de tokens.