How Language Models Process Negation

Resumo Técnico: Como os Modelos de Linguagem Processam a Negação

Declaração do Problema
Os Grandes Modelos de Linguagem (LLMs) frequentemente falham em consultas envolvendo negação (por exemplo, "Um animal que não é um anfíbio é um __"), muitas vezes emitindo o conceito positivo ("sapo") em vez do conceito negado correto ("cachorro"). Embora trabalhos anteriores de Interpretabilidade Mecanística (MI) tenham estabelecido que os modelos processam a recuperação factual por meio de agregação aditiva de evidências, a negação não se encaixa nesse paradigma. O artigo investiga os mecanismos internos dos LLMs para determinar se eles possuem a capacidade de processar a negação e, se sim, por que falham em manifestar essa capacidade nas saídas finais. Os autores abordam duas hipóteses concorrentes sobre como os modelos lidam com a negação: a Hipótese de Supressão (o modelo promove conceitos relevantes e suprime o token negado) e a Hipótese de Construção (o modelo constrói explicitamente uma nova representação para a frase negada, por exemplo, representando "não gás" como um vetor para "sólido").

Metodologia
O estudo emprega um conjunto de dados controlado de 648 prompts na forma "X que não é Y é Z", utilizando modelos incluindo Llama-3.1-8B, Mistral-7B e vários checkpoints OLMo2. Os autores aplicam um conjunto de técnicas observacionais e causais de interpretabilidade:

1. Métricas de Sensibilidade: Os autores definem uma métrica de sensibilidade baseada em diferenças de logits para determinar se os modelos distinguem internamente entre prompts positivos e negativos, mesmo quando a precisão é baixa.
2. Afundamento de Atenção (Attention Sinking): Um método de ablação novel inspirado em fenômenos de afundamento de atenção. Ao restringir as cabeças de atenção a atender apenas a si mesmas e ao primeiro token, os autores efetivamente anulam módulos específicos de atenção. Eles aplicam o Afundamento de Atenção Cumulativo (ablando todas as camadas a partir de um ponto específico até o final) para identificar camadas onde residem mecanismos de "atalho".
3. Correção de Caminhos (Path Patching) e LogitLens: Essas técnicas são usadas para traçar caminhos causais. A correção de caminhos substitui as saídas de atenção de prompts negativos por aquelas de prompts positivos para observar inversões de previsão. O LogitLens projeta estados ocultos intermediários no vocabulário para interpretar o conteúdo semântico das representações internas.
4. Autoencoders Esparsos (SAEs): Usados para decompor as saídas de MLPs em características latentes esparsas, permitindo a identificação de neurônios específicos que promovem conceitos negados.
5. Anotação Baseada em LLM: Um pipeline automatizado usando um LLM externo (gpt-oss-120b) para rotular se os tokens promovidos por cabeças de atenção internas estão semanticamente relacionados a "não Y" ou ao conceito original "Y".

Principais Descobertas

• Coexistência de Mecanismos: O artigo demonstra que os LLMs possuem mecanismos internos capazes de processar corretamente a negação, mas estes são frequentemente ofuscados por mecanismos de "atalho" nas camadas posteriores.
• Cabeças de Atenção de Atalho: Os autores identificam cabeças de atenção específicas nas camadas do meio ao final (tipicamente >50% através da profundidade do modelo) que promovem respostas positivas em prompts negativos. Essas cabeças dependem de correlações espúrias (por exemplo, co-ocorrência de "anfíbio" e "sapo") em vez de negação lógica. Ablar essas cabeças via Afundamento de Atenção melhora significativamente a precisão negativa (por exemplo, de ~50% para ~68% no Llama-3.1-8B).
• Processamento Dominante por Construção: O mecanismo primário para negação correta é a Construção, não a supressão.
  • Camadas Iniciais/Médias: Cabeças de atenção movem a representação do token de negação ("não") para a posição do conceito sendo negado ("Y").
  • Construção em Camada Média: Módulos de atenção causalmente importantes (por volta da camada 14 no Llama-3.1-8B) constroem explicitamente uma representação negada ($\bar{Y}$). A análise do LogitLens mostra que essas camadas promovem tokens semanticamente relacionados ao conceito negado (por exemplo, "sólido" para "não gás") em mais de 80% dos casos.
  • Supressão: Embora o modelo suprima o conceito original "Y", isso ocorre em menor grau do que a construção do conceito negado.
• Papel do MLP: MLPs de camadas posteriores amplificam a representação negada construída, promovendo a resposta final correta. A análise SAE revela latentes específicos que instanciam diretamente esses conceitos negados.
• Origem no Pré-treinamento: Os mecanismos de atalho responsáveis pelas falhas são rastreados até os estágios iniciais do pré-treinamento, onde os modelos desenvolvem um viés em direção a respostas positivas em prompts negativos.

Principais Contribuições

1. Diagnóstico de Falhas de Negação: Os autores mostram que as falhas dos LLMs na negação não são devidas à falta de capacidade interna, mas sim ao domínio de mecanismos de atalho nas camadas posteriores.
2. Método de Intervenção: A introdução do Afundamento de Atenção como uma intervenção plug-and-play que mitiga comportamentos de atalho e recupera a precisão de negação sem treinamento adicional.
3. Explicação Mecanística: Um mapa causal detalhado do processamento de negação, estabelecendo que os modelos implementam tanto construção quanto supressão, sendo a construção o mecanismo dominante. O artigo identifica sistematicamente como a atenção move "não" para "Y", constrói $\bar{Y}$, e como os MLPs promovem a resposta final.

Significado
O artigo argumenta que baixa precisão de caixa-preta pode mascarar a existência de mecanismos internos capazes. Ao revelar que os LLMs são conjuntos de mecanismos concorrentes (processamento correto de negação vs. heurísticas de atalho), o trabalho destaca a necessidade de inspecionar minuciosamente os interiores dos modelos para auditar completamente as capacidades do modelo. As descobertas aprofundam a compreensão de como os LLMs realizam raciocínio composicional e sugerem que a "construção" é uma estratégia computacional mais central para a negação do que anteriormente assumido. Os autores concluem que seu trabalho fornece uma base para construir LLMs mais robustos e confiáveis, compreendendo e mitigando esses mecanismos internos concorrentes.