For What Reason? Interpreting Models' Encoding of Causation and Antithesis

Resumo Técnico: Interpretando a Codificação de Causalidade e Antítese em Modelos

Definição do Problema
As relações de discurso são fundamentais para a estrutura do documento, a compreensão da linguagem e o alinhamento ético de Grandes Modelos de Linguagem (LLMs). Apesar de sua importância, pesquisas limitadas investigaram como os modelos Transformer codificam essas relações internamente. Embora trabalhos recentes tenham começado a identificar "circuitos discursivos", permanece uma lacuna na compreensão dos mecanismos específicos pelos quais modelos ajustados por instrução distinguem entre relações de discurso opostas, especificamente causalidade (ex: "então") e antítese (ex: "contudo"). Este artigo aborda essa lacuna investigando como os modelos LLaMA e Mistral codificam essas relações, focando em características ao nível do token, papéis específicos de camadas, conceitos-chave e propagação de informação.

Metodologia
Os autores enquadram a investigação como uma tarefa de previsão do próximo token. Os modelos são instigados a completar sentenças onde o token ausente é restrito a ser "capaz" ou "incapaz". A estrutura da sentença é desenhada de tal forma que a conjunção ("então" vs. "contudo") e o sentimento do verbo na cláusula satélite determinam a resposta correta, criando um ambiente controlado para testar o raciocínio causal.

• Dados: Um conjunto de dados de 130 pares de treinamento e 30 pares de teste foi gerado usando o ChatGPT 4o. Os pares incluem variações com verbos positivos e negativos, bem como negação explícita, para evitar que o modelo dependa apenas de pistas de conjunção.
• Modelos: O estudo utiliza variantes ajustadas por instrução do LLaMA-3-8B e Mistral-7B, ambos apresentando 32 camadas.
• Técnicas de Interpretabilidade: Os autores empregam um conjunto de métodos de interpretabilidade mecânica:
  • Patching de Ativação (Activation Patching): Substituindo ativações internas de uma entrada base por aquelas de um contraexemplo (ex: trocando "então" por "contudo") para medir efeitos causais nos logits de saída.
  • Atribuição de Logits (Logits Attribution): Calculando o produto escalar entre os estados ocultos da camada e a direção da diferença de logits para determinar se uma camada empurra o modelo em direção à resposta correta.
  • Sondagem (Probing): Treinando classificadores de regressão logística em estados ocultos para detectar a presença de conceitos específicos (ex: "capaz" vs. "incapaz", sentimento do verbo, sentimento da cláusula).
  • Patching de Atribuição (EAP) & Gradientes Integrados (EAP-IG): Usados para identificar e quantificar a importância de arestas (conexões) específicas dentro do grafo de computação.

Resultados Principais
Os modelos alcançaram alto desempenho na tarefa (LLaMA: 0.96 F1, Mistral: 0.80 F1), permitindo uma análise interna robusta.

1. Características ao Nível do Token (RQ1): A análise SHAP revela que a influência dos marcadores de discurso ("então" vs. "contudo") é modulada pelo sentimento do verbo. Para verbos positivos, "então" impulsiona a previsão "capaz", enquanto "contudo" impulsiona "incapaz". No entanto, com verbos negativos, essas associações podem reverter ou mudar, indicando que o modelo integra a semântica do verbo em vez de depender apenas de palavras de pista simples.
2. Papéis das Camadas (RQ2):
   • Camadas Iniciais a Intermediárias: Estas camadas são sensíveis a intervenções no token do marcador de discurso ("então"/"contudo"), o que altera transitoriamente as probabilidades de saída, sugerando que estas camadas codificam significados relacionais locais.
   • Camadas Intermediárias a Superiores: Intervenções na posição do último token afetam as probabilidades em camadas de nível intermediário, indicando que estas camadas integram o significado da sentença. As camadas superiores primariamente propagam ou refinam a decisão em vez de reavaliá-la; uma vez que a decisão é consolidada nas camadas intermediárias, trocar as ativações nas camadas superiores falha em inverter a saída.
   • Viés (Bias): Certas camadas exibem vieses inerentes, empurrando consistentemente as previsões para "capaz" ou "incapaz", independentemente da resposta correta (ex: camadas 2, 3, 8, 10, 12 favorecendo "incapaz").
3. Codificação Conceitual (RQ3): Experimentos de sondagem mostam que o modelo codifica ativamente o sentimento do verbo e o sentimento da cláusula satélite. Alta precisão de sonda para "capaz" vs. "incapaz" é encontrada em cabeças das camadas 8–16 na posição do marcador de discurso, e nas camadas 13–14 na posição do último token.
4. Propagação de Informação (RQ4): O patching de atribuição de aresta revela um núcleo estável de conexões (51% de sobreposição entre as configurações zero-shot e few-shot) que consistentemente impulsionam a tomada de decisão. No entanto, o processamento de verbos negativos mostra menor sobreposição de arestas entre as configurações de shots (33.9%), sugerindo maior instabilidade ou dependência de caminhos diferentes para o sentimento negativo em comparação ao positivo.

Significância e Contribuições
O artigo afirma fornecer insights sobre a mecânica interna de como relações de discurso críticas são codificadas em modelos Transformer. As principais contribuições são:

• Insight Mecanístico: Demonstrar uma divisão de trabalho onde camadas iniciais/intermediárias codificam pistas relacionais locais e camadas intermediárias/superiores integram e finalizam decisões.
• Estabilidade de Circuito: Identificar um conjunto central de conexões estáveis que suportam o fluxo de informação, observando que arestas específicas podem variar conforme o contexto (tipo de verbo, configuração do prompt).
• Representação Assimétrica: Observar que certas camadas exibem vieses assimétricos para resultados específicos, sugerindo que o raciocínio baseado em discurso não é representado uniformemente em todas as camadas.

Os autores concluem que estes achados permitem um aumento no desempenho do modelo e no alinhamento com as preferências humanas. Eles afirmam que sua metodologia é extensível para relações de discurso adicionais e arquiteturas de modelos, embora reconheçam limitações quanto ao foco específico em inglês e nas duas relações RST selecionadas.