Priors Persist Through Suppression: A Stroop Paradigm for Lexical Override

Resumo Técnico: Priores Persistem Através da Supressão

Definição do Problema
Modelos de linguagem (LMs) são frequentemente solicitados a seguir definições locais que sobrepõem temporariamente seus priores lexicais pré-treinados (ex: um glossário definindo "porta" como "tomada"). Embora essas sobreposições muitas vezes tenham sucesso, elas não são substituições limpas de significado. Em vez disso, o prior lexical pré-treinado continua a operar, criando um viés residual em direção ao significado familiar mesmo quando uma regra local é aplicada. Essa "falha de sobreposição" se manifesta como uma interferência silenciosa nas probabilidades do próximo token, o que é crítico em domínios que exigem adesão estrita a definições específicas do documento, como documentação jurídica, médica ou técnica. O artigo postula que a sobreposição contextual é uma competição onde o prior persiste em vez de ser apagado, e busca quantificar essa interferência e localizar sua fonte mecanística.

Metodologia
Os autores introduzem um paradigma estilo Stroop para isolar a interferência do prior lexical ao nível do item.

• Estímulos: Para cada item, uma palavra de consulta $w$ é mapeada para um alvo contextual $t$ (ex: "médico" significa "floresta"). Um distrator de prior lexical $d$ (ex: "hospital") compete com o alvo.
• Controle: Um controle neutro correspondente substitui a palavra de consulta $w$ por uma palavra semanticamente fraca $n$ (ex: "classe") enquanto mantém o alvo $t$ e o distrator $d$ idênticos. Este design isola a interferência causada especificamente pelo prior da palavra de consulta.
• Métrica Comportamental: O efeito de interferência ($\Delta$) é medido como a diferença na preferência relativa do alvo entre os prompts neutro e de conflito: $\Delta = E_n[S(x_{neutral})] - S(x_{conflict})$, onde $S(x) = \log P(t|x) - \log P(d|x)$.
• Escopo: A análise comportamental cobre 11 modelos de pesos abertos (famílias Qwen, Gemma, OLMo, Mistral) variando de 1B a 9B parâmetros. A análise mecanística foca em um subconjunto tratável de 5 modelos alinhados via activation patching usando TransformerLens.

Resultados Principais

1. Persistência Comportamental de Priores:

   • Em todos os 11 modelos e quatro famílias de conflito (antônimo, arbitrário, polissemia, definição de domínio), o efeito de interferência é positivo, indicando que o conflito lexical reduz a preferência pelo alvo contextual.
   • O efeito é mais pronunciado em configurações relevantes para documentos (arbitrário, polissemia, definição de domínio), que são 2–4$\times$ maiores do que o remapeamento de antônimo canônico.
   • Força do Prior Lexical como Preditor: Uma análise de regressão controlada revela que a força do prior lexical ordinário do distrator (medida como $\log P(d) - \log P(t)$ em um contexto neutro) prediz positivamente a magnitude da interferência ($\beta \approx 0.114, p < 10^{-9}$). Isso ocorre mesmo após controlar o prior da resposta, frequência do token, tokenização, estilo do prompt e escala do modelo. Os priores "vazam" através da sobreposição em proporção à sua força.

2. Localização Mecanística via Activation Patching:

   • Triplet de Origem: O activation patching identifica um triplet específico de posição-origem — (sujeito da definição, alvo da definição, palavra de consulta) — que quase totalmente recupera o efeito de conflito quando injetado de uma execução limpa para uma execução corrompida (recuperação agregada $R \in [0.92, 1.06]$). Este triplet supera qualquer par de posição-origem.
   • Binding vs. Identidade: Um controle de "troca de alvo da definição" (mantendo o sujeito e a consulta pareados, mas trocando a ativação do alvo com um item doador) faz com que a recuperação colapse. Isso confirma que o triplet realiza o binding (associando a palavra específica ao seu novo valor) em vez de uma simples correspondência de identidade.
   • Decomposição de Logit: A recuperação da margem alvo-distrator é impulsionada pela preservação do alvo, não pela supressão do distrator.
     • Sob binding correspondente, o logit do alvo é preservado enquanto o logit do distrator cai.
     • Sob binding corrompido (controles de troca ou item-desparelhado), o logit do distrator cai de forma semelhante à condição correspondente, mas o logit do alvo colapsa.
     • Isso indica que a supressão do distrator é um efeito amplo de perturbação de posição-origem, enquanto a contribuição específica do binding é a preservação do alvo contextual.

Significância e Alegações
O artigo alega uma convergência entre evidência comportamental e mecanística em um único "canal de prior lexical":

• Comportamentalmente: A força do prior lexical prediz quais itens resistem à sobreposição.
• Mecanicamente: O mesmo canal (especificamente a posição do alvo da definição dentro do triplet de origem) é onde o efeito causal do reparo da sobreposição ocorre.

Os autores argumentam que a sobreposição lexical não é uma substituição limpa, mas uma competição parcial onde o prior permanece ativo. O estudo fornece um paradigma controlado para medir essa interferência e uma explicação mecanística de como os modelos realizam o binding de novas definições a tokens existentes, distinguindo entre a supressão de priores competidores e a preservação do significado contextual pretendido.

Limitações
Os autores observam que o paradigma utiliza estímulos sintéticos de formato curto e tokens em inglês. As descobertas mecanísticas são estabelecidas em remapeamento de antônimos dentro de wrappers de regras de jogo em modelos menores (1B–2B). Permanece uma questão aberta se a estrutura de triplet-origem específica e a partição funcional entre preservação de alvo e supressão de distrator se generalizam para modelos maiores (7B+), outras famílias de conflito e contextos de documentos longos e complexos.