Do Language Models Encode Knowledge of Linguistic Constraint Violations?

Resumo Técnico: Os Modelos de Linguagem Codificam Conhecimento sobre Violações de Restrições Linguísticas?

Declaração do Problema
Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem forte desempenho em benchmarks linguísticos e generalizem regularidades gramaticais a partir de texto bruto, os mecanismos internos que lhes permitem distinguir sentenças bem formadas de mal formadas permanecem pouco claros. Especificamente, é uma questão em aberto se os LLMs, particularmente arquiteturas baseadas em Transformer, codificam "recursos detectores" específicos que se ativam ao encontrar violações gramaticais para penalizar a verossimilhança logarítmica de uma sentença. Este estudo investiga a hipótese de que os LLMs possuem representações latentes de violações de restrições linguísticas (denotadas como a variável $G$ no quadro de Hu et al., 2026) que são seletivamente ativadas durante o processamento de entradas não gramaticais.

Metodologia
O estudo emprega uma abordagem de interpretabilidade mecânica utilizando Autoencoders Esparsos (SAEs) para decompor as ativações polissêmicas dos LLMs em recursos esparsos e monossêmicos.

• Conjunto de Dados: Os autores utilizam o benchmark BLiMP (Warstadt et al., 2020), que fornece 13 fenômenos linguísticos. Cada fenômeno consiste em pares mínimos onde uma sentença bem formada ($x_{good}$) e uma sentença mal formada ($x_{bad}$) diferem exatamente por uma palavra. Este desenho mantém a mensagem semântica ($m$) constante enquanto varia a restrição gramatical ($G$).
• Modelos: Os experimentos foram conduzidos em seis modelos de três famílias: GPT-2 (pequeno), Gemma-3 (270M, 1B, 4B) e Qwen3.5 (2B, 9B).
• Decomposição de Recursos: SAEs pré-treinados (de SAELens, Qwen Scope e Gemma Scope 2) foram aplicados aos fluxos residuais em camadas específicas (25%, 50%, 65% e 85% da profundidade do modelo).
• Pontuação de Sensibilidade ($\Phi$): Foi introduzida uma pontuação de sensibilidade para classificar recursos SAE com base em sua ativação preferencial em entradas que violam restrições versus entradas bem formadas. Recursos com altas pontuações positivas de $\Phi$ foram selecionados como detectores de violação candidatos.
• Quadro de Falsificação Conjunta: Para validar se um recurso candidato codifica verdadeiramente um detector de violação, o estudo propõe três critérios avaliados conjuntamente via ablação direcionada de recursos:
  1. F1 (Efeito Causal em Violações): A ablação dos recursos candidatos deve aumentar significativamente a verossimilhança logarítmica de sentenças não gramaticais em comparação com um controle aleatório.
  2. F2 (Estabilidade de Não Violações): A ablação não deve degradar significativamente a verossimilhança logarítmica de sentenças bem formadas (limiar de estabilidade $|\bar{M}_{good}| < 0.05$).
  3. F3 (Efeito Preferencial): A mudança na margem de preferência (boa vs. ruim) causada pela ablação deve ser estritamente positiva e significativamente maior do que a de um controle aleatório, garantindo que o efeito seja seletivo a violações.

Principais Contribuições

1. Pontuação de Sensibilidade ($\Phi$): Uma métrica não supervisionada para identificar recursos ativados preferencialmente por entradas que violam restrições, permitindo a seleção direcionada de recursos de violação candidatos sem supervisão rotulada.
2. Quadro de Falsificação Conjunta: Um teste rigoroso de três critérios (F1, F2, F3) projetado para distinguir detectores verdadeiramente específicos de violação de recursos que meramente correlacionam com fluência geral ou verossimilhança de sentença.
3. Análise Empírica: Uma avaliação abrangente em 13 fenômenos linguísticos e seis modelos, revelando que, embora os modelos contenham informações relacionadas a violações, essas informações não são limpa e separavelmente divididas em detectores unificados e seletivos sob o atual quadro de intervenção.

Resultados
Os resultados empíricos são amplamente negativos em relação à hipótese de detectores de violação unificados e seletivos:

• Desempenho F1: O critério de efeito causal (F1) passou amplamente entre modelos e fenômenos. Recursos de alto-$\Phi$ estão correlacionados com entradas que violam restrições, pois sua remoção aumenta a probabilidade de sentenças não gramaticais.
• Falhas em F2 e F3: Os critérios de estabilidade (F2) e efeito preferencial (F3) falharam na maioria dos casos. Recursos identificados como sensíveis a violações frequentemente afetam causalmente também sentenças bem formadas (violando F2) ou afetam sentenças gramaticais e não gramaticais com magnitude comparável (violando F3).
• Satisfação Conjunta: O critério conjunto (F1 $\cap$ F2 $\cap$ F3) foi satisfeito por apenas um fenômeno (Formas irregulares no GPT-2) em todos os modelos.
• Emaranhamento de Recursos: Os resultados sugerem que recursos relacionados a violações não estão isolados. Em vez disso, eles parecem codificar informações de fluência geral ou estão emaranhados com recursos que representam a mensagem geral ($m$), tornando difícil isolar uma variável "gramaticalidade" pura $G$ via ablação.

Significado e Alegações
O artigo conclui que os LLMs atuais não parecem codificar um conjunto unificado de detectores de violação gramatical que sejam seletivamente ativados e causalmente distintos das representações gerais de sentença. Embora os modelos possuam informações relevantes para violações gramaticais, essas informações não são limpa e separavelmente distintas de representações mais amplias ao nível da sentença sob o atual quadro de intervenção.

Os autores hipotetizam que os resultados negativos podem decorrer de:

1. A pontuação de sensibilidade falhar em descobrir recursos que satisfaçam F2 e F3.
2. SAEs falharem em recuperar recursos correspondentes a F2 e F3, que podem ser absorvidos por outros recursos.
3. Os recursos relevantes estarem distribuídos por múltiplas camadas em vez de localizados em uma única camada.

O estudo não alega refutar a existência de representações gramaticais inteiramente, mas sim destaca as limitações das ferramentas atuais de interpretabilidade mecânica (especificamente SAEs e ablação) em isolar essas variáveis latentes específicas. O trabalho é modesto em suas alegações, observando que a principal descoberta é negativa e que quadros alternativos visando o espanto ou anomalias semânticas podem oferecer perspectivas complementares.