Implicit Representations of Grammaticality in Language Models

Resumo Técnico: Representações Implícitas de Gramaticalidade em Modelos de Linguagem

Declaração do Problema
Na linguagem humana, gramaticalidade (conformidade às regras sintáticas) e probabilidade (frequência estatística em textos naturais) são conceitos distintos. Uma sentença pode ser gramatical, mas altamente improvável (significado complexo), ou agramatical, mas provável (erro comum). Modelos de Linguagem (LMs) pré-treinados são sistemas probabilísticos treinados para maximizar a probabilidade do corpus. Embora se saiam bem em tarefas de pares mínimos (distinguir uma sentença gramatical de uma agramatical minimamente alterada), suas probabilidades brutas de string frequentemente falham em discriminar nitidamente entre sentenças gramaticais e agramaticais em geral, pois confundem correção sintática com plausibilidade semântica e frequência.

A questão central abordada é se os LMs, apesar de serem treinados exclusivamente na probabilidade, adquirem implicitamente uma representação distinta de gramaticalidade dentro de suas camadas ocultas que seja separável da probabilidade da string.

Metodologia
Os autores propõem uma abordagem de sondagem linear (linear probing) para investigar as representações internas dos LMs sem depender de conjuntos de dados caros de gramaticalidade anotados por humanos para treinamento.

1. Geração de Dados Sintéticos de Treinamento:

   • Fonte: 50.000 sentenças foram amostradas do Penn Treebank e do Project Gutenberg para servir como exemplos "gramaticais".
   • Perturbação: Exemplos agramaticais foram gerados aplicando três funções de ruído às sentenças originais:
     • Inserção: Inserção aleatória de 1–5 tokens do corpus.
     • Deleção: Remoção aleatória de 1–5 tokens.
     • Embaralhamento Local: Permutação aleatória de uma janela contígua de 5 tokens.
   • Validação: Um juiz LLM confirmou que 93,72% das sentenças perturbadas eram de fato agramaticais.
   • Divisão: 80% dos dados foram usados para treinamento e 20% para desenvolvimento (ajuste de hiperparâmetros).

2. Arquitetura da Sonda:

   • Um classificador de regressão logística (sonda linear) foi treinado nos estados ocultos do LM no último token de uma sentença.
   • A sonda foi treinada para prever o rótulo binário (gramatical vs. agramatical).
   • Os experimentos utilizaram regularização $\ell_2$ (padrão) e regularização $\ell_1$ (LASSO) para identificar subconjuntos esparsos de neurônios responsáveis pelo sinal.

3. Estrutura de Avaliação:

   • Modelos: Testados em modelos base de pesos abertos (OLMo-2/3, Llama-3.2/3.1, Gemma-2), excluindo variantes ajustadas por instruções para evitar confusões de alinhamento.
   • Benchmarks:
     • Gramaticalidade: BLiMP (pares mínimos), CoLA e SyntaxGym (aceitabilidade independente).
     • Cross-lingual: Seis idiomas (sueco, holandês, italiano, russo, japonês, chinês) usando transferência zero-shot.
     • Plausibilidade Semântica: Três conjuntos de dados onde ambos os membros do par mínimo são gramaticais, mas diferem na plausibilidade semântica.
   • Métricas: Precisão (ACC) para pares mínimos e Área sob a Curva ROC (AUC) para aceitabilidade independente.
   • Baselines: Comparação contra log-probabilidades de string do LM (logprobs cumulativos normalizados por comprimento).

Principais Resultados

• Superioridade sobre Probabilidades de String: Sondas treinadas no conjunto de dados sintético superaram significativamente as log-probabilidades do LM em benchmarks de gramaticalidade (BLiMP, CoLA, SyntaxGym). Isso valeu tanto para configurações de pares mínimos quanto para não pares mínimos.
• Distintividade em Relação à Probabilidade:
  • As pontuações da sonda mostraram apenas uma correlação moderada (Spearman's $\rho \approx 0,23–0,47$) com as log-probabilidades do LM, sugerindo que capturam informações distintas.
  • Adicionar log-probabilidades como um recurso extra à sonda não melhorou consistentemente o desempenho, implicando que os estados ocultos já codificam as informações de probabilidade necessárias relevantes para a gramaticalidade.
  • Inversamente, ao prever log-probabilidades a partir dos estados ocultos, a regressão ridge alcançou $R^2$ moderadamente alto ($0,51–0,73$), confirmando que informações de probabilidade estão presentes nas representações.
• Seletividade Semântica: Em benchmarks de plausibilidade semântica, a sonda de gramaticalidade performou pior do que as probabilidades de string. Isso indica que a sonda está seletivamente ajustada à aceitabilidade sintática, em vez da probabilidade semântica, desconectando efetivamente os dois conceitos.
• Generalização Cross-lingual: Uma sonda treinada exclusivamente em dados em inglês generalizou-se para idiomas tipologicamente diversos (sueco, holandês, italiano, russo, japonês, chinês), frequentemente superando as probabilidades de string nativas dos modelos.
• Localização de Neurônios: Usando LASSO, os autores descobriram que sinais de gramaticalidade podiam ser capturados por subconjuntos extremamente pequenos de neurônios (tão poucos quanto 0,01% do total, aproximadamente 10 neurônios), embora o sinal também esteja distribuído entre as camadas.

Significado e Alegações
O artigo argumenta que, embora os LMs sejam fundamentalmente sistemas estatísticos treinados na probabilidade, seu treinamento em larga escala induz uma distinção implícita de gramaticalidade dentro de suas representações ocultas.

• Desafio ao Ceticismo: Os resultados desafiam a visão (por exemplo, Katzir, 2023) de que a distinção gramaticalidade–probabilidade é "inteiramente estranha" aos LMs. Os autores sugerem que os LMs adquirem uma noção de gramaticalidade distinta das probabilidades de saída, mesmo sem supervisão linguística explícita.
• Contribuição Metodológica: O estudo demonstra que perturbações sintéticas de texto natural podem servir como um proxy robusto e escalável para treinar sondas de gramaticalidade, contornando a necessidade de pequenos e caros conjuntos de dados curados por humanos para treinamento (embora esses ainda sejam usados para avaliação).
• Implicações para a Cognição Linguística: Embora os autores se abstenham de afirmar que os LMs são modelos completos da aquisição linguística humana, eles postulam que os LMs servem como um campo de testes viável para estudar como o conhecimento sintático pode emergir da aprendizagem distribucional. As descobertas sugerem que a lacuna "competência–desempenho" observada em humanos (onde um falante conhece uma regra, mas pode cometer erros) tem um paralelo nos LMs, onde representações ocultas codificam a gramaticalidade distinta da probabilidade ruidosa das strings superficiais.

Limitações Reconhecidas pelos Autores

• Os dados sintéticos de treinamento são imperfeitos; sentenças originais podem conter erros e perturbações podem introduzir implausibilidade semântica em vez de erros sintáticos puros.
• O estudo foca em línguas naturais e não aborda línguas formais ou a dinâmica de aprendizagem de quando a gramaticalidade é adquirida durante o treinamento.
• O trabalho examina representações estáticas no checkpoint final, não a evolução dessas representações ao longo do tempo de treinamento.