The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

Resumo Técnico: A Concorrência de Frequência no Surprisal de Modelos de Linguagem e na Novidade de Metáforas

Declaração do Problema
O surprisal de modelos de linguagem (LM) é frequentemente utilizado como um proxy para a previsibilidade contextual e foi relatado como correlacionado com julgamentos humanos de novidade de metáforas. Estudos recentes sugerem um "efeito de escala inversa", onde LMs menores ou modelos em estágios iniciais de treinamento exibem correlações mais fortes entre o surprisal e dados comportamentais humanos (como tempos de leitura ou classificações de novidade) do que modelos maiores e totalmente treinados. No entanto, um fator de confusão crítico permanece pouco claro: a interdependência estreita entre o surprisal e a frequência lexical. É incerto se as correlações observadas refletem uma previsibilidade contextual genuína ou são meramente artefatos da frequência lexical, que é conhecida por influenciar fortemente tanto a dificuldade de processamento quanto os julgamentos de novidade. Este artigo investiga se as configurações "ótimas" de surprisal (modelos pequenos, treinamento inicial) capturam genuinamente a previsão contextual semelhante à humana ou se simplesmente se alinham mais estreitamente com a frequência lexical.

Metodologia
Os autores conduziram uma análise abrangente utilizando o Corpus de Metáforas da Universidade VU de Amsterdã (VUAMC), que contém 15.155 palavras de conteúdo metafóricas com classificações humanas de novidade associadas (escalonadas de -1 para convencionais a +1 para novas).

• Conjunto de Modelos: O estudo utilizou a família de modelos Pythia (Biderman et al., 2023), compreendendo oito tamanhos de modelo variando de 70M a 12B de parâmetros. Todos os modelos foram treinados no mesmo corpus de 300B de tokens (The Pile).
• Dinâmicas de Treinamento: Para analisar o progresso do pré-treinamento, os autores examinaram 154 checkpoints intermediários para o modelo Pythia-70M, capturando a evolução do modelo desde o treinamento inicial (1 passo) até o pré-treinamento completo (300B de tokens).
• Métricas:
  • Surprisal: Calculado como $-\log p(w_i | w_{<i})$ para palavras metafóricas-alvo dentro de seu contexto de frase, com correções para tokenização e espaços em branco iniciais.
  • Frequência Lexical: Duas medidas distintas foram empregadas para estimar a frequência de palavras:
    1. NLF-Humano: Logaritmo negativo da frequência derivado do wordfreq, representando um agregado do uso geral da linguagem (aproximando um "falante médio de inglês").
    2. NLF-LM: Logaritmo negativo da frequência calculado especificamente a partir das sequências de subtokens observados nos dados de pré-treinamento do Pythia até cada checkpoint específico.
• Análise: O estudo quantificou associações usando os coeficientes de correlação de Spearman ($\rho$) e Pearson ($r$), bem como a Área sob a Curva ROC (AUC) para classificar metáforas novas. A análise focou nas relações entre: (1) Surprisal e Novidade, (2) Frequência e Novidade, e (3) Surprisal e Frequência.

Principais Resultados

1. Frequência como Preditor Mais Forte: Em todos os tamanhos de modelo e estágios de treinamento, a frequência lexical (tanto NLF-Humano quanto NLF-LM) demonstrou consistentemente uma associação mais forte com as classificações de novidade de metáforas do que o surprisal do LM. O NLF-Humano produziu as correlações mais altas ($\rho \approx 0,66$, AUC $\approx 0,90$).
2. Escala Inversa e Dinâmicas de Treinamento:
   • Escala do Modelo: A correlação entre o surprisal e a novidade diminuiu à medida que o tamanho do modelo aumentava. Modelos menores (70M) mostraram a associação surprisal–novidade mais forte.
   • Progresso do Treinamento: Para o Pythia-70M, a associação surprisal–novidade foi fraca inicialmente, subiu abruptamente após 64 passos de treinamento e atingiu o pico em 128 passos (aproximadamente 268M de tokens vistos), alcançando $\rho \approx 0,62$. Além desse pico, a associação declinou.
3. A Concorrência de Frequência: Crucialmente, as tendências na associação surprisal–novidade espelharam as tendências na associação surprisal–frequência.
   • No estágio inicial de treinamento (128 passos) onde o surprisal correlacionou-se mais fortemente com a novidade, ele também correlacionou-se mais fortemente com a frequência ($\rho \approx 0,95$ com NLF-LM).
   • À medida que os modelos cresciam ou o treinamento avançava, a correlação entre o surprisal e a frequência enfraquecia, paralelamente ao declínio na correlação surprisal–novidade.
4. Alinhamento: As configurações onde o surprisal performou "melhor" (modelos pequenos, treinamento inicial) foram precisamente aquelas onde o surprisal estava mais estreitamente alinhado com a frequência lexical.

Significado e Alegações
O artigo argumenta que as configurações ótimas frequentemente relatadas para o surprisal de LM (modelos pequenos ou estágios iniciais de treinamento) podem não fornecer evidências diretas para explicações baseadas em surprisal da novidade de metáforas ou da dificuldade de processamento. Em vez disso, as fortes correlações observadas nessas configurações provavelmente refletem a dependência do modelo na frequência lexical, e não na previsibilidade contextual genuína.

Os autores concluem que:

• A frequência lexical é um fator subjacente majoritário nos julgamentos de novidade de metáforas, frequentemente atuando como um preditor mais forte do que o surprisal contextual.
• O "efeito de escala inversa" observado nas correlações surprisal–novidade pode ser um subproduto da relação em mudança entre o surprisal e a frequência através das escalas de modelo e estágios de treinamento.
• Pesquisadores devem exercer cautela ao interpretar fortes associações surprisal–novidade de treinamento inicial ou de modelos pequenos como suporte direto para teorias de dificuldade de processamento baseadas na previsibilidade contextual.
• O progresso futuro neste campo requer uma separação teórica e metodológica mais clara entre a previsibilidade contextual e os efeitos da frequência lexical.

O artigo não afirma que modelos maiores produzem estimativas "ruins" de previsibilidade, mas sim que as condições específicas sob as quais o surprisal se alinha com as classificações humanas de novidade são confundidas pela frequência. Os autores apelam para o desenvolvimento adicional de classificações humanas que reflitam melhor teorias de novidade e originalidade, distintas de efeitos simples de frequência.