The Holistic Storage of Verb+Up Phrases in Text-based and Audio-based Language Models

Resumo Técnico: O Armazenamento Holístico de Expressões Verbo+Up em Modelos de Linguagem Baseados em Texto e Áudio

Problema
Um debate central na linguística diz respeito ao compromisso entre computação (aplicação de regras abstratas para gerar representações novas) e armazenamento (recuperação de representações holísticas da memória). Embora o processamento da linguagem humana utilize claramente ambos, os fatores que determinam quando uma forma é armazenada versus computada permanecem pouco compreendidos. Teorias baseadas no uso sugerem que unidades multipalavras de alta frequência e alta previsibilidade são armazenadas de forma holística, um fenômeno evidenciado na psicolinguística humana (por exemplo, detecção mais lenta de partículas em verbos frasais de alta frequência). No entanto, não está claro se os Grandes Modelos de Linguagem (LLMs) e os modelos de Reconhecimento Automático de Fala (ASR) desenvolvem representações holísticas análogas. Especificamente, esses modelos dependem da memorização para frases frequentes e esse mecanismo de armazenamento emerge através de diferentes modalidades (texto vs. áudio) e escalas de modelos?

Metodologia
O estudo investiga representações internas em três modelos baseados em texto e um modelo baseado em áudio para testar o armazenamento holístico de expressões Verbo+up (V+up).

1. Modelos Examinados:
   • LLMs baseados em texto: Três modelos autorregressivos treinados no corpus BabyLM v3 (150M de tokens, comparável à exposição humana) com 125M, 350M e 1,3B de parâmetros, além de um modelo maior de 7B de parâmetros (OLMo-3 7B) treinado no Dolma v1.7.
   • Modelo baseado em áudio: Whisper-small, um modelo ASR encoder-decoder treinado em áudio falado.
2. Design Experimental:
   • Abordagem de Classificador: Classificadores de regressão logística foram treinados para distinguir o embedding do token up quando ele aparece como uma preposição isolada de outros tokens na mesma sentença.
   • Teste: Esses classificadores foram aplicados a frases V+up (ex: pick up) variando em frequência (contagem bruta no corpus) e previsibilidade (log-odds de up seguindo um verbo específico).
   • Métrica: O escore de logit do classificador indica a similaridade com a representação do up isolado. Um escore de logit mais baixo implica que a representação de up dentro da frase divergiu da forma isolada, sugerindo armazenamento holístico.
   • Experimentos:
     • Experimento 1: Testou up apenas como preposição.
     • Experimento 2: Testou up como uma unidade de subpalavra (incluindo instâncias incorporadas em palavras como update) para descartar o branqueamento semântico como a única causa da divergência.
     • Experimento 3: Aplicou a mesma metodologia ao Whisper-small usando segmentos de áudio falado, extraindo representações tanto do encoder quanto do decoder.
3. Análise: Regressão de efeitos mistos Bayesianos e Modelos Aditivos Generalizados (GAMs) foram usados para analisar os escores de logit através de frequência, previsibilidade e camadas ocultas.

Principais Contribuições

• Modelos de Código Aberto: Os autores treinaram e lançaram três modelos autorregressivos no corpus BabyLM v3, com checkpoints a cada 20M de tokens, para facilitar a pesquisa sobre aprendizagem de linguagem em escala humana.
• Evidência Cross-Modal: O estudo estabelece que o armazenamento frasal holístico emerge tanto em LLMs baseados em texto quanto em modelos ASR, demonstrando que representações impulsionadas por frequência e previsibilidade surgem através de modalidades.
• Escala e Capacidade: A pesquisa desmembra os efeitos do tamanho do modelo, mostrando que, embora os efeitos de frequência sejam robustos em todos os tamanhos, a sensibilidade à previsibilidade fortalece-se com a escala, sugerindo que capturar estatísticas de coocorrência além da frequência bruta requer maior capacidade representacional.

Resultos

• Armazenamento Holístico: Todos os modelos mostraram evidência de armazenamento holístico. Frases V+up de alta frequência e alta previsibilidade resultaram em escores de logit do classificador significativamente menores, indicando que a representação de up nesses contextos diverge do token isolado.
• Frequência vs. Previsibilidade:
  • Frequência: Efeitos negativos fortes e consistentes foram observados em todos os modelos e tamanhos.
  • Previsibilidade: Os efeitos foram mais fracos em modelos menores (BabyLMs), mas tornaram-se progressivamente mais fortes e negativos no modelo maior (OLMo-3 7B). Isso sugere que a sensibilidade à previsibilidade requer maior capacidade de modelo.
• Dinâmica de Camadas: Nos modelos maiores, a divergência nas representações (armazenamento holístico) apareceu em camadas ocultas iniciais. Nos modelos menores, esse efeito emergiu apenas em camadas posteriores.
• Modalidade de Áudio: O Whisper-small exibiu padrões semelhantes tanto em seu encoder quanto em seu decoder. Frases de alta frequência e alta previsibilidade mostraram escores de logit mais baixos, espelhando os resultados baseados em texto. O comportamento do encoder sugere que ele abstrai a variabilidade acústica para formar representações semelhantes às dos modelos baseados em texto.
• Robustez de Subpalavra: O Experimento 2 confirmou que esses efeitos persistem mesmo quando up é tratado como uma unidade de subpalavra, descartando o branqueamento semântico como a única explicação para a divergência.

Significância e Alegações
O artigo argumenta que essas descobertas apoiam as teorias de linguagem baseadas no uso, que postulam que o armazenamento holístico é um fenômeno de gradiente impulsionado por frequência e previsibilidade, em vez de uma distinção binária entre itens armazenados e regras computadas.

• Aprendizagem em Escala Humana: A emergência do armazenamento holístico em modelos treinados em quantidades de dados comparáveis à exposição humana (BabyLMs) sugere que tal armazenamento é uma consequência natural do aprendizado a partir de padrões distributivos, não um resultado de memorização em escala massiva.
• Continuum de Representação: Os resultados por camada sugerem que o armazenamento holístico é melhor compreendido como um espectro. As representações podem permanecer composicionais em camadas inferiores e tornar-se cada vez mais holísticas em camadas superiores, com modelos maiores exibindo essa divergência mais cedo.
• Utilidade do Transformer: O estudo posiciona as arquiteturas transformer como frameworks produtivos para investigar a mecânica dos padrões de armazenamento semelhantes aos humanos, oferecendo um nível de detalhe mecanístico (representações internas) que os dados comportamentais sozinhos não podem fornecer.

Os autores mantêm modéstia em relação às limitações, observando que o estudo é restrito ao inglês e à construção V+up, e que pesquisas futuras são necessárias para examinar a emergência do armazenamento como uma função da dinâmica de treinamento, em vez de apenas checkpoints finais.