Vocabulary shapes cross-lingual variation of word-order learnability in language models

1. Problema e Motivação

O artigo investiga uma questão fundamental na linguística e na ciência da computação: por que algumas linguagens são computacionalmente mais difíceis de aprender do que outras? Especificamente, os autores focam na flexibilidade da ordem das palavras.

• Contexto: Línguas como o tcheco permitem uma ordem de palavras relativamente livre (devido à marcação de caso morfológica), enquanto línguas como o inglês dependem de uma ordem fixa (Sujeito-Verbo-Objeto) para determinar o significado.
• Limitações de Trabalhos Anteriores: Estudos prévios que perturbavam a ordem das palavras frequentemente o faziam em nível de subpalavras (tokenização), o que quebrava a integridade morfológica e confundia os efeitos da sintaxe com os da morfologia. Além disso, muitos estudos usavam métodos de embaralhamento descontínuos ou se limitavam a um único idioma (inglês), dificultando a comparação cruzada.
• Questão Central: A dificuldade de aprendizado (learnability) é sensível ao grau de flexibilidade da ordem das palavras? E quais fatores linguísticos (tipologia, morfologia, vocabulário) explicam as variações entre idiomas?

2. Metodologia

Os autores propõem um experimento controlado e cruzado-linguístico para isolar o efeito da ordem das palavras.

• Corpus e Idiomas: Utilizaram o corpus Europarl (discursos parlamentares europeus) selecionando 10 idiomas europeus: 5 com ordem fixa (Inglês, Sueco, Dinamarquês, Francês, Português) e 5 com ordem livre (Letão, Tcheco, Húngaro, Estoniano, Finlandês).
• Geração de Línguas Sintéticas:
  • Em vez de embaralhar subpalavras, eles realizaram o embaralhamento no nível da palavra completa para preservar a morfologia.
  • Utilizaram o Modelo de Permutação de Mallows para criar um espectro contínuo de variantes sintéticas.
  • Parâmetro $\theta$ (Ordem): Controla a regularidade da ordem das palavras.
    • $\theta \to \infty$: Ordem original.
    • $\theta > 0$: Embaralhamento local.
    • $\theta = 0$: Ordem completamente irregular (todas as permutações equiprováveis).
    • $\theta < 0$: Inversão local até a reversão completa da frase ($\theta \to -\infty$).
• Modelos de Linguagem:
  • Treinaram modelos de linguagem autoregressivos leves (baseados em PICOLM, arquitetura Transformer similar ao LLaMA) do zero para cada variante sintética.
  • Tokenização: ByteLevel-BPE, com vocabulário controlado (16.000 tokens, variado em experimentos de sensibilidade).
• Métrica de Avaliação:
  • Surpresa (Surprisal): Medida de quanto o modelo se surpreende com o próximo token dado o contexto. Um aumento na surpresa ($\Delta S$) em relação à linha de base indica menor aprendibilidade.

3. Principais Contribuições

1. Método de Perturbação Determinístico: Introdução de um método que perturba a ordem das palavras em nível de palavra inteira usando o modelo de Mallows, preservando a entropia global do texto e a integridade morfológica, permitindo comparações justas entre idiomas.
2. Desconstrução da Tipologia Binária: Demonstração de que a classificação binária simples de "ordem livre vs. ordem fixa" é insuficiente para explicar a aprendibilidade computacional.
3. Papel Central do Vocabulário: Identificação de que a estrutura do vocabulário (estatísticas de cobertura, comprimento da frase e complexidade morfológica) é um preditor muito mais forte da robustez à desordem do que a tipologia sintética tradicional.

4. Resultados Chave

• Sensibilidade à Irregularidade: A surpresa do modelo aumenta consistentemente à medida que a ordem das palavras se torna mais irregular (aproximando-se de $\theta = 0$). Isso confirma que a ordem das palavras é um fator crítico para a aprendibilidade.
• Invariância à Reversão: Surpreendentemente, a reversão completa da frase ($\theta < 0$) afeta a aprendibilidade muito pouco. Os modelos mostram pouca sensibilidade a violações de correlações tipológicas específicas causadas apenas pela inversão, sugerindo que a direção da ordem é menos crítica do que a regularidade local.
• Falha da Tipologia Binária: Não há diferença significativa no aumento da surpresa entre os grupos de "ordem livre" e "ordem fixa" quando a ordem é totalmente irregular. As línguas de ambos os grupos se sobrepõem na dificuldade de aprendizado sob perturbação extrema.
• O Fator Vocabulário:
  • Métricas baseadas na Lei de Zipf (cobertura do vocabulário) explicam a variação cruzada entre idiomas.
  • Línguas com ordem mais livre tendem a ter uma cobertura de vocabulário que aumenta mais lentamente (mais subpalavras de baixa frequência), o que as torna mais robustas a perturbações de ordem.
  • A complexidade morfológica (proxies como fertilidade e comprimento da palavra) é crucial para explicar a robustez especificamente na região de ordem irregular ($\theta \approx 0$).
• Impacto do Tamanho do Vocabulário: Ao variar o tamanho do vocabulário, observa-se que a separação entre línguas de ordem livre e fixa desaparece em tamanhos de vocabulário muito grandes, indicando que a tokenização e a eficiência de codificação modulam a aprendibilidade.

5. Significado e Conclusão

O estudo conclui que a robustez à perturbação da ordem das palavras é uma propriedade intrínseca das línguas naturais, impulsionada principalmente pela estrutura do vocabulário e não apenas pela regra sintética de ordem das palavras.

• Implicações para Modelos de Linguagem: Arquiteturas atuais (Transformers) são sensíveis à irregularidade local, mas não necessariamente à direção global (reversão). A dificuldade de aprendizado não é uniforme entre todas as línguas; depende de como a informação é distribuída no vocabulário e na morfologia.
• Avanço Teórico: O trabalho desafia a visão de que todos os idiomas são igualmente complexos ou igualmente aprendíveis por modelos. Ele sugere que métricas simples de vocabulário (como cobertura e comprimento) são melhores preditores de desempenho do que classificações tipológicas grosseiras.
• Futuro: Os autores sugerem que pesquisas futuras devem investigar como a arquitetura (codificação posicional, tokenização) interage com essas propriedades linguísticas e comparar esses resultados com o processamento humano para avaliar a plausibilidade cognitiva.

Em resumo, o artigo demonstra que a estrutura do vocabulário molda a aprendibilidade da ordem das palavras, fornecendo uma explicação mais matizada e quantitativa para as diferenças cruzadas entre idiomas do que a tipologia tradicional.