What Kind of Language is Easy to Language-Model Under Curriculum Learning?

1. Declaração do Problema

O artigo aborda uma questão central na linguística computacional e na ciência cognitiva: Em que medida os vieses indutivos dos Modelos de Linguagem (LMs) alinham-se com a comumidade tipológica das línguas naturais?

Estudos anteriores (por exemplo, El-Naggar et al., 2025a,b) sugeriram que os LMs preferem naturalmente configurações de ordem de palavras comuns nas línguas humanas (por exemplo, Sujeito-Objeto-Verbo), implicando que vieses de aprendizagem podem moldar a evolução da linguagem. No entanto, esses estudos tipicamente treinaram modelos em dados ordenados aleatoriamente, o que não reflete a aquisição da linguagem humana. Humanos, particularmente crianças, frequentemente aprendem por meio de Aprendizagem em Currículo (CL) — começando com estruturas mais simples (por exemplo, frases mais curtas) e progredindo para as complexas. Os autores investigam se a introdução de um cenário de aprendizagem motivado pelo desenvolvimento (CL) altera os vieses indutivos aparentes dos LMs e se o alinhamento previamente observado com a tipologia se mantém sob essas condições.

2. Metodologia

2.1. Corpus de Língua Artificial (AL)

O estudo utiliza um corpus de 96 Línguas Artificiais geradas usando Gramática Categorial Generalizada (GCG).

• Parâmetros: Cada língua é definida por 7 parâmetros binários que controlam a ordem de palavras (por exemplo, Sujeito-Verbo, Objeto-Verbo, Cabeça-Inicial vs. Cabeça-Final).
• Geração de Dados: Frases são geradas aleatoriamente e filtradas por um analisador sintático GCG para garantir a gramaticalidade.
• Divisão do Conjunto de Dados:
  • Treinamento: 80.000 frases com comprimentos distribuídos uniformemente entre 3 e 8 palavras.
  • Avaliação:
    • Teste Curto: Comprimento 3–8 (dentro da distribuição).
    • Teste Médio: Comprimento 9–10 (generalização fora da distribuição).
    • Teste Longo: Comprimento 11–20 (extensão baseada em heurísticas).
    • Testes Direcionados: Orações relativas recursivas e embutidas, além de julgamentos de gramaticalidade (casos e tipos de verbos).

2.2. Configurações Experimentais

Os autores comparam dois regimes de treinamento em três arquiteturas de modelo (RNN, LSTM, Transformer):

1. Configuração Original (Linha de Base): Os dados de treinamento são apresentados em uma ordem aleatória.
2. Configuração de Aprendizagem em Currículo (CL): Os dados de treinamento são apresentados com base no comprimento da frase.
   • Estágios: Seis estágios correspondentes aos comprimentos de frase 3, 4, 5, 6, 7 e 8.
   • Progressão: Os modelos treinam sequencialmente, começando com o comprimento 3 e avançando para o comprimento 8.
   • Mecanismo de Replay: Para evitar o esquecimento catastrófico, 5% dos dados dos estágios anteriores são injetados no estágio atual (por exemplo, o Estágio 3 contém 5% de comprimento 3, 5% de comprimento 4 e 90% de comprimento 5).
   • Volume Total: O número total de tokens de treinamento é mantido idêntico à linha de base (80K) para garantir uma comparação justa.

2.3. Métricas de Avaliação

• Perplexidade (PPL): PPL mais baixa indica melhor modelagem de uma ordem de palavras específica.
• Alinhamento Tipológico (TA): Calculado como o coeficiente de correlação de Pearson entre a PPL média do modelo e a frequência real desse ordem de palavras.
  • TA Negativa: Indica que o modelo prefere ordens de palavras comuns (melhor alinhamento).
  • TA Positiva: Indica que o modelo prefere ordens de palavras raras.
• Generalização: Desempenho nos conjuntos de teste Médio/Longo e em estruturas sintáticas direcionadas.

3. Contribuições Principais

• Integração de CL em Estudos Tipológicos: Este é o primeiro estudo a examinar sistematicamente como um cenário de aprendizagem motivado pelo desenvolvimento (CL) interage com os vieses indutivos dos LMs em relação à tipologia de ordem de palavras.
• Reavaliação do Viés Indutivo: O estudo desafia a robustez de descobertas anteriores de que os LMs se alinham inerentemente com a comumidade tipológica, mostrando que esse alinhamento é altamente sensível à ordem de apresentação dos dados.
• Interações Específicas de Arquitetura: O artigo demonstra que o impacto do CL não é uniforme; ele interage de forma sutil e diferente com as arquiteturas RNN, LSTM e Transformer.

4. Resultados Principais

4.1. Impacto nas Preferências de Ordem de Palavras

• Mudança no Viés: A introdução do CL altera significativamente as preferências de ordem de palavras dos LMs. A correlação entre os vetores de PPL de modelos treinados com e sem CL é geralmente baixa (frequentemente próxima de zero), indicando que o cenário de aprendizagem muda fundamentalmente o viés indutivo do modelo.
• Generalização vs. Overfitting:
  • Modelos treinados com CL apresentaram pior PPL nos conjuntos de teste Curto (dentro da distribuição) em comparação com a linha de base, sugerindo menos overfitting em frases curtas.
  • Por outro lado, os modelos CL apresentaram PPL comparável ou melhor nos conjuntos de teste Médio e Longo, indicando melhoria na generalização de comprimento.

4.2. Alinhamento Tipológico (TA)

• Alinhamento Degradado: Contrariamente à hipótese de que o CL poderia simular melhor a aprendizagem humana e, assim, melhorar o alinhamento, os resultados mostram que o CL geralmente piora o Alinhamento Tipológico.
  • Nos conjuntos de teste Curto e Médio, as pontuações de TA tornaram-se significativamente menos negativas (ou até positivas) para RNNs e LSTMs, o que significa que os modelos tornaram-se menos alinhados com as frequências tipológicas do mundo real.
  • Exceção: No conjunto de teste Longo, a TA permaneceu significativamente negativa, sugerindo que a comumidade tipológica ainda auxilia na generalização para frases muito longas, independentemente do currículo.
• Diferenças de Arquitetura:
  • Transformers: Apresentaram alinhamento relativamente estável, mas ligeiramente degradado.
  • LSTMs/RNNs: Apresentaram mudanças drásticas; por exemplo, as pontuações de TA do LSTM inverteram de negativas (alinhadas) na linha de base para positivas (desalinhadas) na configuração CL no conjunto de teste Curto.

4.3. Avaliações Direcionadas

• Generalização Sintática: Em testes envolvendo orações relativas recursivas e embutidas, os modelos CL geralmente mantiveram a classificação relativa das ordens de palavras, mas exibiram PPLs mais altas no geral.
• Julgamentos de Gramaticalidade: O CL consistentemente reduziu a precisão em julgamentos de gramaticalidade de tipo de caso e tipo de verbo. A correlação entre precisão e comumidade tipológica também enfraqueceu ou tornou-se não significativa para alguns modelos.

5. Significado e Discussão

• Revisão dos Vieses de Aprendizagem: As descobertas sugerem que o "viés indutivo" de um LM não é uma propriedade fixa apenas da arquitetura, mas é co-determinado pelo cenário de aprendizagem. A ordem de apresentação dos dados é um fator crítico na moldagem do que um modelo considera "fácil" de aprender.
• Desafiando a Hipótese "O Viés Molda a Linguagem": Se o CL baseado em comprimento for um proxy válido para a aquisição humana, o estudo implica que estudos anteriores sem CL podem ter superestimado o alinhamento entre os vieses dos LMs e os padrões tipológicos. Isso apoia hipóteses alternativas de que o design da linguagem é impulsionado por fatores externos (acidentes históricos, geografia) e não apenas por vieses do aprendiz.
• Limitações do CL Simples: Os autores argumentam que um currículo baseado apenas em comprimento pode ser muito simplificado para capturar a complexidade da aquisição da linguagem humana. O alinhamento mais fraco sob CL sugere que estratégias de CL mais sofisticadas (por exemplo, baseadas na complexidade de construções ou no crescimento da memória de trabalho) são necessárias para simular com precisão os vieses de aprendizagem humana.
• Direções Futuras: O artigo pede a exploração de estratégias de currículo mais complexas e a reavaliação das métricas usadas para medir o alinhamento tipológico, a fim de melhor fechar a lacuna entre a modelagem de linguagem e a ciência da linguagem humana.

Conclusão

O artigo conclui que a Aprendizagem em Currículo impacta substancialmente o viés indutivo aparente dos Modelos de Linguagem. Embora o CL melhore a generalização para frases mais longas, ele perturba o alinhamento entre as preferências do modelo e as frequências tipológicas do mundo real observadas no treinamento com ordem aleatória. Isso destaca a necessidade de alinhar os cenários de treinamento de LMs com padrões de desenvolvimento humano para tirar conclusões válidas sobre as origens dos universais linguísticos.