Differences in Typological Alignment in Language Models' Treatment of Differential Argument Marking

Resumo Técnico: Diferenças no Alinhamento Tipológico no Tratamento da Marcação Diferencial de Argumentos por Modelos de Linguagem

Declaração do Problema
Pesquisas recentes indicam que modelos de linguagem (MLs) treinados em corpora sintéticos podem exibir preferências tipológicas que assemelham-se a regularidades interlinguísticas, particularmente em domínios estruturais como a ordem das palavras. No entanto, permanece incerto se essas tendências se estendem a sistemas onde a correção gramatical depende de fatores semânticos em vez de configurações puramente estruturais. Este artigo investiga essa lacuna utilizando a Marcação Diferencial de Argumentos (MDA), um fenômeno linguístico no qual argumentos recebem marcação morfológica com base em propriedades semânticas, como animacidade, definitude e pronominalidade. Especificamente, os autores questionam se MLs treinados com objetivos padrão de previsão do próximo token desenvolvem vieses tipológicos na MDA que se alinham com línguas humanas e, em caso afirmativo, se esses vieses derivam das mesmas fontes subjacentes que as tendências tipológicas humanas.

Metodologia
Os autores empregam um paradigma controlado de corpus sintético utilizando modelos GPT-2-small treinados a partir do zero.

• Construção do Corpus: Começando com um subconjunto do corpus OpenSubtitles (inglês), os autores extraem aproximadamente 21 milhões de cláusulas SVO. Eles anotam argumentos quanto a propriedades semânticas (animacidade, definitude, pronominalidade) usando classificadores baseados em BERT.
• Injeção de Regras: Eles constroem 18 corpora sintéticos distintos injetando regras de MDA no texto em inglês. Essas regras são parametrizadas ao longo de quatro dimensões:
  1. Gatilho Semântico: Animacidade, Definitude ou Pronominalidade.
  2. Complexidade de Dependência: Local (a marcação depende da propriedade de um único argumento) vs. Global (a marcação depende da prominência relativa do sujeito e do objeto).
  3. Direção de Marcabilidade: Natural (a marcação visa argumentos semanticamente atípicos/menos frequentes) vs. Inversa (a marcação visa argumentos típicos).
  4. Alvo do Argumento: Alvo no Objeto (marcando o paciente) vs. Alvo no Sujeito (marcando o agente).
• Avaliação: Os modelos são avaliados quanto ao domínio da regra usando pares mínimos. Para cada condição, são gerados 1.000 pares de sentenças retidos, onde uma sentença segue a regra de MDA injetada e a outra a viola. O desempenho é medido pela proporção de vezes em que o modelo atribui uma menor verossimilhança negativa (NLL) à sentença gramatical.
• Análises Auxiliares: O estudo inclui testes de precisão na colocação de marcadores, sondagem semântica (para garantir que informações semânticas não sejam perdidas) e tarefas diagnósticas BLiMP (para garantir que a injeção de MDA não degrade a aprendizagem gramatical geral).

Principais Resultados
Os experimentos revelam uma dissociação entre duas dimensões tipológicas principais da MDA:

1. Direção de Marcabilidade (Alinhamento Forte): Os modelos reproduzem de forma confiável a preferência tipológica humana por marcabilidade natural. Em todos os gatilhos semânticos e tipos de dependência, os modelos aprendem regras naturais (onde a marcação overt visa argumentos atípicos) significativamente melhor do que regras inversas.

   • Precisão média ótima para regras Naturais: ~85%.
   • Precisão média ótima para regras Inversas: ~68%.
   • Essa vantagem persiste mesmo ao controlar a frequência de entrada, sugerindo que é impulsionada por dinâmicas de aprendibilidade e não meramente pela exposição.

2. Preferência de Argumento (Alinhamento Fraco/Nenhum): Os modelos não reproduzem a forte preferência tipológica humana por sistemas alvo no objeto. Embora regras alvo no objeto tenham mostrado uma ligeira vantagem média sobre regras alvo no sujeito (~79% vs. ~74%), essa diferença é substancialmente menor que o efeito de marcabilidade e estatisticamente menos significativa.

   • Regras locais foram aprendidas com mais sucesso do que regras globais (~77% vs. ~59%), refletindo um viés em direção à localidade da informação.
   • A lacuna de desempenho entre variantes naturais e inversas foi menor para regras alvo no objeto do que para regras alvo no sujeito, sugerindo que os modelos codificam propriedades semânticas do sujeito de forma mais robusta.

3. Achados Auxiliares:

   • Colocação do Marcador: Os modelos alcançaram precisão próxima ao teto na colocação correta dos marcadores, indicando que falhas no domínio da regra não se devem à incapacidade de localizar o marcador na cadeia.
   • Sondagem Semântica: Sondas lineares confirmaram que os modelos retêm informações semânticas (animacidade, definitude, pronominalidade) tanto para sujeitos quanto para objetos, excluindo a degradação semântica como causa para diferenças de desempenho.
   • BLiMP: A injeção de MDA não prejudicou significativamente a capacidade dos modelos de aprender outros fenômenos gramaticais.

Significado e Afirmativas
O artigo argumenta que a dissociação observada fornece evidências sobre as fontes distintas de assimetrias tipológicas:

• Marcabilidade como Aprendibilidade: O forte alinhamento com a marcabilidade natural sugere que essa tendência tipológica pode emergir de regularidades distribucionais e aprendibilidade formal. Sistemas de marcabilidade natural reduzem a incerteza de previsão (surpresa) ao fornecer sinais locais explícitos para configurações menos frequentes, alinhando-se com os vieses indutivos de modelos autoregressivos otimizados para previsão do próximo token.
• Preferência de Argumento como Impulsionada pelo Discurso: A falta de uma forte preferência por objetos nos modelos sugere que essa assimetria tipológica depende de fatores não capturados pelo treinamento padrão de próximo token, como estrutura discursiva, prominência temática e pressões comunicativas (por exemplo, a tendência de objetos assumirem papéis discursivos atípicos como a topicalidade).
• Conclusão: Tendências tipológicas distintas refletem pressões subjacentes diferentes. Algumas, como a direção da marcabilidade, são acessíveis aos MLs por meio de aprendizagem estatística local, enquanto outras, como a preferência de argumento, provavelmente requerem pressões interacionais ou diacrônicas que objetivos de treinamento padrão não simulam.

Limitações
Os autores observam várias restrições: o uso de uma única arquitetura pequena (GPT-2-small), a dependência do inglês (uma língua SVO onde a marcação de caso é menos crítica do que em línguas de ordem flexível) e a operacionalização simplificada dos gatilhos de MDA (tratando-os como características binárias independentes em vez de propriedades interagentes sensíveis ao discurso). Além disso, a frequência de instâncias marcadas versus não marcadas não foi totalmente controlada experimentalmente, embora os autores argumentem que a frequência sozinha não explica as assimetrias observadas.