A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs

Título: Uma Framework de Avaliação Tipologicamente Fundamentada para Sensibilidade à Ordem das Palavras e Morfologia em Modelos de Linguagem Mascaramento Multilíngues

1. Problema e Motivação

Modelos de linguagem transformadores multilíngues, como o mBERT e o XLM-R, demonstram alto desempenho em tarefas cruzadas. No entanto, permanece incerto quais pistas linguísticas realmente impulsionam suas previsões.

• O Dilema: Línguas diferem drasticamente na forma como codificam relações gramaticais. Línguas de ordem fixa (ex: Inglês, Chinês) dependem estritamente da sequência linear, enquanto línguas com morfologia rica ou ordem livre (ex: Russo, Alemão, Espanhol) utilizam marcação de caso e flexão para permitir maior flexibilidade.
• O Risco: Se os modelos multilíngues dependerem excessivamente da ordem linear, eles podem apresentar um viés centrado no inglês, falhando em línguas morfologicamente ricas ou com ordem livre. Se explorarem a morfologia, deveriam ser mais resilientes a perturbações na ordem das palavras.
• Objetivo: Desenvolver um diagnóstico para quantificar a sensibilidade relativa e a não aditividade dessas pistas (ordem vs. morfologia) em diferentes línguas, sem necessariamente declarar uma "vencedora", mas sim expor onde os modelos são frágeis.

2. Metodologia

Os autores propõem uma framework de avaliação que aplica perturbações controladas no momento da inferência (inference-time perturbations) em modelos pré-treinados (sem fine-tuning).

Modelos e Dados

• Modelos: mBERT (110M parâmetros) e XLM-R (270M parâmetros).
• Línguas: Cinco línguas tipologicamente diversas: Inglês, Chinês, Alemão, Espanhol e Russo (com resultados adicionais para Turco no apêndice).
• Corpus: Treebanks de Universal Dependencies (UD).

Protocolo de Perturbação

O masking é aplicado antes de qualquer transformação para garantir que o mesmo token alvo seja avaliado em todas as condições. As perturbações incluem:

1. Scrambling (Embaralhamento) de Ordem:
   • Full: Permutação aleatória de todos os tokens de palavras (teste de estresse máximo).
   • Part: Permutação apenas de palavras de conteúdo (substantivos, verbos, adjetivos), mantendo palavras funcionais fixas.
   • Head: Troca de cada "cabeça" (head) sintática com um de seus dependentes, baseada em árvores UD, mantendo o resto fixo.
2. Substituição de Lemma (+L):
   • Substituição de todos os tokens na sentença (contexto e alvo) pelo seu lemma (forma canônica) do UD. Isso remove a informação de flexão superficial, testando se o modelo consegue inferir a estrutura apenas com a forma base.

Métricas de Avaliação

• Acurácia de Reconstrução (Top-1): Precisão exata na reconstrução da palavra mascarada.
• Acurácia Top-5: Verifica se a palavra dourada (gold) aparece entre os 5 melhores candidatos, capturando conhecimento parcial.
• Métricas Derivadas:
  • Sensibilidade ($S$): Medida da perda relativa de acurácia em relação à linha de base (Orig).
  • Interação ($I$): Mede a não aditividade dos efeitos. Se $I > 0$, o dano combinado é menor que a soma dos danos individuais (sugere pistas sobrepostas/redundantes). Se $I < 0$, há sinergia (dano supra-aditivo).

3. Principais Contribuições

1. Framework Tipologicamente Fundamentada: A primeira avaliação sistemática que combina manipulações de ordem estruturada (incluindo dependências sintáticas) com normalização de lema em múltiplas línguas.
2. Protocolo de Avaliação Rigoroso: Uso de seeds fixos para garantir que as mesmas sentenças e alvos sejam usados entre modelos e condições, permitindo comparações justas.
3. Análise de Não Aditividade: Introdução de uma métrica de interação para entender se a ordem e a morfologia atuam como pistas complementares ou redundantes.
4. Recursos Abertos: Liberação de scripts de perturbação, listas de sentenças balanceadas e dados brutos para reprodutibilidade.

4. Resultados Chave

Dominância da Ordem das Palavras

• Colapso Total: O embaralhamento completo (Full) reduz a acurácia de reconstrução de palavras para quase zero em todas as línguas e modelos.
• Impacto Parcial: Perturbações parciais (Part e Head) causam quedas significativas, embora menores que o Full.
• Top-5: Mesmo permitindo 5 candidatos, o embaralhamento completo remove a palavra correta da lista de topo na maioria dos casos, indicando que o modelo não apenas perde a precisão, mas perde a confiança na estrutura.

Efeitos da Morfologia e do Lema (+L)

• Sem Compensação: A substituição de lemas (+L) nunca compensa a perda de ordem. Em línguas como Alemão, Espanhol e Russo, o uso de +L reduz ainda mais a acurácia (pois remove pistas de flexão que poderiam ajudar).
• Caso do Chinês: No Chinês, o +L tem efeito quase nulo (quase identidade), pois a forma superficial é muito próxima do lema. Pequenas variações são atribuídas a peculiaridades de tokenização, não a ganhos morfológicos reais.
• Línguas de Ordem Livre: O Russo, apesar de ter marcação de caso rica, permanece altamente sensível à desordem total, sugerindo que os modelos atuais não conseguem aproveitar a morfologia para recuperar a ordem perdida.

Interações e Redundância

• Efeitos Sub-aditivos ($I > 0$): Em Alemão, Espanhol e Russo, a combinação de Full Scrambling + Lema causa menos dano do que a soma dos danos individuais. Isso indica que as pistas de ordem e morfologia são parcialmente redundantes (sobrepostas), não complementares. Quando uma falha, a outra também falha, mas não se anulam completamente.
• Assimetria Sintática: A perturbação do tipo Head (troca de cabeça-dependente) afeta o Inglês mais severamente do que o Alemão, consistente com a estrutura SVO fixa do inglês versus a flexibilidade do alemão.

Diferenças entre Modelos

• Existem divergências significativas entre mBERT e XLM-R, especialmente no Chinês (onde o mBERT tem uma linha de base muito superior). Isso sugere que generalizações sobre "modelos multilíngues" devem especificar qual arquitetura está sendo usada.

5. Significado e Conclusão

• Conclusão Principal: Os modelos multilíngues atuais (mBERT, XLM-R) são, essencialmente, "trabalhadores posicionais". Eles dependem fortemente da ordem linear das palavras e não conseguem compensar a perda dessa ordem utilizando pistas morfológicas ou de lema.
• Implicações para Fairness: Há um viés implícito que favorece línguas de ordem fixa. Modelos treinados com esses dados podem não generalizar bem para cenários onde a ordem é flexível ou quando a estrutura sintática é perturbada.
• Futuro: O trabalho sugere que objetivos de treinamento que reduzam a dependência da ordem absoluta (ex: objetivos de de-scrambling) e cabeças de predição conscientes da morfologia são necessários para criar modelos mais robustos e tipologicamente justos.

Em suma, o estudo demonstra que, apesar do sucesso em tarefas padrão, a capacidade desses modelos de generalizar sintaticamente em diferentes tipologias linguísticas é limitada por uma forte dependência da ordem superficial das palavras.