Assessing the Impact of Typological Features on Multilingual Machine Translation in the Age of Large Language Models

Problema

Apesar dos avanços significativos na modelagem multilíngue, persistem disparidades substanciais de qualidade entre as línguas. Embora a desigualdade nos recursos de treinamento seja um fator conhecido, pesquisas anteriores sugerem que propriedades tipológicas intrínsecas também podem determinar a dificuldade de modelar idiomas específicos. No entanto, as evidções existentes baseiam-se amplamente em modelos monolíngues pequenos ou modelos bilíngues treinados do zero em conjuntos de dados limitados e tipologicamente estreitos (por exemplo, Europarl ou a Bíblia). Consequentemente, permanece uma questão em aberto se as propriedades tipológicas podem explicar as variações de desempenho dos modelos de Linguagem de Grande Escala (LLMs) de última geração (SOTA) e dos sistemas de Tradução Automática (MT) multilíngues, que são tipicamente treinados em corpora massivos e não controlados de escala web. Além disso, não está claro se as estratégias de decodificação padrão, como a busca por feixe (beam search) de esquerda para a direita com um tamanho de feixe fixo, são ideais para línguas com características tipológicas diversas.

Metodologia

Os autores investigam essas questões analisando dois grandes modelos de tradução pré-treinados:

1. NLLB-200 (3.3B): Um modelo Transformer codificador-decodificador que representa a MT tradicional de última geração.
2. Tower+ (9B): Um LLM apenas decodificador (baseado em Gemma2) pós-treinado para MT, representando a tendência atual de usar LLMs de propósito geral para tradução.

Configuração Experimental:

• Conjunto de Dados: O estudo utiliza o benchmark FLORES+, composto por 997 sentenças em inglês (e sentenças de outras seis línguas de origem: árabe, italiano, holandês, turco, ucraniano e vietnamita) traduzidas para 124 línguas alvo tipologicamente diversas.
• Propriedades da Língua: Para estimar o impacto da tipologia, os autores compilam um conjunto de características contínuas e refinadas para 212 línguas. Estas incluem:
  • Recursos (Resourcedness): Aproximados usando dados de tamanho de língua do corpus GlotCC CommonCrawl.
  • Distâncias: Distâncias tipológicas (genéticas, geográficas, sintáticas, etc.) do banco de dados URIEL e uma característica binária para scripts de escrita compartilhados.
  • Complexidade Morfológica: Oito medidas contínuas (ex: Entropia de Palavra/Lemma, Tamanho Médio de Paradigma, Síntese Flexional, Razões Tipo/Token) derivadas de Universal Dependencies e dados do FLORES+.
  • Ordem das Palavras: Medidas graduais incluindo entropia da ordem das palavras, proporção de ordem Sujeito-Objeto e a porcentagem de frases com cabeça final (head-final).
• Estratégia de Decodificação: Os autores variam o tamanho do feixe ($k \in \{1, 3, 5, 7\}$) durante a inferência para avaliar como o alargamento do espaço de busca afeta a qualidade da tradução e a confiança do modelo.
• Avaliação: A qualidade da tradução é medida usando chrF++, uma métrica de n-grama ao nível de caractere adequada para línguas morfologicamente ricas. O estudo também analisa as probabilidades de geração para avaliar a otimalidade da decodificação independentemente de métricas de superfície.

Principais Contribuições

1. Preditores Tipológicos de Qualidade: Os autores identificam características tipológicas específicas que predizem a qualidade da tradução tanto para o NLLB-200 quanto para o Tower+ através de 7 línguas de origem e 124 línguas alvo.
2. Interação da Estratégia de Decodificação: O estudo analisa a relação entre o tamanho de feixe ideal e as propriedades tipológicas da língua alvo, desafiando a suposição de que uma única estratégia de decodificação é ideal para todas as línguas.
3. Liberação de Recursos: Os autores liberam um conjunto de dados de propriedades tipológicas contínuas e refinadas para as 212 línguas do benchmark FLORES+ para facilitar pesquisas futuras sobre estratégias de decodificação específicas para cada língua.

Resultados

1. Impacto da Tipologia na Qualidade da Tradução (NLLB-200):

• Análise de Correlação: A tipologia da língua alvo correlaciona-se significativamente com a qualidade da tradução (pontuações chrF++), mesmo após controlar a disponibilidade de dados (resourcedness) e a similaridade de script.
• Principais Preditores:
  • Complexidade Morfológica: Línguas com maior entropia de palavra e de lemma (que concentram mais informação na estrutura da palavra) tendem a ter uma qualidade de tradução inferior.
  • Ordem das Palavras: Línguas com ordens de palavras menos previsíveis (maior proporção negativa de SO) e uma preferência mais forte por frases de cabeça final (head-final) são mais desafiadoras de traduzir.
  • Distâncias: Maiores distâncias genéticas, geográficas e sintáticas entre a língua de origem e a língua alvo correlacionam-se inversamente com a qualidade.
• Análise de Regressão: Um modelo de regressão linear confirma que a natureza de cabeça final (head-finality) da língua alvo e a complexidade morfológica (medida pela Moving Average Type/Token Ratio, MATTR) são preditores negativos significativos das pontuações chrF++, juntamente com a distância genética origem-alvo e a disponibilidade de dados.

2. Impacto do Tamanho do Feixe e Decodificação:

• Variabilidade no Ganho: Há uma variabilidade significativa na melhoria das pontuações chrF++ ao aumentar o tamanho do feixe de $k=1$ para $k=7$. Aproximadamente metade das línguas beneficia-se de um feixe mais largo.
• Probabilidade vs. Qualidade: Enquanto a previsão do ganho de chrF++ baseada na tipologia resultou em um ajuste de modelo baixo, a previsão do ganho de probabilidade (o aumento da confiança do modelo) mostrou fortes correlações.
• Influência Tipológica na Decodificação: Línguas com morfologia complexa e ordens de palavras flexíveis (head-finality) mostram ganhos de probabilidade significativamente maiores com buscas de feixe mais largas. Isso sugere que a busca por feixe estreita padrão pode ser uma aproximação subótima da sequência de maior probabilidade do modelo para esses tipos de línguas específicos.

3. Modelos Apenas Decodificadores (Tower+):

• Diferenças de Desempenho: O Tower+ supera o NLLB-200 em línguas para as quais foi explicitamente treinado, mas tem desempenho inferior em outras, destacando a importância da cobertura do modelo.
• Preditores: Para o Tower+, a cobertura oficial da língua e a disponibilidade de recursos da língua alvo são os fatores dominantes para a qualidade. No entanto, as características tipológicas (complexidade morfológica e head-finality) ainda desempenham um papel significativo, embora menor.
• Ganhos de Decodificação: A relação entre tipologia e ganho de probabilidade no Tower+ é menos conclusiva do que no NLLB-200, embora a distância genética e a head-finality continuem sendo preditores significativos.

Significância e Alegações

O artigo alega que a tipologia da língua alvo impulsiona a qualidade da tradução em modelos multilíngues de última geração, mesmo quando se controla fatores triviais como tamanho de dados e script. Esta descoberta estende o trabalho anterior sobre dificuldade de modelagem para a era dos grandes modelos pré-treinados.

Os autores argumentam que a prática padrão de usar uma estratégia de decodificação uniforme (ex: tamanho de feixe fixo) para todas as línguas é provavelmente subótima. Seus resultados sugerem que línguas com propriedades tipológicas específicas (morfologia complexa, ordem de palavras flexível) beneficiam-se significativamente de buscas de feixe mais largas, não necessariamente em termos de ganhos de métricas de superfície para todos os casos, mas em termos de acessar sequências de maior probabilidade geradas pelo modelo.

Finalmente, os autores enfatizam a necessidade de otimização da decodificação específica para cada língua. Eles sugerem que trabalhos futuros devem explorar a definição dinâmica das larguras de feixe com base nas propriedades da língua alvo e avaliar estratégias de decodificação alternativas que melhor considerem a diversidade tipológica. O artigo conclui de forma modesta, observando limitações como a dependência de métricas de superfície (chrF++), o uso de aproximações para as proporções de dados de treinamento e o foco em apenas dois modelos e um paradigma de decodificação.