From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models

1. Problema e Motivação

O Árabe é uma língua caracterizada pela diglossia, onde coexiste uma variedade padronizada escrita, o Árabe Padrão Moderno (MSA ou FusHa), e um espectro rico de dialetos não padronizados (Dialectal Arabic ou DA) usados no dia a dia e online.

• Desafio: A maioria dos Modelos de Linguagem (LMs) em árabe é pré-treinada predominantemente em MSA, com cobertura limitada e desproporcional dos dialetos.
• Questão Central: Existe uma suposição implícita de que modelos centrados em MSA transferem conhecimento equitativamente para todos os dialetos. No entanto, a inteligibilidade mútua entre dialetos e o MSA varia drasticamente.
• Objetivo: Investigar se a transferência cruzada (cross-lingual transfer) de modelos de MSA para dialetos é eficaz, se é uniforme entre os dialetos e se modelos treinados em múltiplos dialetos sofrem de interferência negativa.

2. Metodologia

Os autores utilizam uma abordagem híbrida combinando duas metodologias principais para avaliar a transferência e a similaridade estrutural:

A. Probing (Classificadores de Sondagem)

• Objetivo: Avaliar a capacidade funcional dos modelos em tarefas de Processamento de Linguagem Natural (NLP).
• Tarefas: Análise de Sentimento (SA), Reconhecimento de Entidades Nomeadas (NER) e Tagging de Partes do Discurso (POS).
• Método: Treinamento de classificadores lineares leves (regressão logística) sobre representações congeladas (embeddings) extraídas de diferentes camadas de modelos pré-treinados.
• Dados: Conjuntos de dados dialetais equilibrados e filtrados para garantir que as amostras correspondam ao dialeto alvo (usando identificação automática de dialeto).

B. Análise de Similaridade de Representação (RSA)

• Objetivo: Medir a similaridade intrínseca entre as representações internas de modelos de MSA e de dialetos, independentemente de tarefas específicas.
• Métrica: Centered Kernel Alignment (CKA).
• Dados: O corpus MADAR, que fornece sentenças paralelas em MSA e 25 dialetos de nível de cidade.
• Cenários Analisados:
  1. Modelo MSA vs. Modelo Dialetal codificando sentenças dialetais.
  2. Modelo MSA vs. Modelo Dialetal codificando sentenças em MSA.
  3. Modelo MSA codificando MSA vs. Modelo Dialetal codificando dialeto (sentenças paralelas).

C. Análise de Proximidade Geográfica

• Hipótese: A similaridade linguística segue um continuum geográfico.
• Ancoragem: O Iêmen é utilizado como proxy geográfico para o MSA (baseado em similaridade lexical e preservação de formas arcaicas), servindo como ponto de referência para calcular a distância geográfica dos dialetos.

3. Contribuições Principais

1. Avaliação Holística: Integração de provas funcionais (probing) e estruturais (CKA) para mapear a transferência MSA-Dialetos.
2. Descoberta de Interferência Negativa: Evidência de que modelos treinados em múltiplos dialetos (Multi-DA) podem sofrer interferência negativa, performando pior do que modelos monodialetais em dialetos de alto recurso.
3. Correlação Geográfica: Demonstração de que a proximidade geográfica é um preditor forte da capacidade de transferência e similaridade representacional.
4. Análise de Escala de Dados: Identificação de que o volume de dados de pré-treinamento é um fator crítico para que modelos dialetais superem modelos gerais.

4. Resultados Chave

Desempenho em Probing (Tarefas NLP)

• Transferência Desproporcional: Modelos centrados em MSA transferem bem para alguns dialetos, mas o desempenho cai drasticamente à medida que a distância geográfica e linguística aumenta.
• Tarefas Estruturais vs. Semânticas:
  • Modelos MSA mantêm desempenho competitivo em POS e NER (tarefas estruturais), sugerindo que a sintaxe e a estrutura de entidades são preservadas ou compartilhadas via code-switching.
  • Modelos MSA falham em Análise de Sentimento (SA), onde nuances pragmáticas, idiomaticidade e ortografia não padrão dos dialetos são cruciais.
• Interferência Negativa: Modelos "Multi-DA" (treinados em vários dialetos) frequentemente performam pior do que modelos dialetais específicos (ex: EgyBERT, SaudiBERT) em seus dialetos nativos, especialmente em dialetos de alto recurso. Isso sugere que a mistura de dialetos pode diluir características específicas.
• Importância dos Dados: Modelos dialetais treinados com grandes volumes de dados (ex: EgyBERT) superam consistentemente modelos gerais, enquanto modelos com poucos dados (ex: AraRoBERTa variants) beneficiam-se mais de modelos gerais devido à escassez de dados.

Análise de Similaridade (CKA)

• Continuum Dialetal: A similaridade representacional (CKA) entre modelos MSA e dialetos segue um gradiente geográfico. Dialetos mais próximos do Iêmen (proxy do MSA) mostram maior similaridade.
• Limitação da Similaridade: Mesmo em cenários de alta similaridade, os valores de CKA raramente ultrapassam 0.8, indicando que modelos MSA não capturam totalmente as nuances dos dialetos e vice-versa.
• Dados vs. Estrutura: Modelos treinados com grandes corpora refletem melhor o continuum dialetal na similaridade de representação do que modelos com poucos dados.

5. Significado e Conclusões

• Questionamento da Transferência Universal: A premissa de que modelos de MSA são suficientes para todos os dialetos árabes é refutada. A transferência é possível, mas desproporcional e dependente da proximidade geográfica e do volume de dados.
• Necessidade de Especialização: Para dialetos de alto recurso (ex: Egípcio, Saudita), modelos especializados (dialetais) são superiores. Para dialetos de baixo recurso, modelos gerais podem ser mais eficazes devido à falta de dados suficientes para treinar modelos específicos.
• Risco de Interferência: O treinamento em múltiplos dialetos sem parametrização específica pode levar a interferência negativa, prejudicando o desempenho em dialetos ricos em dados.
• Implicações Futuras: Recomenda-se o desenvolvimento de modelos com parâmetros específicos por região ou dialeto para evitar a interferência negativa e melhorar a cobertura equitativa do continuum árabe.

Limitações Citadas:

• Falta de conjuntos de dados públicos para NER em dialetos do Golfo (uso de anotações "silver-standard").
• A escolha do Iêmen como âncora geográfica para o MSA é uma conveniência operacional, não definitiva.
• Heterogeneidade nos modelos comparados (tamanhos de vocabulário e hiperparâmetros diferentes).