Curriculum Learning and Pseudo-Labeling Improve the Generalization of Multi-Label Arabic Dialect Identification Models

1. Problema e Contexto

A Identificação de Dialetos Árabes (ADI) tem sido tradicionalmente modelada como uma tarefa de classificação de rótulo único (single-label), onde cada frase é atribuída a um único país ou dialeto. No entanto, a realidade linguística árabe é complexa: uma única frase pode ser perfeitamente aceitável e natural em múltiplos dialetos simultaneamente (sobreposição dialetal).

O desafio central abordado no trabalho é a transição para a Identificação de Dialetos Árabes Multi-Rótulo (MLADI). Embora tarefas recentes (como NADI 2024) tenham introduzido anotações multi-rótulo para conjuntos de teste e desenvolvimento, os dados de treinamento permanecem majoritariamente de rótulo único. Isso cria um problema de aprendizado supervisionado fraco, onde os modelos devem aprender a prever múltiplos dialetos a partir de dados que fornecem apenas um rótulo "verdadeiro" por instância.

A principal dificuldade identificada pelos autores ao reutilizar dados de rótulo único para MLADI é a seleção de amostras negativas. Em abordagens ingênuas, frases geolocalizadas para outros países são tratadas como negativas (inaceitáveis) para um dialeto específico. Contudo, muitas dessas frases são, na verdade, aceitáveis em múltiplos dialetos, tornando-as "falsos negativos" que prejudicam o treinamento do modelo.

2. Metodologia

Os autores propõem uma abordagem em três etapas principais para superar as limitações dos dados existentes:

A. Análise de Dinâmica de Treinamento e Diagnóstico

Os autores analisaram o comportamento de classificadores binários de aceitabilidade treinados em dados de rótulo único. Utilizando métricas de dinâmica de treinamento (confiança, variabilidade e correção), demonstraram que uma parcela significativa das amostras tratadas como "negativas" (inaceitáveis) apresenta baixa correção durante o treinamento, indicando que os falantes nativos as considerariam aceitáveis. Isso confirma que os dados de treinamento atuais contêm ruído sistemático nas classes negativas.

B. Criação de um Conjunto de Dados Multi-Rótulo (Pseudo-Labeling)

Para contornar a escassez de dados multi-rótulo anotados manualmente (que são caros), os autores construíram um novo conjunto de dados de treinamento agregando pseudo-rótulos de duas fontes heterogêneas:

1. Classificadores Binários de Dialetos: 18 classificadores independentes (um por país) treinados no conjunto NADI 2023. Para evitar erros sistemáticos, apenas amostras de regiões não vizinhas e com alto nível de dialetalidade foram usadas como negativas.
2. Anotações via GPT-4o: O modelo de linguagem grande foi instruído a avaliar a aceitabilidade de cada frase em cada um dos 18 dialetos.

Estratégia de Agregação (Híbrida):
Os autores utilizaram a métrica ALDi (Arabic Level of Dialectness) para guiar a agregação:

• Para amostras com ALDi muito baixo (quase MSA) ou muito alto (dialetos muito específicos), utilizaram-se os Classificadores Binários (que têm maior precisão nesses extremos).
• Para a faixa intermediária de ALDi (onde a sobreposição dialetal é comum), utilizaram-se os rótulos do GPT-4o (que têm maior recall e capturam melhor a ambiguidade).
  Essa combinação resultou no conjunto de dados de treinamento mais robusto.

C. Treinamento com Aprendizado de Currículo (Curriculum Learning)

Para treinar o modelo final, os autores utilizaram uma arquitetura baseada em BERT (especificamente MARBERT), referenciada como LAHJATBERT. Para mitigar o viés do conjunto de dados (que contém muitas frases com poucos rótulos ativos), foram aplicadas duas estratégias de Curriculum Learning:

1. Baseado em Cardinalidade: O modelo é treinado progressivamente, começando com frases que têm poucos rótulos de dialeto (fáceis) e avançando para frases com múltiplos rótulos (difíceis).
2. Baseado em ALDi: O modelo é exposto progressivamente a frases com níveis crescentes de complexidade dialetal (do MSA para dialetos puros, passando pela zona de ambiguidade).

3. Contribuições Principais

1. Análise de Limitações: Fornecem uma análise profunda de por que a reutilização direta de dados de ADI de rótulo único falha em tarefas multi-rótulo, focando na seleção inadequada de amostras negativas.
2. Construção de Dados: Criaram um conjunto de dados de treinamento multi-rótulo pseudo-anotado, combinando sinais de classificadores binários e GPT-4o, guiado pela métrica ALDi.
3. Modelo LAHJATBERT: Introduziram uma família de modelos BERT treinados com estratégias de curriculum learning alinhadas à estrutura multi-rótulo, superando os sistemas anteriores.

4. Resultados

Os modelos foram avaliados no leaderboard da tarefa MLADI (NADI 2024):

• Desempenho: O melhor modelo, LAHJATBERT (com curriculum learning baseado em ALDi), alcançou um F1 Macro de 0,69 (69,04%).
• Comparação: Este resultado supera significativamente o sistema anterior mais forte (NADI 2024 baseline), que obteve um F1 Macro de 0,55.
• Análise de Métricas: O uso de curriculum learning aumentou consistentemente o Recall (capturando mais dialetos relevantes), embora com uma leve redução na Precisão, o que é desejável em tarefas de identificação multi-rótulo onde o objetivo é não omitir dialetos válidos.
• Generalização: O modelo superou também grandes modelos de linguagem multilíngues e específicos para árabe (como Aya-32B e Elyadata) na tarefa de MLADI.

5. Significado e Impacto

Este trabalho é significativo porque:

• Valida a natureza multi-rótulo: Demonstra empiricamente que a identificação de dialetos árabes deve ser tratada como um problema multi-rótulo para capturar a realidade linguística.
• Solução para Escassez de Dados: Oferece um método viável e escalável para criar conjuntos de dados de treinamento multi-rótulo de alta qualidade sem depender exclusivamente de anotação humana massiva, utilizando a sinergia entre modelos de IA (GPT-4o) e classificadores tradicionais.
• Avanço no Estado da Arte: Estabelece um novo patamar de desempenho para a tarefa, provando que estratégias de treinamento como Curriculum Learning são cruciais para lidar com a ambiguidade e a complexidade dos dados linguísticos.
• Reprodutibilidade: O código e os dados (IDs dos tweets e rótulos derivados) estão disponíveis publicamente, permitindo que a comunidade avance sobre a base estabelecida.

Em resumo, o artigo resolve o gargalo da falta de dados de treinamento multi-rótulo para dialetos árabes através de uma engenharia de dados inteligente e estratégias de treinamento avançadas, resultando em modelos que generalizam muito melhor para a complexidade real da língua árabe.