Enhancing Multi-Label Emotion Analysis and Corresponding Intensities for Ethiopian Languages

1. Problema e Motivação

O entendimento de emoções em Processamento de Linguagem Natural (PLN) é uma tarefa complexa e subjetiva, especialmente em idiomas de recursos limitados (low-resource). O artigo identifica duas lacunas principais no cenário atual para as línguas etíopes:

• Falta de Anotação de Intensidade: O conjunto de dados existente, EthioEmo, cobre quatro línguas etíopes (Amárico, Oromo, Somali e Tigrínia) em um formato de múltiplos rótulos (multi-label), mas carece de anotações de intensidade. Isso é crítico porque nem todas as emoções são expressas com a mesma força; distinguir entre uma "leve irritação" e "raiva intensa" é essencial para aplicações como análise de feedback de clientes e monitoramento de redes sociais.
• Desempenho de Modelos: Há uma necessidade de avaliar se os Grandes Modelos de Linguagem (LLMs) de última geração superam os modelos codificadores (encoder-only) tradicionais em tarefas de emoção para línguas africanas, onde os dados de treinamento são escassos.

2. Metodologia

A. Extensão do Dataset (EthioEmo-Intensities)

Os autores expandiram o dataset EthioEmo original adicionando anotações de intensidade para cada emoção rotulada.

• Línguas: Amárico (amh), Oromo (orm), Somali (som) e Tigrínia (tir).
• Escala de Intensidade: Utilizou-se uma escala de 4 níveis:
  • 0: Nenhuma intensidade (neutro/ausente).
  • 1: Leve (ex.: leve raiva).
  • 2: Moderada.
  • 3: Alta (ex.: raiva extrema).
• Processo de Anotação: Cada instância foi anotada por um mínimo de 3 e um máximo de 5 falantes nativos. As anotações finais foram determinadas por votação majoritária e regras de agregação de média para calcular a intensidade final.
• Acordo entre Anotadores: O estudo reportou um acordo moderado (Kappa de Cohen entre 0,41 e 0,60), o que reflete a dificuldade inerente da tarefa de anotar intensidade emocional subjetiva.

B. Configuração Experimental

Os autores avaliaram e compararam três categorias de modelos:

1. Modelos PLMs (Pre-trained Language Models) apenas Codificadores (Encoder-only):
   • Multilingues Gerais: LaBSE, RemBERT, mBERT, XLM-RoBERTa.
   • Focados na África: AfriBERTa, AfroLM, AfroXLMR (61 e 76 línguas), EthioLLM e AfroXLMR-Social (especificamente treinado em dados de mídia social africanos).
2. LLMs Open-Source: Gemma-3-12B, Llama-3.1-8B, Llama-3.3-70B, DeepSeek-R1-70B.
3. LLMs Proprietários: GPT-4.1-mini e Gemini-2.5-pro-flash.

C. Tarefas de Avaliação

• Classificação de Emoção Multi-rótulo: Formulada como uma decisão binária (Sim/Não) para cada uma das 6 emoções básicas (Raiva, Nojo, Medo, Alegria, Tristeza, Surpresa).
• Predição de Intensidade: Prever o nível (0-3) para cada emoção presente.
• Aprendizado de Transferência Cross-lingual: Treinar modelos em todas as línguas exceto a de teste (hold-out) para avaliar a capacidade de generalização entre as línguas etíopes.

3. Principais Contribuições

1. Dataset Enriquecido: Lançamento do EthioEmo-intensities, o primeiro dataset multi-rótulo com anotações de intensidade para quatro línguas etíopes, disponível publicamente.
2. Benchmark Abrangente: Avaliação sistemática de modelos de codificador (PLMs) contra LLMs (open-source e proprietários) em tarefas de emoção e intensidade para línguas africanas.
3. Análise de Transferência Cross-lingual: Investigação sobre como o conhecimento de emoções pode ser transferido entre línguas etíopes que usam scripts diferentes (Ge'ez para Amárico/Tigrínia vs. Latino para Oromo/Somali).
4. Descoberta de Arquitetura: Evidência de que modelos pequenos e culturalmente adaptados superam LLMs massivos neste domínio específico.

4. Resultados Chave

• Superioridade de Modelos Focados na África: O modelo AfroXLMR-Social (um codificador baseado em XLM-RoBERTa, treinado em corpus de mídia social africana) superou consistentemente todos os outros modelos, incluindo LLMs de grande porte.
  • Motivo: O modelo foi pré-treinado em dados específicos do domínio (Twitter, notícias) e cobre as línguas-alvo, oferecendo um sinal de supervisão mais denso e culturalmente relevante.
• Desempenho dos LLMs: Os LLMs (como Llama-3 e GPT-4) performaram pior que os modelos codificadores (PLMs) nas línguas de recursos limitados.
  • Causa: Os LLMs tendem a traduzir mentalmente o texto para o inglês antes de classificar a emoção, levando a erros frequentes, especialmente em línguas com script Ge'ez. Eles também sofrem de "over-prediction" (prever emoções que não existem).
• Impacto da Intensidade: A inclusão da característica de intensidade melhorou significativamente a classificação de emoção multi-rótulo. O modelo AfroXLMR-Social viu ganhos de 1,62 a 11,47 pontos no F1 Macro ao treinar com anotações de intensidade, pois isso ajuda o modelo a distinguir sinais emocionais fortes de casos ambíguos ou fracos.
• Transferência Cross-lingual: A transferência de aprendizado funcionou melhor entre línguas que compartilham o mesmo script (Amárico e Tigrínia) do que entre scripts diferentes. O treinamento multilingue geral beneficiou todas as línguas, mas o modelo focado na África manteve a liderança.
• Métricas:
  • Classificação: AfroXLMR-Social atingiu ~70% de F1 em Amárico e ~60% nas outras línguas.
  • Intensidade: A predição de intensidade foi mais desafiadora (Correlação de Pearson mais baixa), mas os modelos focados na África ainda lideraram.

5. Significado e Conclusão

O trabalho demonstra que, para tarefas de PLN em línguas africanas de recursos limitados, modelos menores e culturalmente adaptados (African-centric PLMs) são superiores aos Grandes Modelos de Linguagem (LLMs) genéricos. A simples aplicação de LLMs de ponta sem adaptação específica falha em capturar nuances culturais e linguísticas críticas.

A adição de anotações de intensidade não apenas enriquece o dataset, mas também atua como um sinal de supervisão mais forte, melhorando a precisão da classificação de emoções. Este estudo fornece uma base sólida para o desenvolvimento de sistemas de interação humano-computador mais sensíveis e precisos para o contexto etíope e africano em geral.

Limitações Notadas:

• O número de anotadores por instância foi limitado (mínimo de 3), o que pode não capturar totalmente a subjetividade complexa.
• A avaliação de LLMs foi limitada a configurações zero-shot e few-shot devido a restrições de recursos, sugerindo espaço para mais pesquisas com fine-tuning de LLMs.