Enhancing Multi-Label Emotion Analysis and Corresponding Intensities for Ethiopian Languages

1. Il Problema

L'analisi delle emozioni nel linguaggio naturale (NLP) è un compito fondamentale ma complesso, specialmente per le lingue a risorse limitate (low-resource). Il paper identifica tre sfide principali nel contesto delle lingue etiope (Amharico, Oromo, Somali e Tigrino):

• Mancanza di annotazioni di intensità: Il dataset esistente EthioEmo supporta l'analisi multi-etichetta (più emozioni per testo), ma non quantifica l'intensità di ciascuna emozione. Tuttavia, non tutte le emozioni sono espresse con la stessa forza; distinguere tra un "lieve fastidio" e una "rabbia intensa" è cruciale per applicazioni reali come l'analisi del feedback dei clienti o il monitoraggio dei social media.
• Complessità Multi-Etichetta: Gli utenti esprimono spesso emozioni multiple e sovrapposte in un singolo testo. I modelli esistenti faticano a gestire questa complessità senza perdere sfumature.
• Divario nelle prestazioni dei Modelli: I modelli linguistici di grandi dimensioni (LLM) open-source e proprietari, sebbene potenti, mostrano prestazioni inferiori rispetto ai modelli encoder-only pre-addestrati su lingue specifiche quando applicati a lingue a risorse limitate e script diversi (come il Ge'ez o il Latino).

2. Metodologia

Gli autori hanno adottato un approccio sistematico per colmare le lacune esistenti:

• Estensione del Dataset EthioEmo:

  • Hanno arricchito il dataset EthioEmo (che copre Amharico, Oromo, Somali e Tigrino) aggiungendo annotazioni di intensità emotiva.
  • Schema di Annotazione: Ogni emozione identificata è stata classificata su una scala a 4 livelli:
    • 0: Nessuna intensità (assenza dell'emozione).
    • 1: Leggera (es. lieve rabbia).
    • 2: Moderata (es. rabbia moderata).
    • 3: Alta (es. rabbia intensa).
  • Processo di Annotazione: Utilizzo di annotatori madrelingua (minimo 3 per istanza, 5 per l'Amharico). Le etichette finali sono state determinate tramite voto di maggioranza e regole di aggregazione basate sulla media delle intensità assegnate.
  • Accordo tra Annotatori: È stato calcolato il Kappa di Cohen, ottenendo un accordo "moderato" (circa 0.50-0.57), il che riflette la soggettività intrinseca del compito di annotazione dell'intensità.

• Sperimentazione dei Modelli:

  • Modelli Encoder-Only (PLM): Sono stati valutati modelli multilingue generici (mBERT, XLM-RoBERTa) e modelli centrati sull'Africa (AfriBERTa, AfroLM, AfroXLMR-Social).
  • Large Language Models (LLM): Sono stati testati modelli open-source (Llama-3.1/3.3, Gemma-3, DeepSeek-R1) e proprietari (GPT-4.1-mini, Gemini-2.5).
  • Strategia di Prompting per LLM: Per evitare la sovrastima delle emozioni (over-prediction) tipica degli LLM, è stata utilizzata una strategia Chain-of-Thought (CoT) con predizione binaria (sì/no) per ogni emozione, seguita da una previsione dell'intensità.

• Compiti di Valutazione:

  1. Classificazione Multi-Etichetta delle Emozioni: Predizione binaria per ciascuna delle 6 emozioni base (rabbia, disgusto, paura, gioia, tristezza, sorpresa).
  2. Predizione dell'Intensità: Assegnazione di un punteggio da 0 a 3 per ogni emozione rilevata.
  3. Apprendimento Trasferibile Cross-Linguale: Valutazione della capacità di trasferire conoscenze tra le lingue etiope (es. addestrare su tutte tranne una, o solo su lingue con lo stesso script).

3. Risultati Chiave

I risultati sperimentali hanno evidenziato tendenze significative:

• Superiorità dei Modelli Encoder-Only: I modelli centrati sull'Africa, in particolare AfroXLMR-Social, hanno superato costantemente sia gli LLM open-source che quelli proprietari.
  • AfroXLMR-Social ha raggiunto un Macro-F1 di 70.66 per l'Amharico, 60.74 per l'Oromo, 54.75 per il Somali e 60.24 per il Tigrino.
  • Gli LLM (anche quelli grandi come Llama-3.3-70B) hanno ottenuto punteggi significativamente più bassi (spesso sotto il 40-45% di F1), a causa della scarsa rappresentazione di queste lingue nei loro dati di pre-addestramento.
• Impatto delle Annotazioni di Intensità: L'inclusione delle feature di intensità ha migliorato le prestazioni della classificazione multi-etichetta. Il modello AfroXLMR-Social ha mostrato un miglioramento del 1.62% - 11.47% nel punteggio Macro-F1 rispetto alla sola classificazione delle emozioni, grazie a un segnale di supervisione più denso che riduce l'ambiguità.
• Prestazioni degli LLM: Gli LLM hanno faticato nella predizione dell'intensità e spesso hanno tentato di tradurre mentalmente i testi in inglese prima di rispondere, portando a un alto tasso di falsi negativi ("nessuna emozione") per le lingue con script Ge'ez.
• Trasferimento Cross-Linguale: Il trasferimento di conoscenza tra le lingue etiope è stato efficace, specialmente tra Amharico e Tigrino (che condividono lo script Ge'ez). I modelli multilingue addestrati su tutte le lingue hanno generalmente performato meglio rispetto a quelli addestrati solo su script simili.

4. Contributi Principali

1. Dataset Arricchito: Rilascio del dataset EthioEmo-intensities, il primo dataset multi-etichetta per le lingue etiope che include annotazioni di intensità granulari (0-3).
2. Benchmark Completo: Valutazione estensiva di una vasta gamma di modelli (da piccoli encoder a LLM massicci) su compiti di classificazione, intensità e trasferimento cross-linguale.
3. Analisi delle Prestazioni: Dimostrazione empirica che, per le lingue a risorse limitate, i modelli "small" e culturalmente adattati (come AfroXLMR-Social) sono superiori agli LLM generici per compiti di comprensione emotiva.
4. Rilevanza Culturale: Evidenziazione dell'importanza di modelli specifici per il contesto africano, che catturano meglio le sfumature linguistiche e culturali rispetto ai modelli globali.

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo dell'NLP in Africa. Dimostra che:

• La semplice classificazione delle emozioni non è sufficiente; l'intensità è una dimensione critica per l'analisi reale.
• Per le lingue a risorse limitate, l'approccio "one-size-fits-all" degli LLM non è ancora la soluzione ottimale; i modelli specializzati e pre-addestrati su corpus specifici (come i social media africani) offrono prestazioni superiori.
• Il dataset e i benchmark forniti permetteranno alla comunità di ricerca di sviluppare strumenti più robusti per il monitoraggio sociale, l'assistenza sanitaria mentale e l'analisi del sentiment in contesti multilingue africani.

Il dataset è disponibile pubblicamente su Hugging Face, favorendo la riproducibilità e ulteriori ricerche nel campo.