ADAB: Arabic Dataset for Automated Politeness Benchmarking -- A Large-Scale Resource for Computational Sociopragmatics

Titolo

ADAB: Dataset Arabo per il Benchmarking Automatizzato della Cortesia – Una Risorsa su Larga Scala per la Sociopragmatica Computazionale

1. Il Problema e il Contesto

Nonostante l'importanza crescente dei sistemi di elaborazione del linguaggio naturale (NLP) culturalmente consapevoli, le risorse linguistiche per la rilevazione della cortesia in arabo sono severamente sottoutilizzate. La cortesia in arabo è un fenomeno sociopragmatico complesso, radicato in tradizioni linguistiche arabe, valori islamici, gerarchie sociali e variazioni dialettali (diglossia tra l'Arabo Standard Moderno - MSA - e i dialetti regionali).
Le sfide principali includono:

• Mancanza di risorse: La ricerca esistente si concentra quasi esclusivamente sull'inglese.
• Complessità linguistica: La cortesia in arabo è spesso codificata nella morfologia (congiunzioni verbali, forme pronominali), nell'uso di formule di saluto elaborate e in espressioni indirette.
• Diglossia e dialetti: La coesistenza di MSA e dialetti (Golfo, Egiziano, Levantino, Maghrebino) crea variazioni significative nell'espressione della cortesia.
• Ambiguità contestuale: Espressioni religiose o idiomatiche possono essere cortesi o scortesi a seconda del contesto (es. preghiere per o contro qualcuno).

2. Metodologia

Costruzione del Dataset ADAB

Gli autori hanno creato ADAB, il primo dataset su larga scala per la cortesia in arabo, contenente 10.000 campioni testuali.

• Fonti dei dati: I dati sono stati raccolti da quattro domini pubblici diversi per garantire diversità:
  1. Commenti YouTube (reazioni informali).
  2. Recensioni di prodotti (e-commerce, es. Shein).
  3. Post su Twitter/X (discorso sociale e politico).
  4. Recensioni di applicazioni (comunicazione cliente-azienda).
• Pulizia dei dati: Sono stati rimossi contenuti politici estremi, insulti espliciti, riferimenti a figure pubbliche e contenuti incoerenti per focalizzarsi sui fenomeni di cortesia interpersonale.
• Schema di Classificazione: Classificazione a tre vie: Cortese (Polite), Neutrale (Neutral), Scortese (Impolite).
• Categorie Linguistiche: Oltre alla classificazione principale, ogni testo è stato annotato con 16 categorie specifiche (es. gratitudine, saluti, accuse, sarcasmo, preghiere/maledizioni) basate su tradizioni retoriche arabe e teorie pragmatiche moderne.
• Processo di Annotazione:
  • Due annotatori con dottorato in linguistica araba (madrelingua, esperti in dialetti).
  • Formazione intensiva su teorie della cortesia e linee guida.
  • Workflow iterativo con revisione quotidiana e discussione dei casi ambigui.
  • Accordo Inter-Annotatore: Coefficiente Kappa di Cohen κ = 0.703, indicando un accordo sostanziale.

Valutazione e Benchmarking

È stato condotto un benchmark completo utilizzando 40 configurazioni di modelli divisi in tre categorie:

1. Machine Learning Tradizionale (12 modelli): Regressione Logistica, SVM, XGBoost con feature sparse (TF-IDF) e dense (Word2Vec, GloVe, FastText).
2. Architetture basate su Transformer (10 modelli):
   • Varianti specifiche per l'arabo: AraBERTv02, MARBERT, CAMeLBERT-mix.
   • Modelli multilingue: XLM-RoBERTa, mDeBERTa, mBERT, ecc.
3. Large Language Models (LLM) (18 configurazioni):
   • Modelli proprietari (GPT-4 mini, Claude-sonnet-4.5).
   • Modelli open-weight arabi (Fanar-1-9B, ALLaM-7B).
   • Modelli multilingue (DeepSeek V3, GPT OSS 20B).
   • Valutazione in setting zero-shot e few-shot.

3. Risultati Chiave

• Performance Generale: I modelli basati su Transformer hanno superato significativamente sia i metodi ML tradizionali che gli LLM.
  • Miglior modello: MARBERT ha raggiunto un'accuratezza del 91.19% e un Macro-F1 di 0.8582.
  • ML Tradizionale: Il migliore (SVM con TF-IDF) ha raggiunto un'accuratezza dell'84% e Macro-F1 0.71.
  • LLM: Hanno mostrato risultati misti. I modelli arabi open-source hanno performato male senza fine-tuning (es. Fanar-1-9B: Acc 30%, Macro-F1 16%). Gli LLM proprietari hanno mostrato miglioramenti con few-shot, ma sono rimasti inferiori ai transformer fine-tuned.
• Analisi per Classe:
  • Tutti i modelli hanno performato bene sulla classe Neutrale (F1 ~0.93).
  • La classe Scortese è stata la più difficile da rilevare (F1 variabile tra 0.71 e 0.81), a causa di sarcasmo e tono ostile.
  • MARBERT ha mostrato la maggiore robustezza nel rilevare la scortesia, grazie al pre-addestramento su dati social media arabi dialettali.
• Analisi degli Errori:
  • Bias Neutrale: L'errore più comune è classificare testi cortesi o scortesi come "Neutrali". Questo è particolarmente alto negli LLM (fino al 48% degli errori) e nei modelli ML tradizionali.
  • Sfide Specifiche:
    1. Marcatori Lessicali: Mancato rilevamento di indicatori espliciti.
    2. Casi Ambigui: Espressioni religiose o formule di cortesia usate in modo sarcastico.
    3. Contesto Culturale: Frasi idiomatiche o esagerate (es. "non guarderei l'episodio anche se mi dessero un milione di dollari") interpretate letteralmente.
    4. Varietà Dialettali: Difficoltà nel comprendere dialetti specifici (es. Egiziano) a causa della scarsa copertura nei dati di pre-addestramento.

4. Contributi Principali

1. Dataset ADAB: La prima risorsa su larga scala (10.000 campioni) per la cortesia in arabo, coprendo MSA e quattro varianti dialettali principali, con annotazioni a tre vie e 16 categorie linguistiche dettagliate.
2. Benchmark Completo: Valutazione sistematica di 40 modelli attraverso tre paradigmi (ML, Transformer, LLM), stabilendo linee di base per la ricerca futura.
3. Analisi Linguistica e degli Errori: Identificazione delle sfide specifiche per l'arabo, tra cui il bias verso la classe neutrale, la difficoltà nel rilevare marcatori impliciti e la gestione della variazione dialettale e delle espressioni religiose.

5. Significato e Implicazioni

• Avanzamento della NLP Araba: ADAB colma un vuoto critico nella ricerca sociopragmatica computazionale per l'arabo, permettendo lo sviluppo di sistemi più culturalmente consapevoli.
• Applicazioni Pratiche: La risorsa è fondamentale per migliorare chatbot per il servizio clienti, strumenti di moderazione dei social media, applicazioni educative e sistemi di traduzione che devono navigare le norme sociali arabe.
• Scoperte Teoriche: Lo studio dimostra che, per compiti pragmatici complessi come la cortesia, i modelli specifici per la lingua (come MARBERT) con pre-addestramento su dati dialettali e informali superano i modelli multilingue generici e gli LLM non fine-tuned.
• Sostenibilità della Ricerca: Il dataset, le linee guida e i benchmark saranno resi pubblici per promuovere ulteriori ricerche sulla cortesia e sulla sociolinguistica computazionale.

In sintesi, il paper stabilisce un nuovo standard per la valutazione della cortesia in arabo, evidenziando che, sebbene i modelli basati su transformer siano efficaci, rimangono sfide significative legate alla complessità culturale, dialettale e contestuale della lingua araba.