Learning Human-Aligned Explanations: AMeta-Model Approach to Combining XAIMethods for Arabic Sentiment Analysis

Problema

L'Intelligenza Artificiale Spiegabile (XAI) mira a rendere trasparenti i modelli complessi "black box", come i Transformer. Tuttavia, gli esistenti metodi XAI post-hoc (ad esempio, LIME, SHAP, Integrated Gradients, DeepLIFT) producono spesso risultati incoerenti poiché catturano aspetti differenti del comportamento del modello. I precedenti approcci di ensemble, inclusi i lavori precedenti degli autori, hanno tentato di combinare questi metodi utilizzando strategie di aggregazione fisse (ad esempio, la semplice media o medie ponderate). Queste strategie fisse soffrono di due limitazioni principali:

1. Si affidano a pesi definiti manualmente che non riflettono le preferenze umane.
2. Non riescono a catturare le interazioni non lineari tra i diversi metodi XAI.

Inoltre, vi è una scarsità di ricerca riguardante l'aggregazione XAI specificamente per la lingua araba, che presenta sfide uniche a causa della complessità morfologica e della variazione dialettale. Il problema centrale affrontato è la mancanza di un meccanismo dinamico, basato sui dati, per apprendere come combinare gli output XAI al fine di massimizzare l'allineamento con il giudizio umano (plausibilità), pur riconoscendo il naturale compromesso con la coerenza del modello (fedeltà).

Metodologia

Gli autori propongono un framework di meta-modello supervisionato progettato per apprendere spiegazioni a livello di token allineate all'uomo per l'analisi del sentiment in arabo. La pipeline consiste in quattro fasi:

1. Preparazione e Annotazione dei Dati:

   • Dataset: Un sottoinsieme di 303 recensioni di hotel su TripAdvisor in arabo (160 positive, 102 negative, 41 neutrali) è stato annotato manualmente a livello di token.
   • Ground Truth: Gli annotatori umani hanno utilizzato la piattaforma XS2A per assegnare etichette binarie (1 = importante, 0 = non importante) ai token che ritenevano influenti per il sentiment. Ciò ha prodotto 16.925 istanze a livello di token.

2. Costruzione delle Caratteristiche (Feature Construction):
   Il meta-modello riceve un vettore di caratteristiche ricco per ogni token, integrando:

   • Punteggi XAI: Punteggi di importanza grezzi e razionali binari (top 25% dei token) da LIME, SHAP, Integrated Gradients (IG), DeepLIFT e un precedente baseline di Ensemble XAI.
   • Stati Interni del Transformer: Pesi di attenzione (mediati su tutti i layer/head e specificamente dal token [CLS] dell'ultimo layer) ed embedding contestuali del modello base (CAMeLBERT-MSA). Gli embedding sono stati ridotti da 768 a 10 dimensioni tramite PCA e UMAP.
   • Caratteristiche Linguistiche e Strutturali: Tag part-of-speech (POS), frequenza del token, posizione del token, lunghezza del token, stato di subword, punteggiatura e caratteristiche a livello di commento (polarità del sentiment, confidenza del modello).

3. Addestramento del Meta-Modello:
   Tre modelli di machine learning supervisionati sono stati addestrati per predire l'etichetta di importanza umana binaria sulla base delle caratteristiche sopra citate:

   • Regressione Logistica: Un baseline lineare.
   • XGBoost: Un albero decisionale potenziato dal gradiente capace di catturare interazioni non lineari.
   • CatBoost: Un algoritmo ottimizzato per caratteristiche categoriche e robusto contro l'overfitting.
     Il dataset è stato diviso con un rapporto 90/10 a livello di recensione per prevenire il data leakage, con l'uso della validazione incrociata a 5 fold per il tuning degli iperparametri.

4. Valutazione:
   Le prestazioni sono state misurate lungo due dimensioni:

   • Plausibilità (Allineamento Umano): Precision, Recall, F1-score e Indice di Jaccard rispetto alle annotazioni umane.
   • Fedeltà (Coerenza del Modello): Completezza (Comprehensiveness), Sufficienza (Sufficiency), Correlazione con Leave-One-Out (LOO), AUC di Inserimento/Eliminazione e una metrica di Fedeltà Combinata precedentemente proposta.

Contributi Chiave

• Prima Aggregazione XAI Supervisionata dall'Uomo in Arabo: Questo studio presenta la prima investigazione di un framework di meta-modello supervisionato per apprendere spiegazioni a livello di token allineate all'uomo combinando molteplici metodi XAI post-hoc specificamente per l'NLP in arabo.
• Nuova Architettura di Meta-Modello: A differenza dei precedenti metodi di ensemble che utilizzano euristiche fisse, questo approccio addestra un modello supervisionato per apprendere dinamicamente la combinazione ottimale di punteggi XAI, pesi di attenzione, embedding e caratteristiche linguistiche.
• Caratterizzazione Empirica del Compromesso: Il lavoro fornisce un'analisi empirica fondata sulla tensione tra plausibilità e fedeltà, quantificando i guadagni nell'allineamento umano rispetto ai costi nella fedeltà del modello.

Risultati Sperimentali

Plausibilità (Allineamento Umano):
I meta-modelli hanno superato significativamente i singoli metodi XAI e il precedente approccio di ensemble pesato.

• CatBoost e XGBoost hanno ottenuto le prestazioni più elevate, con un F1-score di 0,84 e un indice di Jaccard di 0,74.
• Ciò rappresenta un miglioramento sostanziale rispetto ai singoli metodi (LIME, SHSH, IG, DeepLIFT), che oscillavano tra 0,64 e 0,70 di F1-score.
• Analisi delle Caratteristiche: Gli studi di ablazione hanno rivelato che gli embedding contestuali (ridotti tramite UMAP) fornivano il segnale individuale più forte per predire la razionale umana. Tuttavia, i migliori risultati sono stati ottenuti fondendo gli embedding con punteggi XAI, pesi di attenzione e caratteristiche linguistiche.

Fedeltà (Coerenza del Modello):
Mentre la plausibilità migliorava, la fedeltà diminuiva, confermando un fondamentale compromesso.

• La metrica di Fedeltà Combinata per i meta-modelli è variata tra 0,54 e 0,61 (CatBoost: 0,60, XGBoost: 0,61).
• Al contrario, l'Ensemble XAI (pesato) e LIME hanno raggiunto punteggi di fedeltà più elevati di 0,76.
• L'analisi qualitativa ha mostrato che, sebbene i meta-modelli identificassero con successo le parole portatrici di sentiment (ad esempio, "bellissimo", "brutto"), talvolta divergevano dai token specifici su cui il classificatore CAMeLBERT faceva affidamento più pesantemente (ad esempio, le particelle di negazione), portando a punteggi di fedeltà inferiori.

Significatività e Rivendicazioni

Il documento sostiene di offrire la prima investigazione dell'aggregazione XAI supervisionata dall'uomo nel dominio arabo. La sua principale significatività risiede nel dimostrare che apprendere a combinare i metodi XAI sotto la supervisione umana produce spiegazioni che sono significativamente più plausibili per gli umani rispetto agli ensemble statici o ai singoli metodi.

Tuttavia, gli autori concludono con modestia che questo guadagno in plausibilità comporta un costo misurabile in termini di fedeltà. Essi sostengono che tale compromesso sia teoricamente coerente: gli annotatori umani danno priorità a termini semanticamente salienti e pragmaticamente interpretabili, mentre i classificatori Transformer si affidano a pattern statistici complessi e spesso non intuitivi. Lo studio non pretende di aver risolto la tensione tra allineamento umano e fedeltà del modello, ma piuttosto di fornire una nuova metodologia per navigarla e offrire una comprensione fondata delle sfide fondamentali nell'NLP spiegabile.

Limitazioni Riconosciute:

• Scalabilità: Il meta-modello è specifico per il modello CAMeLBERT, il dataset TripAdvisor e il compito di analisi del sentiment; richiede il riaddestramento per diversi modelli o domini.
• Indipendenza dei Token: L'attuale design tratta i token come istanze indipendenti, fallendo nel catturare le dipendenze inter-token (ad esempio, l'ambito della negazione o i connettivi discorsivi come "ma").
• Overhead Computazionale: La pipeline è più lenta poiché richiede l'esecuzione di molteplici metodi XAI e poi l'inferenza di un meta-modello per ogni token.
• Vincoli dei Dati: Lo sforzo di annotazione è stato limitato a 303 recensioni da parte di due annotatori, limitando il potere statistico e la generalizzabilità a dialetti rari.