Learning Human-Aligned Explanations: AMeta-Model Approach to Combining XAIMethods for Arabic Sentiment Analysis

Probleemstelling

Explainable Artificial Intelligence (XAI) streeft ernaar om complexe "black box"-modellen, zoals Transformers, transparant te maken. Bestaande post-hoc XAI-methoden (bijv. LIME, SHAP, Integrated Gradients, DeepLIFT) leveren echter vaak inconsistente resultaten omdat ze verschillende aspecten van modelgedrag vastleggen. Eerdere ensemble-benaderingen, inclusief het eerdere werk van de auteurs, probeerden deze methoden te combineren met behulp van vaste aggregatiestrategieën (bijv. eenvoudige middeling of gewogen gemiddelden). Deze vaste strategieën kampen met twee belangrijke beperkingen:

1. Ze vertrouwen op handmatig gedefinieerde gewichten die geen rekening houden met menselijke voorkeuren.
2. Ze slagen er niet in om niet-lineaire interacties tussen verschillende XAI-methoden te vangen.

Bovendien is er een gebrek aan onderzoek naar XAI-aggregatie specifiek voor de Arabische taal, die unieke uitdagingen met zich meebrengt vanwege de morfologische complexiteit en dialectale variatie. Het kernprobleem dat wordt geadresseerd, is het gebrek aan een dynamisch, datagedreven mechanisme om te leren hoe XAI-outputs te combineren om de afstemming met menselijk oordeel (plausibiliteit) te maximalen, terwijl de inherente afruil met modelconsistentie (getrouwheid/faithfulness) wordt erkend.

Methodologie

De auteurs stellen een gesuperviseerd meta-model framework voor, ontworpen om mens-afgestemde token-niveau verklaringen voor Arabische sentimentanalyse te leren. De pijplijn bestaat uit vier stadia:

1. Data-voorbereiding en Annotatie:

   • Dataset: Een subset van 303 Arabische TripAdvisor hotelrecensies (160 positief, 102 negatief, 41 neutraal) is handmatig geannoteerd op token-niveau.
   • Ground Truth: Menselijke annotatoren gebruikten het XS2A-platform om binaire labels (1 = belangrijk, 0 = niet-belangrijk) toe te kennen aan tokens die zij als invloedrijk voor het sentiment beschouwden. Dit resulteerde in 16.925 token-niveau instanties.

2. Feature Constructie:
   Het meta-model neemt een rijk feature-vector voor elk token, waarbij het volgende wordt geïntegreerd:

   • XAI Scores: Ruwe belangrijkescores en binaire rationales (top 25% tokens) van LIME, SHAP, Integrated Gradients (IG), DeepLIFT en een eerder Ensemble XAI-baseline.
   • Transformer Interne Staten: Attention-gewichten (gemiddeld over alle lagen/heads en specifiek van de [CLS]-token van de laatste laag) en contextuele embeddings van het basismodel (CAMeLBERT-MSA). Embeddings werden gereduceerd van 768 naar 10 dimensies met behulp van PCA en UMAP.
   • Linguïstische en Structurele Features: Part-of-speech (POS) tags, token frequentie, token positie, token lengte, subword-status, interpunctie en commentaar-niveau features (sentiment polariteit, modelvertrouwen).

3. Meta-Model Training:
   Drie supervised machine learning modellen werden getraind om het binaire menselijke belang-label te voorspellen op basis van de bovenstaande features:

   • Logistische Regressie: Een lineaire baseline.
   • XGBoost: Een gradient-boosted decision tree die in staat is tot het vangen van niet-lineaire interacties.
   • CatBoost: Een algoritme geoptimaliseerd voor categorische features en robuust tegen overfitting.
     De dataset werd op review-niveau gesplitst in 90/10 om data leakage te voorkomen, waarbij 5-voudige cross-validatie werd gebruikt voor hyperparameter tuning.

4. Evaluatie:
   Prestaties werden gemeten langs twee dimensies:

   • Plausibiliteit (Menselijke Afstemming): Precisie, Recall, F1-score en Jaccard Index ten opzichte van menselijke annotaties.
   • Getrouwheid (Modelconsistentie): Comprehensiveness, Sufficiency, Correlatie met Leave-One-Out (LOO), Insertion/Deletion AUC, en een eerder voorgestelde Combined Faithfulness metric.

Belangrijkste Bijdragen

• Eerste Mens-Gesuperviseerde XAI Aggregatie in het Arabisch: Deze studie presenteert het eerste onderzoek naar een gesuperviseerd meta-model framework voor het leren van mens-afgestemde token-niveau verklaringen door meerdere post-hoc XAI-methoden te combineren, specifiek voor Arabische NLP.
• Nieuw Meta-Model Architectuur: In tegen tegenstelling tot eerdere ensemble-methoden die vaste heuristieken gebruiken, traint deze benadering een gesuperviseerd model om dynamisch de optimale combinatie van XAI-scores, attention-gewichten, embeddings en linguïstische features te leren.
• Empirische Karakterisering van de Afruil: Het werk biedt een principiële empirische analyse van de spanning tussen plausibiliteit en getrouwheid, waarbij de winst in menselijke afstemming tegen de kosten in modelgetrouwheid wordt gekwantificeerd.

Experimentele Resultaten

Plausibiliteit (Menselijke Afstemming):
De meta-modellen presteerden aanzienlijk beter dan individuele XAI-methoden en de vorige gewogen ensemble-benadering.

• CatBoost en XGBoost behaalden de hoogste prestaties, met een F1-score van 0,84 en een Jaccard index van 0,74.
• Dit vertegenwoordigt een substantiële verbetering ten opzichte van individuele methoden (LIME, SHAP, IG, DeepLIFT), die varieerden tussen een 0,64 en 0,70 F1-score.
• Feature Analyse: Ablatie-studies toonden aan dat contextuele embeddings (gereduceerd via UMAP) het sterkste individuele signaal boden voor het voorspellen van de menselijke rationale. Echter, de beste resultaten werden bereikt door embeddings te fuseren met XAI-scores, attention-gewichten en linguïstische features.

Getrouwheid (Modelconsistentie):
Hoewel de plausibiliteit verbeterde, nam de getrouwheid af, wat de fundamentele afruil bevestigt.

• De Combined Faithfulness metric voor de meta-modellen varieerde van 0,54 tot 0,61 (CatBoost: 0,60, XGBoost: 0,61).
• In contrast hiermee behaalden de Ensemble XAI (gewogen) en LIME hogere getrouwheidsscores van 0,76.
• Kwalitatieve analyse toonde aan dat hoewel meta-modellen succesvol sentiment-dragende woorden identificeerden (bijv. "mooi", "slecht"), ze soms afweken van de specifieke tokens waar de onderliggende CAMeLBERT-classifier het zwaarst op vertrouwde (bijv. ontkenningspartikels), wat leidde tot lagere getrouwheidsscores.

Betekenis en Claims

Het artikel beweert de eerste onderzoek naar mens-gesuperviseerde XAI-aggregatie in het Arabische domein te bieden. De primaire betekenis ligt in het aantonen dat het leren combineren van XAI-methoden onder menselijk toezicht verklaringen oplevert die significant plausibeler zijn voor mensen dan statische ensembles of individuele methoden.

De auteurs concluderen echter bescheiden dat deze winst in plausibiliteit gepaard gaat met een meetbare kost aan getrouwheid. Zij stellen dat deze afruil theoretisch coherent is: menselijke annotatoren geven prioriteit aan semantisch relevante en pragmatisch interpreteerbare termen, terwijl Transformer-classifiers vertrouwen op complexe, vaak niet-intuïtieve statistische patronen. De studie claimt niet de spanning tussen menselijke afstemming en modelgetrouwheid te hebben opgelost, maar biedt een nieuwe methodologie om hierin te navigeren en biedt een principieel begrip van de fundamentele uitdagingen in explainable NLP.

Erkende Beperkingen:

• Schaalbaarheid: Het meta-model is specifiek voor het CAMeLBERT-model, de TripAdvisor-dataset en de taak van sentimentanalyse; het vereist hertraining voor andere modellen of domeinen.
• Token Onafhankelijkheid: Het huidige ontwerp behandelt tokens als onafhankelijke instanties, waardoor inter-token afhankelijkheden (bijv. de reikwijdte van ontkenning of discourse-connectieven zoals "maar") niet worden gevangen.
• Computationele Overhead: De pijplijn is trager omdat het vereist dat er meerdere XAI-methoden worden uitgevoerd en vervolgens een meta-model inferentie voor elk token plaatsvindt.
• Data Beperkingen: De annotatie-inspanning was beperkt tot 303 recensies door twee annotatoren, wat de statistische kracht en generaliseerbaarheid naar zeldzame dialecten beperkt.