XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

Probleemstelling

Het artikel adresseert twee hoofduitdagingen in het domein van comparatieve opinie-mining (het vergelijken van producten op basis van gebruikersrecensies):

1. Gebrek aan transparantie: Bestaande transformer-gebaseerde modellen functioneren vaak als "black boxes". Ze leveren vergelijkende conclusies op zonder inzicht te geven in de onderliggende redenering, wat het vertrouwen van gebruikers ondermijnt, vooral bij fijnmazige beslissingen op basis van specifieke productkenmerken.
2. Implicititeit en subjectiviteit: Veel recensies bevatten geen expliciete vergelijkingen (bijv. "Product A is beter dan B"), maar verspreide, impliciete meningen. Bovendien introduceert het vergelijken van recensies van verschillende gebruikers ruis door subjectieve verschillen in schrijfstijl en beoordelingsnormen (bijv. een strenge versus een vergevingsgezinde gebruiker).

De auteurs stellen dat het isoleren van vergelijkingen binnen dezelfde gebruiker (same-user setting) cruciaal is om deze subjectieve variatie te elimineren en een stabiele basislijn te creëren.

Methodologie: Het XCom-model

De auteurs introduceren XCom, een model dat is opgebouwd uit drie hoofdmodules en is ontworpen om transparant en interpreteerbaar te zijn. De architectuur bestaat uit de volgende fasen:

1. Aspect-gebaseerde Pre-processing

• Doel: Het structureren van ruwe recensieparen (van dezelfde gebruiker) in specifieke zinnen per aspect.
• Proces: Een set van vier BERT-gebaseerde classifiers (één per aspect: uiterlijk, aroma, mondgevoel, smaak) identificeert welke zinnen relevant zijn voor welk aspect.
• Output: Gestructureerde paren van zinnen $(s^1_a, s^2_a)$ voor elk aspect $a$, wat de basis vormt voor de daaropvolgende vergelijking.

2. Comparatieve Opinie Classificatie

Dit is de kern van het model en bestaat uit twee parallelle classifiers die hun resultaten combineren:

• Score-based Classifier:
  • Berekent een beoordelingsscore per zin door de sentiment-scores van bijvoeglijke naamwoorden te middelen.
  • Voor zinnen zonder bijvoeglijke naamwoorden wordt een TF-IDF-vector gegenereerd en ingevoerd in een XGBoost-regressor om een geschatte score te voorspellen.
  • De uiteindelijke aspect-score voor een recensie is het minimum van de scores van de individuele zinnen (een conservatieve benadering).
  • Deze scores worden geëmbed door een transformer-encoder en geklasseerd.
• Semantic-based Classifier:
  • Verwerkt de zinparen direct via een transformer-encoder om semantische relaties te vangen, ongeacht de expliciete scores.
  • Produceert een distributie over de drie klassen: slechtere, gelijkwaardige, of betere (voor de eerste recensie ten opzichte van de tweede).
• Fusie: De uiteindelijke voorspelling is de som van de waarschijnlijkheidsdistributies van beide classifiers, gevolgd door een argmax om de klasse te bepalen.

3. SHAP-gebaseerde Uitleg (Explainability)

• Doel: Het transformeren van het model van een black box naar een white box.
• Techniek: Het model gebruikt SHAP (SHapley Additive exPlanations) om de bijdrage van individuele tokens (woorden) aan de uiteindelijke voorspelling te kwantificeren.
• Implementatie: Tokens worden systematisch vervangen door [MASK] om te meten hoe de voorspelling verandert. Dit levert visuele uitleggen op (rood voor positieve impact, blauw voor negatief) die aangeven welke woorden de beslissing van het model hebben gedreven.

Belangrijkste Bijdragen

1. XCom Architectuur: Een hybride model dat aspect-gebaseerde ratingvoorspelling combineert met semantische analyse voor het oplossen van impliciete vergelijkingen binnen dezelfde gebruiker.
2. Integreerde XAI: Het gebruik van SHAP om niet alleen de voorspelling te doen, maar ook de reden achter de voorspelling te tonen, wat vertrouwen bij gebruikers bouwt.
3. Efficiëntie: Het model is gebaseerd op BERT-encoders (ca. 110M parameters) en is aanzienlijk kleiner en sneller in training dan grote taalmodellen (LLMs), terwijl het betere prestaties levert.
4. Nieuwe inzichten in Implicititeit: Het benadrukt het belang van het isoleren van gebruikers om subjectieve bias te verwijderen, wat een nieuwe invalshoek biedt in het onderzoek naar opiniedata.

Resultaten

Het model is getest op de SUDO-dataset (specifiek voor bierreviews) en vergeleken met diverse baselines, waaronder feature-based modellen (SVM, XGBoost), fine-tuned transformers (BART, T5) en algemene LLMs (Llama, Gemini, ChatGPT).

• Prestaties: XCom behaalde de hoogste scores op alle metrieken, met een Macro-averaged F1-score van ongeveer 58,56% en een Micro-averaged F1 van 58,38%.
  • Dit is een verbetering van bijna 3 punten ten opzichte van de runner-up (Finetuned-T5).
  • Algemene LLMs presteerden aanzienlijk slechter (F1 tussen 28% en 49%), wat aantoont dat zero-shot prompts onvoldoende zijn voor deze taak.
• Componentanalyse:
  • De aspect-classificatie module is zeer betrouwbaar (>90% F1).
  • De daadwerkelijke vergelijkende classificatie ligt rond de 60%, wat de complexiteit van de taak benadrukt.
  • Ablatiestudies tonen aan dat de semantische classifier de belangrijkste driver is (verwijdering leidt tot ~30% daling), gevolgd door de aspect-classificatie.
• Uitlegvalidatie: SHAP-visualisaties bevestigden dat het model correcte tokens identificeert (bijv. "wonderful" heeft een positieve impact op "smaak", maar een negatieve op "uiterlijk" in bepaalde contexten). Het verwijderen van de belangrijkste tokens (Top-k) leidde tot een directe daling in prestaties, wat de betrouwbaarheid van de uitleg bevestigt.

Betekenis en Conclusie

Het artikel demonstreert dat het combineren van gespecialiseerde opinion mining modules met Explainable AI (XAI) leidt tot robuustere en betrouwbaardere systemen dan het gebruik van grote, onverklaarbare taalmodellen.

• Praktische toepassing: XCom biedt een efficiënte oplossing voor e-commerce en aanbevelingssystemen om impliciete productvoorkeuren te onthullen zonder dat gebruikers expliciete vergelijkingen hoeven te maken.
• Toekomstperspectief: De auteurs erkennen beperkingen, zoals het risico op cascade-fouten tussen modules, de complexiteit van de uitleg voor niet-experts, en de beperkte schaal van de huidige dataset. Toekomstig werk richt zich op end-to-end learning, verbeterde grafische uitleggen en het uitbreiden naar diverse productcategorieën.

Samenvattend biedt XCom een nieuwe standaard voor transparante, aspect-gebaseerde vergelijkende analyse die zowel hoogwaardige prestaties als inzichtelijke uitleggen combineert.