XAI-enhanced Comparative Opinion Mining via Aspect-based Scoring and Semantic Reasoning

Titolo: XCom: Estrazione di Opinioni Comparative Esplicabili tramite Punteggio Basato sugli Aspetti e Ragionamento Semantico

1. Il Problema

Nel mercato contemporaneo, gli utenti sono spesso sovraccarichi di scelte e le recensioni dei prodotti tendono a descrivere esperienze personali piuttosto che fornire confronti diretti tra alternative.

• Opinioni Implicite vs. Esplicite: Mentre i confronti espliciti (es. "A è migliore di B") sono facili da rilevare, le opinioni implicite sono distribuite tra più recensioni dello stesso utente e richiedono un ragionamento contestuale per inferire le preferenze.
• Rumore Inter-utente: Confrontare recensioni di utenti diversi è problematico a causa di variazioni comportamentali individuali (es. stili linguistici diversi, severità o indulgenza nelle valutazioni). Un "buono" dato da un utente severo può indicare una qualità superiore rispetto a un "fantastico" dato da un utente indulgente.
• Mancanza di Trasparenza (Black Box): I modelli basati su trasformatori (Transformer) attuali, sebbene potenti, operano spesso come "scatole nere", fornendo conclusioni comparative senza spiegare il ragionamento sottostante. Questo riduce la fiducia degli utenti, specialmente quando le decisioni richiedono analisi granulari su attributi specifici.

2. Metodologia: L'Architettura XCom

Il paper propone XCom, un modello basato su Transformer potenziato dall'Intelligenza Artificiale Esplicabile (XAI). L'architettura è suddivisa in tre fasi principali:

A. Pre-elaborazione Basata sugli Aspetti (Aspect-Based Pre-processing)

• Obiettivo: Convertire una coppia di recensioni dello stesso utente in coppie di frasi strutturate per aspetto specifico.
• Meccanismo: Vengono utilizzati quattro classificatori BERT (uno per ogni aspetto: appearance, aroma, palate, taste) per identificare e estrarre le frasi rilevanti per ciascun aspetto. Le recensioni vengono così trasformate in tuple strutturate $(s^1_a, s^2_a)$, dove $s$ rappresenta le frasi estratte per l'aspetto $a$.

B. Classificazione dell'Opinione Comparativa
Il cuore del modello utilizza due classificatori paralleli che vengono poi fusi:

1. Classificatore Basato sul Punteggio (Score-based):
   • Calcola un punteggio di rating per ogni aspetto aggregando i sentimenti degli aggettivi nelle frasi estratte.
   • Se una frase manca di aggettivi, utilizza un regressore XGBoost addestrato su vettori TF-IDF per prevedere il punteggio.
   • Il punteggio finale per un aspetto è il minimo tra i punteggi delle frasi relative.
   • I punteggi delle due recensioni vengono concatenati e passati a un encoder Transformer per generare embedding di rating.
2. Classificatore Semantico (Semantic-based):
   • Processa direttamente le coppie di frasi estratte per catturare le relazioni semantiche profonde, ignorando il calcolo esplicito del punteggio numerico.
   • Utilizza un encoder Transformer per generare embedding semantici.
3. Fusione e Classificazione:
   • Le distribuzioni di probabilità ottenute dai due classificatori (basato su punteggio e semantico) vengono sommate per ottenere la distribuzione finale.
   • La classe prevista è quella con la probabilità più alta tra tre opzioni: -1 (peggiore), 0 (simile/non comparabile), 1 (migliore).

C. Spiegazione Basata su SHAP (XAI)

• Per rendere il modello interpretabile, XCom integra SHAP (SHapley Additive exPlanations).
• SHAP quantifica il contributo di ogni token (parola) alla decisione finale del modello, sostituendo i token con il token [MASK] e misurando l'impatto sulla previsione.
• Questo trasforma il sistema da "scatola nera" a "scatola bianca", evidenziando quali parole specifiche hanno spinto il modello a preferire un prodotto rispetto all'altro per un determinato aspetto.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset SUDO, focalizzato su recensioni di birra con annotazioni a livello di frase e di coppia di recensioni.

• Performance Complessiva: XCom ha ottenuto le prestazioni migliori rispetto a tutte le baseline, raggiungendo un F1-score Macro-averaged di circa 58.56% e un Micro-averaged di 58.38%.
  • Ha superato i modelli basati su feature tradizionali (FastText+SVM/XGBoost) e i modelli Transformer generici (Finetuned-BART, T5).
  • Ha dimostrato una netta superiorità rispetto ai Large Language Models (LLM) generici (Llama-3, Gemini, ChatGPT), che hanno ottenuto F1 inferiori (28-49%), evidenziando la necessità di un'architettura strutturata per compiti di confronto fine-granularità.
• Efficienza Computazionale: Nonostante le alte prestazioni, XCom è significativamente più efficiente dei LLM. Addestrato su encoder BERT (~110M parametri), richiede circa 10 ore di training, contro le 40-80 ore necessarie per i modelli LLM multi-miliardari.
• Analisi per Aspetto: Le prestazioni sono state migliori per Appearance e Taste (F1 > 60%), mentre Palate ha mostrato risultati inferiori a causa della natura sottile e sovrapposta delle espressioni relative alla sensazione in bocca.
• Validazione delle Spiegazioni: L'analisi SHAP ha dimostrato fedeltà: rimuovere i token con il punteggio SHAP più alto ha causato un crollo immediato delle prestazioni, confermando che il modello si basa sulle parole giuste per prendere decisioni.

4. Contributi Chiave

1. Nuovo Framework XAI: Introduzione di XCom, il primo modello che combina estrazione di opinioni comparative implicite con spiegazioni basate su SHAP a livello di token.
2. Approccio "Same-User": Isolamento delle comparazioni tra recensioni dello stesso utente per eliminare il rumore derivante da bias individuali (severità/stile), garantendo una baseline stabile.
3. Architettura Ibrida: Integrazione innovativa di un modulo di previsione del punteggio (basato su regole lessicali e XGBoost) con un modulo di analisi semantica profonda (Transformer), fusi tramite una distribuzione di probabilità combinata.
4. Interpretabilità: Capacità di spiegare perché un prodotto è stato classificato come migliore di un altro per un aspetto specifico (es. evidenziando che "wonderful" è positivo per il gusto, ma "beautiful" è fuorviante se usato per il gusto).

5. Significatività e Limiti

Significatività:
Il lavoro è fondamentale per l'e-commerce e i sistemi di raccomandazione, poiché fornisce non solo una classificazione accurata delle preferenze implicite, ma anche la giustificazione trasparente necessaria per costruire la fiducia dell'utente. Dimostra che modelli più piccoli e specializzati possono superare i LLM generici in compiti di nicchia strutturati, con costi computazionali ridotti.

Limiti e Lavori Futuri:

• Errori a Cascata: L'architettura modulare può propagare errori (es. una classificazione errata dell'aspetto influenza la fase di confronto). Si propone un futuro apprendimento congiunto (joint learning).
• Interpretabilità per Non Esperti: Le mappe SHAP attuali sono tecniche; serve migliorare la presentazione per utenti finali.
• Allineamento Comparativo: SHAP spiega l'importanza dei token all'interno di una recensione, ma non allinea direttamente i termini contrastanti tra le due recensioni. Si sta esplorando un approccio basato su grafi per questo scopo.
• Generalizzazione: Il dataset SUDO è limitato al dominio della birra; futuri lavori dovranno testare la generalizzabilità su altri settori e gestire meglio lo slang e lo stile informale.

In sintesi, XCom rappresenta un passo avanti verso sistemi di opinion mining che sono non solo precisi, ma anche trasparenti e affidabili per il processo decisionale umano.