Language-Specific Sentiment Polarity Biases in Encoder and Large Language Model Classification of Product Reviews

Sintesi Tecnica: Bias di Polarità del Sentimento Specifici per Lingua nella Classificazione di Recensioni di Prodotti tramite Encoder e Large Language Model

Problematica
Sebbene i sistemi di analisi del sentiment siano ampiamente implementati per il data mining multilingue delle opinioni, la loro affidabilità è spesso presunta costante tra le classi di sentiment (positivo vs negativo). Tuttavia, ricerche precedenti suggeriscono che i modelli possano esibire bias di polarità, ovvero differenze sistematiche di accuratezza tra le classificazioni positive e quelle negative. La natura specifica di questi bias rimane poco chiara per quanto riguarda l'interazione con diverse architetture di modelli (solo encoder vs LLM basati su decoder) e distinti contesti linguistici/culturali. Questo studio investiga se l'accuratezza della classificazione del sentiment differisca significativamente tra recensioni positive e negative, e se tali bias siano specifici sia dell'architettura del modello che della lingua target, in particolare in lingue tipologicamente distinte come il francese e il giapponese.

Metodologia
Lo studio ha utilizzato l'Amazon Multilingual Reviews Corpus, estraendo un dataset bilanciato di 500 recensioni per lingua (250 positive, 250 negative) per il francese e il giapponese. Le recensioni positive sono state definite come valutazioni da 4 a 5 stelle, e quelle negative come da 1 a 2 stelle.

Sono stati valutati quattro modelli:

1. Modello Encoder: mDeBERTa-v3 (un encoder multilingue sottoposto a fine-tuning su MultiNLI e XNLI), utilizzando un approccio zero-shot di Natural Language Inference (NLI) in cui le recensioni venivano valutate rispetto a template di ipotesi ("Il sentiment è positivo/negativo").
2. Large Language Models (LLM): Claude Opus 4.6, GPT-5.4 e Gemini 3.1 Pro, istruiti per classificare il sentiment con una risposta di una singola parola.

Analisi e Metriche:

• Test Statistici: Sono stati utilizzati test del chi-quadrato di indipendenza (con correzione di continuità di Yates) per determinare se le differenze di accuratezza tra le classi positive e negative fossero statisticamente significative all'interno di ogni coppia modello-lingua.
• Dimensione dell'Effetto: È stato calcolato il V di Cramér per misurare l'entità dell'associazione.
• Analisi degli Errori: Le matrici di confusione sono state analizzate per distinguere tra Falsi Negativi (recensioni positive classificate erroneamente come negative) e Falsi Positivi (recensioni negative classificate erroneamente come positive).
• Revisione Qualitativa: Le recensioni classificate erroneamente sono state analizzate manualmente per identificare le caratteristiche linguistiche (es. critica indiretta, marcatori di sentiment misto) che contribuiscono agli errori.
• Potenziale di Ensemble: L'accordo inter-modello e la sovrapposizione degli errori sono stati calcolati per valutare la fattibilità della combinazione delle architetture.

Risultati Chiave
Lo studio ha confermato che i bias di polarità del sentiment sono sia specifici dell'architettura che della lingua:

• Risultati per il Francese (Bias Negativo negli LLM):

  • Tutti e tre gli LLM hanno mostrato un bias negativo statisticamente significativo, classificando le recensioni negative con un'accuratezza maggiore (99,2%) rispetto a quelle positive (91,6%–94,4%).
  • L'analisi degli errori ha rivelato che gli LLM erano 7–10 volte più propensi a classificare erroneamente recensioni positive come negative (Falsi Negativi), spesso a causa di un peso eccessivo dato ai marcatori negativi espliciti (es. "mais", "problème") in recensioni con sentiment misto.
  • mDeBERTa non ha mostrato alcun bias significativo in francese, performando equamente su entrambe le classi (~92%).

• Risultati per il Giapponese (Bias Positivo nell'Encoder):

  • mDeBERTa ha esibito un bias positivo statisticamente significativo, ottenendo un'accuratezza del 92,4% sulle recensioni positive rispetto all'84,4% su quelle negative.
  • Il modello encoder ha avuto difficoltà con la critica indiretta comune nella comunicazione ad alto contesto giapponese (es. attenuare il feedback negativo con una cornice positiva), portando a un alto tasso di Falsi Positivi (39 contro 19).
  • Al contrario, gli LLM non hanno mostrato alcun bias significativo in giapponese, mantenendo un'accuratezza bilanciata (~95–97%) tra entrambe le classi. Essi sono riusciti a interpretare correttamente il sentiment negativo implicito che l'encoder aveva mancato.

• Risultati dell'Ensemble:

  • Gli LLM hanno mostrato un alto accordo (98,2%–98,5%) sulle classificazioni corrette, ma una bassa sovrapposizione degli errori con mDeBERTa (23,7%–24,7%).
  • Ciò suggerisce che le architetture falliscono su tipi diversi di recensioni, implicando che un approccio ensemble (es. stacking o routing) potrebbe raggiungere un'accuratezza superiore (98,0%) rispetto a qualsiasi singolo modello.

Significatività e Rivendicazioni
L'articolo sostiene che affidarsi esclusivamente all'accuratezza complessiva è insufficiente per l'implementazione di sistemi di analisi del sentiment multilingue. Le conclusioni dimostrano che:

1. Il Bias è Dipendente dal Contesto: I bias di polarità non sono inerenti esclusivamente all'architettura del modello, ma emergono dall'interazione tra l'architettura e gli stili di comunicazione specifici della lingua (es. la direttezza del francese rispetto all'indirettezza del giapponese).
2. Compromessi Architetturali: I modelli encoder (mDeBERTa) possono avere difficoltà con le espressioni negative indirette e ad alto contesto, mentre gli LLM possono reagire eccessivamente ai marcatori negativi espliciti nei contesti di sentiment misto.
3. Implicazioni Pratiche: L'uso di un singolo tipo di modello su scala globale può introdurre errori sistematici. Ad esempio, utilizzare solo gli LLM per l'analisi del francese potrebbe sottostimare il sentiment positivo di 5–8 punti percentuali, mentre l'uso del solo mDeBERTa per il giapponese potrebbe mancare una parte significativa dei reclami dei clienti.
4. Raccomandazione: Gli autori sostengono la necessità di valutare i sistemi di sentiment su base di singola classe di sentiment, piuttosto che sull'accuratezza aggregata, e suggeriscono che i metodi ensemble che sfruttano i pattern di errore complementari di encoder e LLM possano mitigare questi bias.

Limitazioni Riconosciute
Gli autori osservano che lo studio è limitato a due lingue (francese e giapponese) e al dominio delle recensioni di prodotti. Avvertono che i pattern potrebbero differire in altre lingue (particolarmente in altre lingue asiatiche ad alto contesto) o domini (social media, notizie). Inoltre, l'analisi qualitativa degli errori è stata esplorativa e priva di una valutazione formale dell'affidabilità inter-valutatore.