100,000+ Movie Reviews from Kazakhstan: Russian, Kazakh, and Code-Switched Texts

Riepilogo Tecnico: Oltre 100.000 Recensioni di Film dal Kazakistan

Enunciato del Problema
I dataset pubblicamente disponibili per l'analisi del sentiment in kazako rimangono scarsi, limitando la ricerca riproducibile in questa lingua sottorisorsa. Inoltre, il Kazakistan presenta una sfida multilingue unica, dove i contenuti generati dagli utenti sono prevalentemente in russo, ma includono il kazako e frequenti cambi di codice (kazako-russo). I benchmark esistenti spesso mancano di ampie finestre temporali o non riescono a catturare le specifiche sfumature sociolinguistiche delle varietà regionali (ad esempio, il russo del Kazakistan). Inoltre, la previsione del sentiment granulare è spesso compromessa dalla fuoriuscita di etichette (label leakage), dove gli utenti dichiarano esplicitamente i voti all'interno del testo della recensione, permettendo ai modelli di bypassare un'inferenza genuina del sentiment.

Metodologia
Gli autori hanno costruito un nuovo corpus di 100.502 recensioni di film raccolte da kino.kz, che copre un arco di 25 anni (2001–2025) e 4.943 titoli unici. Il dataset include testi in russo, kazako e testi con cambio di codice.

• Annotazione: Le recensioni sono state annotate manualmente per lingua e polarità del sentiment (Negativo, Neutro, Positivo). È stata estratta e normalizzata un sottoinsieme di 11.309 recensioni contenenti valutazioni esplicite degli utenti (scala 0–10). Per garantire l'affidabilità dell'annotazione con un singolo annotatore, è stato utilizzato GPT-4.1 come misura compensativa, ottenendo un'accuratezza dell'89,54% e un accordo sostanziale (κ di Cohen = 0,78) rispetto alle etichette umane.
• Compiti: Sono stati definiti due compiti di classificazione supervisionata:
  1. Classificazione della Polarità (PC): Classificazione a tre vie (Negativo/Neutro/Positivo).
  2. Classificazione del Punteggio (SC): Classificazione a cinque classi basata sulle valutazioni degli utenti, raggruppate in intervalli (0–2, 3–4, 5–6, 7–8, 9–10) per affrontare lo squilibrio di classe severo.
• Controllo della Fuoriuscita di Dati: Per il compito SC, i riferimenti espliciti ai punteggi (ad esempio, "9 su 10") sono stati sostituiti con un token segnaposto (scoretoken) per impedire ai modelli di fare affidamento su indizi lessicali diretti piuttosto che inferire il sentiment dal contesto.
• Modelli: Lo studio ha confrontato baseline classiche (SVM lineare, Regressione Logistica, Naïve Bayes utilizzando BoW/TF-IDF) con modelli transformer multilingue (mBERT, XLM-RoBERTa, RemBERT).
• Valutazione: I dati sono stati suddivisi a livello di film (80/10/10) per prevenire la fuoriuscita tematica. Le prestazioni sono state misurate utilizzando Accuratezza, Precisione, Recall, F1 medio macro e κ di Cohen, con priorità data all'F1 medio macro a causa dello squilibrio di classe.

Risultati Chiave

• Classificazione della Polarità: I modelli transformer hanno costantemente superato le baseline classiche. RemBERT ha ottenuto le prestazioni più elevate con un F1 medio macro sul set di test di 0,82 (κ = 0,88), seguito da XLM-RoBERTa (0,81) e mBERT (0,74). La SVM classica ha raggiunto un F1 di 0,73.
  • Prestazioni per Classe: I modelli hanno ottenuto risultati solidi sulle classi Positivo (F1=0,97) e Negativo (F1=0,94), ma hanno faticato con la classe Neutro (F1=0,56), che è rara (circa il 4–5% dei dati) e spesso espressa implicitamente.
  • Prestazioni per Lingua: Le prestazioni sono correlate al volume dei dati. Le recensioni in russo hanno prodotto l'F1 più alto (0,81), mentre le recensioni in kazako (0,77) e con cambio di codice (0,76) hanno mostrato risultati leggermente inferiori ma rispettabili.
• Classificazione del Punteggio: Sotto una valutazione controllata per la fuoriuscita di dati, le prestazioni sono diminuite significativamente per tutti i modelli, con punteggi F1 medi macro compresi tra 0,50 e 0,55.
  • RemBERT e SVM hanno ottenuto l'F1 più alto (0,54–0,55).
  • Il divario tra i transformer e le baseline classiche si è ridotto, suggerendo che, una volta mascherati gli indizi espliciti di valutazione, la previsione granulare del punteggio si basa su caratteristiche sottili su cui i modelli profondi non superano drasticamente i modelli lineari in questo specifico contesto.
  • I modelli hanno ottenuto buoni risultati sull'intervallo di punteggio più frequente (Punteggio 5, F1=0,88) ma hanno fallito sugli intervalli intermedi (ad esempio, Punteggio 2, F1=0,09) a causa della scarsità di dati.

Significato e Affermazioni
Il documento afferma che il dataset è una risorsa significativa per la comunità NLP per tre motivi principali:

1. Profondità Temporale: L'arco di 25 anni permette di tracciare i cambiamenti negli atteggiamenti del pubblico verso i fenomeni sociali e il ruolo evolutivo della lingua kazaka nel discorso digitale (ad esempio, il passaggio dalle richieste di parlare kazako all'uso sicuro).
2. Diversità Multilingue: Cattura il cambio di codice naturale kazako-russo e le varietà di "russo del Kazakistan", inclusi entità culturalmente specifiche e costruzioni calcheggiate, fornendo un banco di prova realistico per la variazione linguistica regionale.
3. Benchmark Diagnostico: Gli esperimenti evidenziano difficoltà specifiche del dataset spesso trascurate nei benchmark più puliti: la rarità e l'ambiguità della polarità neutra e la suscettibilità della previsione granulare del punteggio alla fuoriuscita di etichette.

Gli autori posizionano questo lavoro non come una soluzione definitiva a tutte le sfide del sentiment, ma come una baseline riproducibile e uno strumento diagnostico per la ricerca futura sulla modellazione multilingue, sul cambio di codice e sull'inferenza robusta del sentiment in testi reali e culturalmente radicati provenienti dal Kazakistan. Il dataset, le linee guida di annotazione e i modelli addestrati sono rilasciati pubblicamente per supportare questi sforzi.