Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model

Sintesi Tecnica: Abbiamo ancora bisogno del Fine-Tuning? Analisi del Sentiment in Turco nell'era dei Large Language Models

Definizione del Problema
Questo studio indaga se il fine-tuning supervisionato sia ancora necessario per l'analisi del sentiment in lingua turca nell'era dei Large Language Models (LLM). Sebbene gli LLM capaci di seguire istruzioni offrano capacità zero-shot e few-shot, la loro affidabilità in compiti di sentiment granulare — specificamente quelli che richiedono una distinzione a tre classi (positivo, negativo e neutro) — rimane incerta. La ricerca affronta una lacuna nelle risorse di NLP per il turco, dove studi precedenti hanno stabilito l'efficacia di modelli supervisionati e basati su BERT, ma le prestazioni degli LLM tramite prompting su recensioni realistiche di e-commerce a più classi non sono state sistematicamente confrontate. Una sfida centrale identificata è la classe "neutra", che spesso coinvolge descrizioni fattuali, debole valutatività o affetti misti, rendendola più difficile da classificare rispetto alle polarità binarie.

Metodologia
Gli autori hanno condotto uno studio comparativo controllato utilizzando un dataset di 6.367 recensioni di e-commerce in turco, annotate in tre categorie di sentiment: negativo (0), neutro (1) e positivo (2). Il dataset è stato suddiviso in l'80% per l'addestramento e il 20% per il test (1.274 istanze).

L'allestimento sperimentale ha valutato tre approcci distinti sulla stessa partizione di test:

1. Machine Learning Classico: Regressione Logistica, Support Vector Machines (SVM), Random Forest e Naib Bayes, utilizzando feature TF-IDF (massimo 5.000 feature).
2. Modelli con Fine-Tuning Supervisionato: Modelli transformer pre-addestrati inclusi BERTurk (32k e 128k Cased) e Turkish ELECTRA, sottoposti a fine-tuning con un tasso di apprendimento di $2\times10^{-5}$, 5 epoche e una dimensione del batch di 32.
3. Large Language Models tramite Prompting: Sette LLM general-purpose (Gemma2:9B, Gemma3:27B, GPT-OSS:20B, Llama 3.1:8B, Magibu:11B e Qwen3:32B) valutati in un contesto zero-shot utilizzando un prompt standardizzato e parametri di decodifica fissi (temperatura 0.1, top_p 1).

Le prestazioni sono state misurate utilizzando accuratezza, precisione, recall e F1-score. Lo studio ha incluso anche una rianalisi binaria (escludendo le istanze neutre) per isolare la difficoltà della classe neutra.

Risultati Chiave

• Prestazioni Complessive: I modelli BERTurk sottoposti a fine-tuning hanno ottenuto le prestazioni più elevate. BERTurk Cased 128k ha raggiunto un'accuratezza di 0,837 e un F1 pesato di 0,834. Questo ha superato significativamente il miglior LLM tramite prompting, Qwen3:32B (0,773 di accuratezza), di circa 6,4 punti percentuali, rappresentando una riduzione di circa il ~28% degli errori rispetto al baseline del miglior LLM.
• La Sfida della Classe Neutra: La principale fonte di errore è stata la classe neutra (22,6% del set di test). Mentre i modelli BERTurk hanno raggiunto punteggi di recall neutra di circa 0,60, la maggior parte degli LLM ha faticato significativamente (ad esempio, Qwen3:32B al 0,312, Llama 3.1:8B al 0,160).
• Tendenza alla Polarizzazione: Molti LLM hanno mostrato un forte bias verso il collasso della classe neutra in categorie polarizzate. Ad esempio, Llama 3.1:8B ha mappato il 70,1% delle istanze neutre reali nella classe positiva, e Magibu:11B ha mappato il 60,8% nella classe positiva.
• Prestazioni Binarie vs Ternarie: Quando le istanze neutre sono state rimosse per creare un compito binario, le prestazioni degli LLM sono migliorate drasticamente (ad esempio, Qwen3:32B è salito a 0,908 di accuratezza). Al contrario, il modello BERTurk sottoposto a fine-tuning ha mostrato un guadagno più modesto (da 0,837 a 0,904). Ciò suggerisce che i modelli sottoposti a fine-tuning codificano intrinsecamente la struttura decisionale ternaria, mentre gli LLM si affidano maggiormente a segnali di polarità grossolani che diventano sufficienti solo quando il confine neutro viene rimosso.

Contributi Principali

1. Benchmark Empirico: Lo studio fornisce un confronto rigoroso tra approcci classici, con fine-tuning e tramite prompting specificamente per l'analisi del sentiment a tre classi in turco, evidenziando come il fine-tuning supervisionato rimanga superiore in questo dominio specifico.
2. Valore Diagnostico della Classe Neutra: Il documento dimostra che la classe neutra funge da critico "stress test" per la competenza del modello. Alte prestazioni nei compiti binari possono mascherare l'incapacità di un modello di distinguere un sentiment sfumato e non polarizzato.
3. Insight Metodologico: Gli autori sostengono che le valutazioni basate esclusivamente sulle distinzioni positivo-negativo possano sovrastimare la competenza degli LLM tramite prompting, oscurando i fallimenti sulle parti più interpretativamente impegnative dello spazio delle etichette.

Significatività e Rivendicazioni
Il documento afferma che per la classificazione del sentiment in turco realistica che coinvolge una categoria neutra, il fine-tuning supervisionato è attualmente più efficace del prompting zero-shot con LLM general-purpose. Gli autori postulano che il vantaggio dei modelli sottoposti a fine-tuning non risieda meramente nell'accuratezza grezza, ma nella loro capacità di allinearsi allo schema di annotazione specifico e preservare la piena struttura ternaria del compito.

I risultati suggeriscono che, sebbene gli LLM siano competitivi nel rilevamento della polarità grossolana, le loro prestazioni degradano sostanzialmente nei contesti a tre classi collassando le recensioni neutre in categorie polarizzate. Di conseguenza, lo studio conclude che in contesti realistici dove la granularità dell'annotazione include una classe neutra, il fine-tuning specializzato rimane necessario per ottenere prestazioni robuste, e che l'inclusione della classe neutra è cruciale per una valutazione valida dei sistemi di analisi del sentiment.