Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale

Sintesi Tecnica: Creazione del Dataset di Soggettività Estone

Definizione del Problema
L'analisi della soggettività è un compito fondamentale nel Natural Language Processing (NLP) per comprendere le opinioni, gli atteggiamenti e le prospettive umane. Sebbene i dataset esistenti si affidino spesso alla classificazione binaria (oggettivo vs soggettivo) o all'analisi a livello di frase, la percezione umana della soggettività è intrinsecamente graduale ed esiste su un continuum. Inoltre, vi è una mancanza di risorse per le lingue a basse risorse; nello specifico, prima di questo lavoro, non esisteva alcun dataset di soggettività per l'estone. La sfida risiede nel creare un dataset affidabile che catturi la sfumatura della soggettività su una scala continua, affrontando al contempo l'inherente variabilità dell'annotazione umana ed esplorando la fattibilità dell'automazione di questo processo utilizzando i Large Language Models (LLM).

Metodologia
Gli autori hanno costruito il Dataset di Soggettività Estone, composto da 1.000 documenti valutati su una scala continua da 0 (completamente oggettivo) a 100 (completamente soggettivo).

• Raccolta dei Dati: Il dataset include 300 testi giornalistici (150 articoli di notizie, 150 pezzi d'opinione) e 700 testi web selezionati casualmente dal Corpus Nazionale Estone del 2021. I testi sono stati limitati tra i 100 e i 6.000 caratteri per garantire un'analisi significativa pur mantenendo la concentrazione dell'annotatore. Il corpus copre generi diversi, tra cui pubblicità, social media, testi legali e letteratura.
• Protocollo di Annotazione:
  • Studio Pilota: Uno studio preliminare con 60 testi ha convalidato la scala continua e la selezione delle fonti (che spaziavano dal neutralità della radiotelevisione pubblica ai media alternativi di opinione).
  • Annotazione Principale: Tre annotatori (A1, A2, A3) hanno valutato l'intero dataset di 1.000 testi utilizzando una scala mobile in un ambiente di sondaggio. Hanno inoltre fornito valutazioni di fiducia ("per nulla sicuro" da "interamente sicuro").
  • Ri-annotazione: Per investigare l'elevata divergenza tra gli annotatori, un sottoinsieme di 250 testi (selezionati per divergenze estreme nei punteggi) è stato ri-annotato da due degli annotatori originali dopo un intervallo di quattro mesi.
  • Quarto Annotatore: Un quarto annotatore (A4), che aveva partecipato al pilota, è stato reclutato per annotare l'intero dataset al fine di migliorare l'affidabilità dell'aggregazione dei punteggi.
• Esperimento LLM: Gli autori hanno utilizzato GPT-5 per annotare l'intero dataset di 1.000 testi. Al modello è stato chiesto di assegnare un punteggio (0–100) e fornire una motivazione. Per valutare la coerenza, il dataset è stato elaborato in tre batch separati e i punteggi sono stati mediati.

Contributi Chiave

1. Primo Dataset di Soggettività Estone: La creazione di un dataset di soggettività a livello di documento per l'estone, annotato su una scala continua 0–100 invece che su una categoria binaria.
2. Analisi della Variabilità dell'Annotazione: Un esame dettagliato dell'accordo tra annotatori, che rivela come, sebbene le correlazioni siano moderate, esse siano statisticamente significative. Lo studio identifica che la lunghezza del testo e il genere influenzano la coerenza dell'annotazione in modo differente.
3. Effetti Contestuali: Il documento documenta l'influenza del contesto di annotazione (la sequenza di testi presentati) sulla valutazione umana, notando che gli annotatori possono inconsciamente regolare le proprie scale interne in base ai testi precedenti.
4. Confronto Umano-LLM: Un confronto empirico tra le annotazioni umane e gli output di GPT-5, evidenziando specifiche divergenze sistematiche nel modo in cui umani e modelli interpretano gli indizi di soggettività.

Risultati

• Accordo tra Annotatori: Le correlazioni iniziali tra i tre annotatori primari erano moderate (coefficiente di Pearson r compreso tra 0,525 e 0,627). La ri-annotazione del sottoinsieme ad alta divergenza ha migliorato l'accordo tra i due partecipanti che hanno effettuato la ri-annotazione a r = 0,678. Il quarto annotatore ha mostrato correlazioni coerenti (0,627–0,675) con il gruppo iniziale.
• Fattori che Influenzano i Punteggi:
  • Lunghezza del Testo: I testi più lunghi sono stati generalmente valutati come più soggettivi, sebbene questa correlazione variasse significativamente per genere (ad esempio, forte nei testi legali, trascurabile nelle notizie).
  • Contesto: Gli annotatori hanno riferito che la valutazione di una serie di testi soggettivi li ha resi più sensibili all'oggettività nei testi successivi, suggerendo effetti di sequenza.
  • Fiducia: Le valutazioni di fiducia degli annotatori non correlavano fortemente con il grado di divergenza tra gli annotatori.
• Prestazioni dell'LLM: GPT-5 ha dimostrato un'alta coerenza interna attraverso tre sessioni (Pearson's r ≈ 0,98). Tuttavia, confrontato con gli umani, il modello ha mostrato schemi distinti:
  • Range di Punteggio: GPT-5 ha raramente assegnato punteggi superiori a 98, mentre gli umani hanno utilizzato l'intero intervallo 0–100.
  • Citazioni: GPT-5 tendeva a valutare i testi contenenti citazioni dirette (comuni nelle notizie) come più soggettivi rispetto agli umani, probabilmente interpretando il contenuto citato come parte della soggettività del testo piuttosto che come un fatto riportato.
  • Tono vs Contenuto: Gli umani hanno valutato i testi con linguaggio colloquiale, slang ed emoticon (ad esempio, post nei forum) come altamente soggettivi. GPT-5 si è concentrato maggiormente sul contenuto fattuale, assegnando punteggi di soggettività inferiori a questi testi.

Significatività e Rivendicazioni
Il documento sostiene che il dataset creato sia una risorsa valida e utile per la ricerca linguistica e lo sviluppo di sistemi di rilevamento automatico della soggettività. Gli autori affermano che:

• Gli annotatori umani possono utilizzare costantemente una scala numerica continua per la soggettività, nonostante la moderata divergenza tra annotatori.
• La valutazione automatica della soggettività basata su LLM è fattibile e produce punteggi plausibili che correlano moderatamente con le valutazioni umane.
• Tuttavia, gli LLM non sono un'alternativa intercambiabile all'annotazione umana. Lo studio conclude che gli LLM si affidano a indizi diversi (ad esempio, dando priorità al contenuto rispetto al tono) rispetto agli umani. Pertanto, sebbene gli LLM possano integrare gli sforzi umani in applicazioni che richiedono velocità e automazione, non possono ancora sostituire gli annotatori umani in compiti che richiedono una comprensione della soggettività sfumata e simile a quella umana, particolarmente nella ricerca linguistica o interpretativa.

Gli autori sottolineano che il lavoro futuro dovrebbe concentrarsi sull'espansione del dataset con ulteriori annotazioni umane per comprendere meglio gli effetti del contesto e sul perfezionamento del prompt engineering per ridurre le discrepanze uomo-LLM.