MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

Nel vasto panorama del linguaggio umano, esiste una tensione costante tra ciò che è semplicemente vero e ciò che viene percepito come vero. Per decenni, gli scienziati che lavorano nel campo dell'elaborazione del linguaggio naturale hanno cercato di insegnare ai computer a distinguere tra un'affermazione di fatto e un'espressione di opinione personale. Questo compito, noto come rilevamento della soggettività, è cruciale per tutto, dal smistamento degli articoli di notizie alla comprensione del sentimento pubblico. Tuttavia, l'approccio tradizionale è stato spesso troppo semplice, trattando il linguaggio come un interruttore binario dove una frase è o oggettiva o soggettiva. In realtà, la comunicazione umana è raramente così bianca o nera. Un rapporto giornalistico può esporre un fatto pur inquadrandolo sottilmente con la prospettiva di un giornalista; un articolo scientifico può presentare dati rigorosi pur utilizzando un linguaggio cauto per descrivere possibilità future. La sfida risiede nel catturare questo terreno intermedio fluido, dove l'"impronta digitale dell'autore" è nascosta dentro parole che appaiono neutre in superficie.

Un team di ricercatori dell'Università di Alicante, in Spagna, ha compiuto un passo significativo verso la risoluzione di questo enigma creando una nuova risorsa chiamata MUESCA. Invece di forzare i testi in scatole rigide, hanno costruito un dataset che tratta la soggettività come una scala mobile, o un continuum. Per farlo, hanno raccolto e analizzato tre tipi di scrittura molto diversi: abstract scientifici, che rappresentano l'estremità più oggettiva dello spettro; recensioni dei consumatori, che rappresentano l'estremità più soggettiva; e articoli di notizie, che si collocano nel mezzo, disordinato e ibrido. Esaminando come gli autori di questi diversi generi utilizzano specifici strumenti linguistici — come parole che mostrano certezza, frasi che mostrano dubbio o pronomi che rivelano il coinvolgimento personale — i ricercatori hanno mappato esattamente come la "voce" dello scrittore cambi attraverso questi stili. Il loro lavoro fornisce un nuovo modo per misurare la presenza invisibile di un autore umano all'interno di un testo, offrendo una mappa più sfumata attraverso cui i computer possano navigare nel complesso mondo dell'espressione umana.

Il cuore di questo progetto è il corpus MUESCA, una collezione di 1.865 frasi tratte da 135 documenti. I ricercatori non si sono limitati a raccogliere queste frasi; le hanno meticolosamente annotate, segnando specifici tratti grammaticali e lessicali che segnalano quanto l'autore si stia impegnando in ciò che sta dicendo. Hanno diviso questi segnali in due gruppi principali: alto impegno dell'autore e basso impegno dell'autore. L'alto impegno include marcatori di certezza, come l'uso del tempo futuro o l'enunciare qualcosa come un fatto, e marcatori di partecipazione, come l'uso di "io" o "noi". Il basso impegno include marcatori di dubbio, come il modo congiuntivo o parole come "forse", e marcatori di distanziamento, come l'uso della forma passiva per nascondere chi ha compiuto l'azione. Contando questi tratti, il team ha potuto vedere come gli abstract scientifici tendano a fare affidamento su dati specifici e strutture impersonali, mentre le recensioni siano piene di opinioni personali e coinvolgimento diretto. Gli articoli di notizie, come previsto, mostravano un mix di entrambi, confermando il loro status di genere ibrido.

Per garantire che i loro risultati fossero robusti, i ricercatori hanno testato se questi marcatori linguistici potessero effettivamente aiutare i computer a distinguere tra i diversi tipi di scrittura. Hanno addestrato modelli di apprendimento automatico per classificare i testi in categorie oggettive, ibride o soggettive. Quando ai modelli veniva dato solo il testo grezzo, performavano ragionevolmente bene, ma quando i ricercatori aggiungevano i marcatori pragmatici specifici del loro schema di annotazione, i modelli diventavano significativamente migliori nel compito. La combinazione più efficace di caratteristiche coinvolgeva la misurazione del livello di specificità e del grado di certezza. Questo approccio ha permesso al computer di comprendere non solo di cosa trattasse il testo, ma anche come l'autore stesse presentando tali informazioni. I risultati sono stati particolarmente forti per il genere delle notizie, che è spesso il più difficile da classificare perché mescola fatti e interpretazione. Utilizzando questi marcatori pragmatici, il modello ha migliorato la sua capacità di individuare i modi sottili con cui i giornalisti inquadrano le loro storie.

I ricercatori hanno anche esplorato come queste regole progettate dall'uomo potessero funzionare insieme all'intelligenza artificiale moderna. Hanno combinato i loro marcatori specifici con un potente modello linguistico chiamato BETO, che è addestrato su vastissime quantità di testo spagnolo. Nonostante questo modello avanzato fosse già molto bravo a comprendere il linguaggio, l'aggiunta dei marcatori di soggettività specifici ha comunque migliorato le sue prestazioni. Il miglioramento era piccolo in termini percentuali, ma statisticamente significativo, suggerendo che le regole esplicite sull'impegno dell'autore aiutassero il computer a risolvere ambiguità che i puri schemi statistici perdevano. Ciò è particolarmente vero per gli articoli di notizie, dove l'accuratezza del modello aumentava quando poteva vedere i segnali linguistici specifici di dubbio o certezza. Lo studio conferma che, sebbene i grandi modelli di IA siano potenti, beneficiano ancora di una comprensione strutturata di come gli esseri umani costruiscono i loro argomenti ed esprimono le proprie convinzioni.

Uno degli aspetti più rivelatori dello studio è stato il modo in cui il genere delle notizie si è comportato quando messo a confronto con gli altri due estremi. Quando i ricercatori hanno testato il modello chiedendogli di distinguere le notizie dagli abstract scientifici, il modello ha trovato relativamente facile distinguerli. Tuttavia, quando gli è stato chiesto di distinguere le notizie dalle recensioni dei consumatori, il compito è stato più difficile. Ciò suggerisce che il linguaggio del giornalismo, nonostante la sua reputazione di neutralità, condivide più DNA pragmatico con gli articoli di opinione personale che con il linguaggio distaccato della scienza. Gli articoli di notizie contenevano spesso abbastanza inquadramento soggettivo e linguaggio valutativo da sfumare il confine con le recensioni, rendendo più difficile separarli dal polo soggettivo. Questo risultato supporta l'idea che la soggettività non sia una proprietà fissa di un tipo di testo, ma una qualità fluida che può cambiare a seconda di come l'autore sceglie di presentare le proprie informazioni.

Il progetto MUESCA non pretende di aver risolto interamente il problema del rilevamento della soggettività, ma fornisce una solida base per il lavoro futuro. I ricercatori hanno messo il loro dataset e le loro linee guida di annotazione a disposizione di altri, permettendo alla comunità scientifica di costruire sul proprio lavoro. Pianificano di espandere il corpus per includere altri generi, come i post sui social media e i rapporti tecnici, per vedere se il loro metodo regge in ambienti più informali o polarizzati. Vedono anche potenziali applicazioni nel rilevamento dell'inganno, dove il modo in cui le informazioni vengono presentate — attraverso la certezza o il dubbio — potrebbe essere più rivelatore dei fatti stessi. Concentrandosi sulla consegna pragmatica dell'informazione piuttosto che solo sul contenuto, questo approccio offre una nuova lente per comprendere come gli esseri umani usano il linguaggio per dare forma alla realtà. Il lavoro dimostra che, scomponendo il compito complesso della soggettività in componenti linguistiche misurabili, possiamo costruire strumenti che siano non solo più accurati, ma anche più trasparenti su come raggiungono le loro conclusioni.