A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Questo articolo presenta un benchmark multi-dominio che valuta cinque modelli linguistici di grandi dimensioni, un lessico basato su regole e un transformer supervisionato rispetto alle annotazioni umane, rivelando che mentre i modelli di alto livello come Claude Opus 4.7 e GPT-5.5 raggiungono un forte allineamento con gli esseri umani, persiste un significativo disaccordo tra i modelli e con le etichette umane — in particolare sul testo informale — dimostrando che la selezione del modello impatta materialmente sui risultati della classificazione del sentiment.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo dei computer che leggono e comprendono il linguaggio, esiste un compito antico quanto internet stesso: capire se un pezzo di testo è felice, triste o se sta solo enunciando un fatto. Questo è chiamato analisi del sentiment. Per anni, le persone hanno usato questi strumenti per ipotizzare come il mercato azionario reagirà a un rapporto di notizie, per vedere se i clienti sono arrabbiati per un prodotto o per monitorare l'umore pubblico durante una crisi sanitaria. Recentemente, è arrivata una nuova generazione di questi programmi informatici, noti come modelli linguistici di grandi dimensioni (large language models). Questi sono gli stessi tipi di sistemi che possono scrivere storie, rispondere a domande e sostenere conversazioni. Poiché sono molto bravi a comprendere il linguaggio umano, molte persone hanno iniziato a usarli per svolgere il lavoro di smistamento del testo in base alle emozioni, sperando di sostituire il lavoro lento e costoso dei revisori umani con un singolo comando informatico.
Ma c'è un problema con questo nuovo approccio. Proprio come persone diverse potrebbero non essere d'accordo sul fatto che una recensione cinematografica sia sarcastica o sincera, anche questi diversi programmi informatici potrebbero non concordare tra loro. Un programma potrebbe definire una frase "positiva", mentre un altro potrebbe definire la stessa identica frase "negativa". Se una banca o un ospedale si affidano a questi strumenti per prendere decisioni importanti, è fondamentale quale di essi scelgano. Finora, nessuno aveva controllato sistematicamente quanto bene questi diversi programmi concordino tra loro, o quanto spesso concordino con i giudici umani, quando analizzano lo stesso testo.
Un ricercatore di nome Aneesh K Sajan ha deciso di risolvere questa questione conducendo un enorme esperimento controllato. Ha raccolto cinque dei modelli linguistici più avanzati attualmente disponibili provenienti da quattro diverse aziende tecnologiche, insieme a due strumenti più vecchi e semplici che fungono da base di confronto. Li ha nutriti con un totale di 8.872 frasi tratte da cinque diversi set di dati. Queste frasi provenivano da una varietà di fonti: rapporti finanziari formali, post casuali sui social media, recensioni di film e chiamate sugli utili. L'obiettivo era vedere se i computer potessero identificare correttamente l'emozione nel testo rispetto a come era stata etichettata dagli esseri umani e, cosa più importante, vedere quanto spesso i computer concordassero tra loro.
I risultati hanno rivelato una netta divisione nelle prestazioni. Due modelli, uno di un'azienda chiamata Anthropic e un altro di OpenAI, si sono distinti come i più accurati. Quando questi due hanno esaminato testi finanziari formali, hanno corrisposto quasi perfettamente ai giudizi umani. Inoltre, concordavano tra loro su quasi il 90 percento delle frasi analizzate. Un terzo modello di OpenAI era a brevissima distanza, formando un gruppo compatto di strumenti ad alte prestazioni che generalmente vedevano il mondo nello stesso modo. Tuttavia, un modello di Google, progettato per "pensare" attraverso i problemi prima di rispondere, è stato sorprendentemente scarso. Ha sbagliato il sentiment così spesso che i suoi risultati erano appena migliori di un caso casuale. Il ricercatore ha testato una teoria specifica per vedere se questo fallimento fosse dovuto al fatto che il modello di Google passasse troppo tempo a riflettere su domande semplici, un fenomeno noto come "overthinking" (pensare troppo). Ha costretto il modello a rispondere con un tempo di riflessione molto più breve, ma la scarsa prestazione è rimasta. Ciò ha escluso l'idea che il modello stesse semplicemente sovra-analizzando il compito; il fallimento era inerente al modo in cui quel particolare modello si comportava in quella configurazione.
Un altro modello open-source, che può essere eseguito sul computer di un ricercatore invece che su un server cloud, ha avuto prestazioni moderate. Non era accurato quanto i principali modelli commerciali, ma era significativamente migliore degli strumenti più vecchi basati su regole che erano stati utilizzati per anni. Lo studio ha anche scoperto che il tipo di testo contava molto. Tutti i modelli erano molto più bravi a comprendere la scrittura formale e professionale rispetto alla comprensione del linguaggio casuale e informale come tweet o messaggi di testo. Sul testo informale, anche i migliori modelli sono scesi a un livello di accordo che era solo "moderato", il che significa che discordavano ancora con gli umani e tra di loro su un gran numero di frasi.
Forse il dato più sorprendente era quanto poco i modelli concordassero effettivamente tra loro. Quando il ricercatore ha esaminato l'intero gruppo di sei strumenti, tutti davano la stessa identica risposta solo su circa il 14-24 percento delle frasi. Sulle restanti frasi, non c'era una chiara maggioranza. Ciò significa che per una vasta porzione del testo che le persone analizzano ogni giorno, il risultato finale dipende interamente da quale programma informatico si capita di utilizzare. Se un analista finanziario usa un modello per leggere un rapporto e un altro analista ne usa uno diverso, potrebbero raggiungere conclusioni opposte sulla stessa notizia.
Lo studio conclude che, sebbene questi nuovi strumenti siano potenti, non sono intercambiabili. La scelta del modello non è un dettaglio tecnico minore; è una decisione che cambia i dati stessi. Per compiti che coinvolgono documenti finanziari formali, i modelli migliori sono affidabili e coerenti. Ma per il testo informale, o per compiti in cui la differenza tra positivo e negativo è sottile, il disaccordo tra i modelli è un segno di genuina incertezza. In questi casi, il ricercatore suggerisce che fare affidamento su un singolo computer è rischioso. Invece, il miglior approccio è utilizzare più modelli insieme o far revisionare le frasi in cui i computer non concordano da un essere umano, assicurando che la decisione finale non sia solo il prodotto di quale software è stato scelto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.