LLMs for Survey Text Analysis – A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis

La ricerca qualitativa è l'arte di dare senso alle parole. Quando scienziati, sociologi o decisori politici hanno bisogno di comprendere i pensieri, i sentimenti e le esperienze delle persone, spesso pongono domande aperte. Invece di barrare una casella, una persona scrive un paragrafo sulla propria vita, sulle proprie difficoltà o sulle proprie speranze. Per trasformare migliaia di questi paragrafi in conoscenza utile, i ricercatori devono leggere ogni singolo uno di essi, trovare le idee ricorrenti e raggrupparle in categorie. Questo processo, noto come analisi del contenuto, è l'ossatura della comprensione del comportamento umano, ma è incredibilmente lento e faticoso. Per decenni, l'unico modo per farlo è stato attraverso la mente umana, leggendo riga per riga. Ora, un nuovo tipo di strumento è entrato nella stanza: i grandi modelli linguistici. Questi sono sistemi di intelligenza artificiale addestrati su enormi quantità di testo che possono leggere, comprendere e riassumere il linguaggio. La grande domanda per la comunità scientifica non è solo se queste macchine sappiano leggere, ma se sappiano pensare come un ricercatore umano quando il compito richiede di trovare schemi nascosti senza un manuale di regole predefinito.

Un team di ricercatori provenienti da diverse università europee si è posto l'obiettivo di rispondere a questa domanda con un confronto diretto. Hanno preso un dataset reale proveniente da un sondaggio condotto su 2.800 dottorandi in tutta Europa, dove il 10% delle risposte è stato estratto casualmente per servire come base dei dati per lo studio. Da questo campione, un totale di 903 risposte relative a sei domande specifiche aperte sono state analizzate in profondità. Da un lato dell'esperimento, cinque ricercatori umani hanno letto queste risposte ed eseguito quella che viene chiamata analisi del contenuto induttiva. Ciò significa che non sono partiti con un elenco di categorie in cui forzare le risposte. Al contrario, hanno letto il testo, hanno identificato le idee centrali, hanno creato le proprie etichette per tali idee e poi hanno raggruppato quelle etichette in temi più ampi. È un processo creativo e interpretativo, che si affida al giudizio umano per decidere cosa sia rilevante. Dall'altro lato, i ricercatori hanno utilizzato un sofisticato modello linguistico per eseguire esattamente lo stesso compito sullo stesso testo. Alla macchina sono state date le stesse istruzioni di leggere le risposte, trovare le idee principali e raggrupparle in temi, tutto senza che le venisse detto in anticipo cosa cercare.

I ricercatori hanno poi confrontato i due set di risultati per vedere quanto la macchina corrispondesse agli umani. Non cercavano una corrispondenza perfetta, perché anche diversi esperti umani spesso discordano sul modo di etichettare una specifica frase. Inveve, hanno misurato l'allineamento complessivo dei gruppi. I risultati hanno mostrato un livello di accordo moderato. Osservando le etichette specifiche che i ricercatori e la macchina avevano creato per il testo, concordavano il 61 percento delle volte. Osservando i temi più ampi costruiti a partire da quelle etichette, l'accordo era leggermente inferiore, al 54 percento. Per mettere questo dato in prospettiva, i ricercatori hanno anche verificato quanto i cinque esperti umani concordassero tra loro. Gli umani concordavano tra loro circa il 68 percento delle volte sulle etichette e sui temi. Ciò significa che il divario tra l'uomo e la macchina non era enorme; la macchina si è comportata quasi con la stessa costanza con cui un esperto umano si comporta con un altro esperto umano.

Tuttavia, la storia non è uniforme in tutti i temi. L'accordo tra gli umani e la macchina variava significatamente a seconda di ciò che gli studenti stavano scrivendo. Per le domande riguardanti le situazioni finanziarie, la macchina ha incontrato maggiori difficoltà, mostrando un minore allineamento con i ricercatori umani. Per le domande sulle esperienze personali o sui feedback generali, l'allineamento era molto più forte. Lo studio suggerisce che l'affidabilità della macchina dipende fortemente dalla natura dei dati e dalla chiarezza del testo. Quando il testo era ambiguo o la logica interna del raggruppamento della macchina stessa era incerta, l'accordo con gli umani diminuiva. I ricercatori hanno scoperto che ogni volta che la macchina era incoerente con se stessa, era anche incoerente con gli umani, e lo stesso valeva per il team umano. Ciò indica che la difficoltà del tema specifico gioca un ruolo fondamentale nel determinare l'efficacia dello strumento.

Anche i codificatori umani che hanno partecipato allo studio sono stati interrogati sulle loro impressioni riguardo al lavoro della macchina. Hanno riferito che le categorizzazioni della macchina riflettevano il proprio pensiero e che avrebbero confidato nello strumento per aiutare l'analisi di dati futuri. I ricercatori hanno concluso che questi sistemi di intelligenza artificiale non sono pronti a sostituire interamente il giudizio umano, specialmente per il lavoro complesso e di alto livello della costruzione di teorie. Tuttavia, i risultati suggeriscono che questi strumenti sono altamente efficaci nel gestire le fasi iniziali e laboriose di smistamento del testo. Possono svolgere il lavoro pesante di lettura di migliaia di risposte e di individuazione dei primi schemi, permettendo ai ricercatori umani di concentrarsi sull'interpretazione più profonda e sulla validazione di tali schemi. Lo studio non sostiene che la macchina sia perfetta o che abbia risolto il problema dell'analisi del testo, ma suggerisce che sia un partner potente e scalabile per i ricercatori che hanno bisogno di dare senso a grandi volumi di storie umane.