So Many Opinions, So Many LLMs: Comparing Large Language Models to Traditional Machine Learning for Open- Ended Survey Analysis
Questo studio confronta i grandi modelli linguistici (LLM) con l'apprendimento automatico tradizionale per l'analisi di risposte a sondaggi a risposta aperta, rilevando che, sebbene gli LLM raggiungano un'accuratezza di classificazione superiore nella comprensione di temi complessi e sentimenti, essi presentano significativi compromessi riguardanti la coerenza e la spiegabilità del loro ragionamento.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere una scatola gigante con migliaia di lettere di studenti, scritte con la propria grafia disordinata ed emotiva. Alcune sono felici, altre sono arrabbiate, alcune sono sarcastiche e altre sono solo decisamente confuse. Il tuo compito? Leggerle tutte e smistarle in sei contenitori emotivi: Gioia, Sorpresa, Amore, Rabbia, Tristezza e Paura.
Per molto tempo, i ricercatori hanno cercato di farlo con dei programmi informatici "Old School". Pensa a questi programmi come a un bibliotecario molto severo che conosce solo il conteggio di parole specifiche. Se il bibliotecario vede la parola "ottimo", attacca un adesivo "Gioia" sulla lettera. Se vede "brutto", attacca un adesivo "Tristezza". È veloce e puoi vedere esattamente perché il bibliotecario ha fatto quella scelta. Ma ecco il problema: questi bibliotecari si lasciano ingannare facilmente. Perdono il sarcasmo, la stanchezza nascosta dietro un ringraziamento o i sottili indizi che indicano che uno studente è in realtà furioso anche se ha usato parole educate.
In questo studio, i ricercatori hanno deciso di testare un nuovo team di assistenti: i Modelli di Linguaggio di Grandi Dimensioni (LLM). Puoi pensare a questi come a robot super intelligenti e molto istruiti che hanno letto quasi tutto su Internet. A differenza dei rigidi bibliotecari, questi robot cercano di capire il "vibe" e il contesto della frase, non solo le singole parole.
La Grande Sfida
I ricercatori hanno messo queste due squadre l'una contro l'altra usando dati reali di sondaggi degli studenti del 2019 e del 2021 (293 lettere dal 2021 e 142 dal 2019). Non hanno insegnato nulla di nuovo ai robot; hanno solo chiesto loro di smistare le lettere usando un'istruzione semplice, un metodo chiamato "zero-shot" prompting.
Cosa hanno fatto i Vecchi Bibliotecari
I modelli informatici tradizionali (come i Support Vector Classifiers e le Random Forests) sono stati discreti nel smistare le lettere quando venivano addestrati su un set specifico di esempi. Ottenevano circa il 90% di precisione nei loro test di pratica. Ma quando si sono trovati di fronte alle vere, disordinate lettere degli studenti, hanno iniziato ad agire in modo un po' folle.
- Nel gruppo del 2019, un modello ha deciso che il 99,3% delle lettere era "Gioia". In pratica, ha ignorato tutte le altre emozioni!
- Nel gruppo del 2021, i modelli erano in forte disaccordo tra loro. Uno pensava che una lettera fosse "Amore", mentre un altro pensava fosse "Tristezza".
- I ricercatori hanno scoperto che questi vecchi modelli erano troppo sensibili a parole specifiche (come "ottimo" o "buono") e non riuscivano a gestire il lato umano e complicato del linguaggio. Erano fragili, ovvero, se i dati cambiavano anche solo di poco, il loro smistamento crollava.
Cosa hanno fatto i Nuovi Robot
Il team di LLM (inclusi GPT-4-Turbo, Claude 3.5, Meta's LLaMA 3 e Perplexity Sonar Pro) ha fatto qualcosa di diverso. Non si sono limitati a contare le parole; hanno cercato di capire il sentimento.
- Erano d'accordo tra loro: Quando i quattro diversi robot hanno guardato lo stesso mucchio di lettere, li hanno smistati quasi tutti nello stesso modo. Ad esempio, nei dati del 2021, tutti e quattro i robot erano d'accordo esattamente su quante lettere fossero di "Rabbia" (46 lettere).
- Gestivano le sfumature: Sono stati molto più bravi a individuare emozioni complesse, come quando uno studente è sarcastico o quando il suo "grazie" è in realtà intriso di stanchezza.
- I Numeri: Sebbene l'articolo non fornisca un singolo "punteggio di precisione" per i robot (perché non esiste una chiave di risposta umana con cui confrontarli), la loro coerenza suggerisce che siano molto più affidabili per questo tipo di dati disordinati e del mondo reale rispetto ai vecchi modelli.
L'Imprevisto
I robot non sono maghi perfetti. I ricercatori evidenziano alcune cose a cui prestare attenzione:
- Il Glitch dell' "Amore": Tutti e quattro i robot sembravano aver smistato più lettere come "Amore" rispetto a "Gioia". I ricercatori sospettano che ciò sia dovuto al fatto che i robot hanno imparato dai social media, dove le persone dicono "Adoro questa classe!" per intendere "Mi piace molto", non che provino sentimenti romantici profondi.
- La Scatola Nera: A differenza dei vecchi bibliotecari, non puoi sempre vedere perché il robot ha fatto una scelta. È più difficile sottoporre il loro lavoro a un controllo.
- Costi e Aggiornamenti: Far girare questi robot è costoso e le aziende che li creano li aggiornano spesso. Se esegui lo stesso prompt l'anno prossimo, il robot potrebbe dare una risposta leggermente diversa perché è una "nuova versione".
Il Verdetto
Lo studio suggerisce che se vuoi analizzare migliaia di risposte aperte degli studenti, i nuovi robot IA sono lo strumento migliore. Sono molto più capaci di comprendere il lato complesso e umano del linguaggio e sono più coerenti tra diversi gruppi di studenti.
Tuttavia, i ricercatori non dicono che si tratti di un problema "risolto". Suggeriscono che per decisioni ad alto rischio (come cambiare le politiche scolastiche), l'approccio migliore sia un lavoro di squadra: lasciare che i robot facciano il lavoro pesante per smistare le lettere, ma far controllare il lavoro agli esseri umani per assicurarsi che i robot non vengano ingannati dal sarcasmo o dai pregiudizi. È un nuovo modo potente per ascoltare gli studenti, ma richiede ancora una mano umana al volante.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.