Literary Non-Style in LLM-Generated Text

Immagina di essere un detective che cerca di capire se una storia è stata scritta da un essere umano o da un robot. Non stai cercando errori di ortografia o di grammatica; stai cercando l'"anima" della scrittura. Nel mondo della scienza del linguaggio, esiste una regola famosa chiamata Legge di Zipf. Immaginala come la playlist delle tue canzoni preferite. In ogni grande collezione di musica, alcuni successi (come "Happy Birthday" o una massiccia canzone pop) vengono suonati ancora e ancora, mentre la maggior parte delle canzoni viene suonata solo una o due volte. Se classifichi questi brani dal "più suonato" al "meno suonato", il calo segue una curva molto specifica e prevedibile. Questo accade nel parlato umano, nei libri e persino nel modo in cui usiamo le parole. Gli scienziati credono da tempo che questo schema "musicale" sia un segno della naturale creatività umana. Ma ora, con i computer in grado di scrivere storie, dobbiamo chiederci: queste macchine seguono le stesse regole musicali, o suonano come un disco rotto?

Questo articolo, scritto da Cory Massaro, indaga esattamente questo. L'autore vuole sapere se il testo generato dai Large Language Models (LLM) — i chatbot super intelligenti che vediamo ovunque — sembri diverso dal testo scritto dagli umani. Lo studio suggerisce che, sebbene l'IA possa imitare le parole che usiamo, fallisce nel ritmo e nella varietà che rendono viva la scrittura umana. Contando quanto spesso gruppi specifici di parole (come "frasi di tre parole" o "frasi di quattro parole") compaiono, l'autore ha scoperto che la scrittura dell'IA è molto più ripetitiva e prevedibile rispetto a quella umana. È come se l'IA fosse bloccata in un loop, riciclando le stesse frasi preferite, mentre uno scrittore umano continua a sorprenderti con nuove combinazioni. L'articolo conclude che questa mancanza di varietà non è solo un problema di stile; essa limita effettivamente le idee che l'IA può esprimere. Se non puoi dire le cose in modi diversi, non puoi dire affatto così tante cose diverse.

La storia del "Ritmo del Robot"

Per capire cosa ha scoperto l'autore, guardiamo gli "ingredienti" della storia. L'articolo confronta due tipi principali di scrittura:

1. L'Umano: Un classico memoir intitolato The Education of Henry Adams, scritto da una persona reale all'inizio del 1900.
2. Il Robot: Un libro intitolato The Inner Life of an AI, che è stato "scritto" da un'IA (ChatGPT) ma assemblato da un utente umano.

L'autore ha anche esaminato un enorme dataset contenente 8 milioni di parole di scrittura umana e 8 milioni di parole di scrittura IA per assicurarsi che i risultati non fossero solo un caso fortuito.

La grande scoperta: la trappola delle "frasi fatte"
L'autore ha notato qualcosa di strano leggendo il libro dell'IA. Sembrava che il robot stesse usando un insieme di frasi "preconfezionate" continuamente. Ad esempio, la frase "despite these challenges" (nonostante queste sfide) è apparsa 16 volte nel libro, e "I began to" (ho iniziato a) è apparsa oltre 50 volte! Al contrario, l'autore umano, Henry Adams, utilizzava una varietà di parole molto più ampia. Raramente ripeteva la stessa sequenza di quattro parole.

Per dimostrare che non si trattasse solo di una sensazione, l'autore ha fatto dei calcoli. Ha contato quante volte apparivano gruppi unici di parole (chiamati n-grammi) nei testi.

• I 1-grammi sono parole singole.
• I 2-grammi sono coppie di due parole (come "molto buono").
• I 3-grammi e i 4-grammi sono catene più lunghe.

I risultati erano chiari:

• Nel testo umano, la varietà era alta. Per le frasi di 4 parole, il rapporto tra frasi uniche e frasi totali era 0,9890. Ciò significa che Henry Adams non ripeteva quasi mai una sequenza di quattro parole.
• Nel testo dell'IA, la varietà era molto più bassa. Il rapporto per le frasi di 4 parole era solo 0,6882. Ciò significa che l'IA ripeteva costantemente le sue catene preferite di quattro parole.

La "pendenza" della storia
L'autore ha anche osservato la "pendenza" della scrittura, un modo elegante per descrivere quanto velocemente la scrittura esaurisce le nuove idee. In una perfetta storia umana, continui a trovare nuove parole e frasi, ma esse appaiono sempre meno frequentemente, seguendo una curva fluida (la Legge di Zipf).

• Per l'IA, la curva era troppo ripida. Le frasi più comuni erano troppo comuni, e le frasi rare erano troppo rare.
• L'autore ha scoperto che per le frasi di 4 parole, la "pendenza" dell'IA era -0,395 (in un test), mentre quella dell'umano era -0,178. Il numero più ripido dell'IA significa che essa si aggrappa ai suoi frasi preferite molto più strettamente di quanto faccia un essere umano.

E per quanto riguarda le "frasi fatte"?
L'autore si è chiesto: "Forse l'IA usa semplicemente parole diverse per la stessa idea? Come dire 'grande' invece di 'immenso'?" Per testarlo, ha effettuato la "lemmatizzazione" del testo, il che significa raggruppare le parole per la loro radice (così "correndo", "corse" e "corre" contano come la stessa parola).

• Il Risultato: Anche dopo aver raggruppato parole simili, l'IA suonava comunque ripetitiva. La "pendenza" non è cambiata molto. Ciò suggerisce che il problema non sia solo l'uso di sinonimi; l'IA è realmente intrappolata in un vicolo cieco di frasi specifiche.

Il "Disco Rotto" contro il "Assolo Jazz"

Quindi, cosa significa tutto questo? L'autore usa un'ottima analogia: immagina che un autore umano sia un musicista jazz che improvvisa un assolo. Potrebbe suonare alcune note familiari, ma le mescola costantemente, aggiunge nuovi riff e sorprende l'ascoltatore. L'IA, d'altra parte, è come un giradischi rotto che continua a saltare sullo stesso ritornello accattivante.

L'articolo sostiene che questo non riguardi solo il fatto che l'IA sembri "noiosa". Riguarda ciò che l'IA può dire.

• Il Limite: Poiché l'IA si affida pesantemente alle stesse poche frasi, possiede una "cassetta degli attrezzi" di idee più piccola. Se hai un numero fisso di parole per scrivere una storia, un essere umano può inserire più idee diverse perché utilizza combinazioni più uniche. L'IA, bloccata nel suo loop, finisce per dire le stesse cose in modi leggermente diversi.
• La "Sensazione": L'autore nota che le persone possono spesso "sentire" quando stanno leggendo un testo generato dall'IA. Sembra piatto, formulare e un po' vuoto. Questo studio suggerisce che questa sensazione derivi da una mancanza di varietà fraseologica. L'IA manca della "scintilla" della creatività umana perché non riesce a rompere i propri schemi.

Cosa l'articolo non afferma

È importante notare cosa questo studio non ha fatto. L'autore non ha sostenuto che la scrittura dell'IA sia "cattiva" in senso morale, né ha detto che l'IA non possa mai scrivere buona letteratura. Ha semplicemente misurato la statistica delle parole.

• Non ha dimostrato che l'IA non possa mai imparare a essere più creativa; ha solo mostato che, al momento, nei testi analizzati, i modelli sono molto diversi da quelli umani.
• Non ha detto che la ripetizione sia sempre negativa (a volte ripetere una frase è una potente scelta artistica, come in una poesia). Ma l'IA ripete le frasi troppo spesso e nei posti sbagliati, come un robot che cerca di essere un poeta ma dimentica come variare il proprio ritmo.

La conclusione finale

In definitiva, l'articolo suggerisce che lo stile e il significato sono connessi. Non si può separare la "sensazione" di una storia dalle "idee" che contiene. Se uno scrittore (o un robot) non riesce a trovare nuovi modi per dire le cose, è limitato in ciò che può esprimere. Il ritmo da "disco rotto" dell'IA non è solo una particolarità stilistica; è il segno che la capacità della macchina di esprimere pensieri umani complessi e vari è ancora, beh, un lavoro in corso. I numeri mostrano che, sebbene l'IA sappia parlare, non ha ancora imparato a cantare con la stessa varietà selvaggia e imprevedibile degli esseri umani.