💬 NLP

LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

Lo studio dimostra che i modelli linguistici presentano un'incertezza significativamente inferiore rispetto agli scrittori umani nella scrittura creativa, un limite che, pur essendo necessario per l'espressione letteraria, viene aggravato dalle attuali strategie di allineamento e che richiede nuovi paradigmi per distinguere tra allucinazioni distruttive e l'ambiguità costruttiva.

Autori originali: Peiqi Sui

Pubblicato 2026-02-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Peiqi Sui

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

🎭 Il Paradosso della Perfezione: Perché le AI scrivono storie "noiose"

Immagina di essere a un concerto. C'è un musicista umano che suona il jazz e un robot che suona la stessa melodia.
Il robot è perfetto. Non sbaglia mai una nota, segue il ritmo alla lettera e non ha mai un momento di esitazione. È matematicamente impeccabile.
Il musicista umano, invece, a volte esita, accelera, fa una nota stonata di proposito per creare tensione, o si ferma un secondo per far respirare il pubblico.

Questo studio dice una cosa sorprendente: le Intelligenze Artificiali (come i modelli di linguaggio che usiamo oggi) sono diventate così bravi a non sbagliare, da aver perso proprio quella "esitazione umana" che rende una storia magica, emozionante e creativa.

Ecco i punti chiave, spiegati con delle metafore:

1. La "Paura del Vuoto" (L'insicurezza è un superpotere)

Nella scrittura creativa, l'incertezza non è un errore. È come il buio in un film dell'orrore. Se mostri subito il mostro (la certezza), la paura sparisce. Se lasci il buio, il pubblico usa la sua immaginazione per riempire i vuoti, creando un'esperienza più profonda.

Gli umani: Sanno stare nel "buio". Sanno scrivere frasi che lasciano spazio a interpretazioni, dubbi e misteri.
Le AI: Hanno una "paura" di essere incerte. Sono state addestrate a dare sempre la risposta più sicura, logica e prevedibile. Per loro, il "buio" è un errore da correggere. Risultato? Le loro storie sono come un film con il copione stampato in ogni scena: tutto chiaro, tutto sicuro, ma... noioso.

2. Il "Filtro della Sicurezza" (Perché le AI sono troppo gentili)

Immagina che le AI siano state addestrate da un insegnante molto severo che dice: "Non dire mai nulla di strano, non inventare cose che non sai per certo, e soprattutto, non confondere l'alunno".
Questo è quello che succede quando si "allineano" le AI per evitare le allucinazioni (quando inventano fatti falsi).

Il problema è che questo stesso filtro che impedisce alle AI di inventare fatti falsi sui vaccini o sulla storia, uccide anche la poesia.
Per scrivere una bella storia, a volte devi "inventare" qualcosa che non è fattualmente vero, ma è emotivamente vero. Le AI, spaventate di sbagliare, scelgono sempre la strada più battuta, la frase più cliché, quella che tutti si aspettano.

3. Il "Gap dell'Incertezza" (La prova dei numeri)

Gli autori di questo studio hanno fatto un esperimento curioso. Hanno preso delle storie scritte da grandi scrittori professionisti (come quelli del New Yorker) e le hanno fatte "leggere" a diverse AI.
Hanno misurato quanto le AI fossero sorprese dalle scelte degli umani.

Risultato: Le AI erano molto sorprese. Le storie umane erano piene di "colpi di scena" linguistici, scelte strane e imprevedibili.
Quando le AI hanno provato a scrivere loro stesse la continuazione della storia, sono diventate prevedibili. Hanno scelto le parole più comuni, le frasi più sicure.
L'analogia: È come se un umano, dopo aver letto un libro di un genio, provasse a continuare la storia ma scrivesse solo frasi da manuale scolastico. Manca il "sapore".

4. Più "Intelligenza", Meno Creatività?

Lo studio ha scoperto un paradosso: più un'AI viene "aggiustata" per seguire le istruzioni, per ragionare meglio e per essere più sicura, più diventa brutta a scrivere storie.

Le versioni "base" delle AI (quelle meno addestrate a obbedire) sono un po' più creative.
Le versioni "istruite" e "ragionatrici" (quelle che pensano molto prima di rispondere) sono le più rigide e noiose.
È come se, per diventare dei bravi assistenti, avessero dovuto spegnere la loro parte di sognatore.

5. La "Zona Dolce" (Dove sta la qualità?)

C'è un equilibrio perfetto, come nella musica.

Se una storia è troppo prevedibile (bassa incertezza), è noiosa.
Se è troppo caotica e incomprensibile (alta incertezza), è confusa.
La qualità massima si trova nel mezzo: una storia che ti sorprende, che ti fa dire "Oh, non me l'aspettavo!", ma che ha comunque senso.
Le AI attuali sono bloccate nella zona della "noia prevedibile". Non osano abbastanza.

🎯 La Conclusione: Cosa dobbiamo fare?

Il messaggio finale dello studio è un invito a cambiare approccio.
Non dobbiamo addestrare le AI a essere perfette in tutto. Dobbiamo insegnar loro a distinguere tra:

Un errore pericoloso: Dire che la Terra è piatta (qui serve certezza).
Un'ambiguità artistica: Scrivere una frase che può essere interpretata in due modi (qui serve incertezza).

Per avere un'AI che scriva davvero bene, dobbiamo smettere di trattarla come un enciclopedia infallibile e iniziare a trattarla come un artista che ha il permesso di esitare, di dubitare e di osare. Dobbiamo lasciarle un po' di "spazio per respirare" nel suo codice, proprio come facciamo con gli esseri umani.

In sintesi: Per scrivere una bella storia, a volte bisogna avere il coraggio di non sapere esattamente cosa succederà dopo. E le AI, per ora, hanno troppo paura di non saperlo.

1. Il Problema

Il paper affronta una limitazione fondamentale e sottostudiata dei Large Language Models (LLM) nella scrittura creativa: la loro bassa incertezza intrinseca.

Contesto: La teoria letteraria identifica l'incertezza, l'ambiguità e l'indeterminazione come condizioni necessarie per l'espressione creativa e la ricchezza letteraria (citando Keats, Empson, Derrida). Questi elementi permettono al lettore di partecipare attivamente alla costruzione del significato ("co-creatività").
Il Conflitto: Le attuali strategie di allineamento (RLHF, SFT) dei modelli linguistici sono progettate per minimizzare l'ambiguità, ridurre le allucinazioni e garantire la fattualità. Questo porta i modelli a convergere su distribuzioni di probabilità strette e "sicure" (mode collapse), eliminando le "lacune" di indeterminazione necessarie per la letteratura.
Ipotesi: Gli autori ipotizzano che l'avversione sistematica degli LLM all'incertezza si manifesti come una divergenza misurabile rispetto alla scrittura umana, rendendo le storie generate dai modelli trite, ripetitive e prive di tensione drammatica.

2. Metodologia

Lo studio utilizza un approccio controllato basato sulla teoria dell'informazione per quantificare il "divario di incertezza" (uncertainty gap) tra testi umani e generati.

Esperimento di Completamento:
- Vengono prese storie complete $T = T_1 \oplus T_2$ (dove $T_1$ è il contesto e $T_2$ il completamento).
- Si confrontano due completamenti per lo stesso contesto $T_1$ $T_{1}$ :
  1. Continuazione Umana (Ground Truth): Il testo originale scritto dall'autore.
  2. Continuazione del Modello: Un testo generato dallo stesso LLM ( $P_\theta$ ) partendo da $T_1$ .
- Cruciale: Lo stesso modello $P_\theta$ funge sia da generatore che da valutatore dell'incertezza del testo umano. Questo elimina il disallineamento distributivo tra generatore e valutatore.
Metriche di Incertezza (Information-Theoretic):
- Entropia dei Token (Surprisal): Media della neg-log-likelihood (NLL) per token. Misura quanto il token è "inaspettato" per il modello.
- Perplexity (PPL): Esponenziale dell'entropia media.
- PMI (Pointwise Mutual Information): Misura quanto il contesto $T_1$ predice il completamento $T_2$ , isolando l'incertezza contestuale dalla frequenza intrinseca dei token.
- CPMI (Conditional PMI): Una variante che pesa maggiormente i token ad alta entropia per focalizzarsi sui punti decisionali critici.
Dataset:
- The New Yorker: Raccolta di racconti professionali (2010-2019), considerati il gold standard della fiction letteraria.
- Tell-Me-A-Story: Corpus di racconti scritti da professionisti in workshop.
- Ghostbuster: Utilizzato per il confronto cross-domain (saggi, notizie, scrittura creativa) per verificare la specificità del fenomeno.
Modelli: 28 modelli open-weight (famiglie OLMo, Llama, Qwen, Mistral, Gemma, Phi), inclusi varianti Base, Instruct e Reasoning (Thinking).

3. Contributi Chiave

Formalizzazione Teorica: Collega esplicitamente la teoria letteraria (indeterminazione, ambiguità) alla teoria dell'informazione, proponendo l'incertezza non come un difetto, ma come un requisito estetico.
Quantificazione del Divario: Fornisce la prima misurazione sistematica e rigorosa del divario di incertezza tra umani e LLM nella narrativa, utilizzando gli stessi modelli per valutare entrambi i lati.
Analisi dell'Allineamento: Dimostra come le tecniche di post-training (Instruct, Reasoning) aggravino il divario rispetto ai modelli base, spingendo i modelli verso una "sicurezza" eccessiva.
Correlazione con la Qualità: Stabilisce un legame empirico tra livelli più alti di incertezza (entro certi limiti) e punteggi di qualità della scrittura, sfidando l'idea che la coerenza assoluta sia sempre sinonimo di qualità.

4. Risultati Principali

Divario di Incertezza Universale:
- Gli LLM generano continuazioni con 2-4 volte meno entropia (NLL ratio 2.03–3.9) e 2.76–8.82 volte meno perplexity rispetto alla ground truth umana.
- I valori di $\Delta$ PMI sono costantemente negativi (-1.44 a -2.60), indicando che i modelli si affidano eccessivamente al contesto immediato, mentre gli umani introducono deviazioni inaspettate.
Effetto dell'Allineamento:
- I modelli Instruct e Reasoning (Thinking) mostrano un divario di incertezza significativamente più ampio rispetto alle loro controparti Base.
- L'allineamento "tassa" la creatività: i modelli base mantengono profili di incertezza più simili all'umano, mentre le varianti allineate collassano su distribuzioni più strette e prevedibili.
- L'aumento delle dimensioni del modello (scale) mitiga parzialmente il problema, ma non risolve il divario indotto dall'allineamento.
Specificità del Dominio:
- Il divario è presente in tutti i domini (saggi, notizie), ma è amplificato nella scrittura creativa.
- Nel dominio creativo, il $\Delta$ PMI è circa il 25-30% più negativo rispetto agli altri domini, suggerendo che i modelli falliscono specificamente nel gestire l'ambiguità narrativa e la tensione strutturale tipiche della letteratura.
Correlazione con la Qualità (Sweet Spot):
- Esiste una correlazione positiva (sebbene debole) tra incertezza (NLL/PPL) e qualità della scrittura.
- L'analisi di regressione quadratica rivela una relazione a curva a U invertita (Sweet Spot): la qualità massima si ottiene a livelli di incertezza elevati (circa 1.5-2 deviazioni standard sopra la media), ma non estremi.
- La maggior parte dei modelli allineati opera a sinistra di questo picco (bassa entropia), producendo testi prevedibili e di qualità inferiore, mentre gli scrittori umani operano naturalmente nella zona di alta entropia ottimale.

5. Significato e Implicazioni

Il paper conclude che l'attuale paradigma di allineamento degli LLM è intrinsecamente ostile alla creatività letteraria.

Ridefinizione dell'Allineamento: È necessario sviluppare paradigmi di allineamento "consapevoli dell'incertezza" che sappiano distinguere tra:
- Allucinazioni distruttive (errori fattuali in contesti medici o legali).
- Ambiguità costruttiva (necessaria per la ricchezza poetica e narrativa).
Futuro della Ricerca: Per raggiungere la parità con gli scrittori umani, i sistemi computazionali devono essere ri-allineati per tollerare e generare specifiche forme di incertezza pragmatica, evitando il "collasso modale" che porta all'omogeneizzazione culturale e alla perdita della voce autoriale.
Impatto Interdisciplinare: Il lavoro promuove una collaborazione più stretta tra ML e discipline umanistiche (teoria letteraria), suggerendo che la comprensione dei meccanismi creativi richiede framework teorici che vadano oltre la semplice ottimizzazione della fattualità.