Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

Questo studio dimostra che la novità basata sugli n-grammi è una metrica inadeguata per valutare la creatività testuale, poiché ignora l'importanza dell'appropriatezza e rivela che, sebbene le espressioni ad alta novità siano spesso giudicate non creative o non pragmatiche, i modelli linguistici di frontiera riescono a identificare meglio la creatività rispetto alle metriche tradizionali basate sugli n-grammi.

L'essenziale

Immagina che scrivere un testo sia come cucinare un piatto.

Il Problema: La "Novità" non è tutto

Fino a poco tempo fa, gli scienziati pensavano che per giudicare se un testo fosse "creativo", bastasse misurare quanto fosse nuovo.
Pensate a un n-gram (una sequenza di parole) come a un ingrediente. Se un'IA usa ingredienti che nessuno ha mai usato prima (parole o frasi mai viste nei suoi libri di cucina), pensavamo che fosse un genio creativo.

Il paper si chiama "La Morte della Novità" perché gli autori dicono: "Aspetta un attimo! Non basta che il piatto sia fatto con ingredienti strani. Deve anche essere buono da mangiare!"

La Definizione di Creatività: Due Ingredienti Fondamentali

Gli autori spiegano che la vera creatività ha bisogno di due cose, come un uccello che ha bisogno di due ali per volare:

1. Novità (L'Ali Sinistra): Quanto è originale? È qualcosa che non abbiamo mai letto prima?
2. Adeguatezza (L'Ali Destra): Ha senso? È logico? Funziona nel contesto?

Se un'IA scrive: "Il gatto ha cucito i bordi sfilacciati della paura", questa frase è molto nuova (nessuno l'ha mai scritta). Ma è assurda (i gatti non cucinano la paura). È come servire un piatto fatto di sabbia e glitter: è unico, ma non è cibo.

Cosa Hanno Scoperto? (La Ricerca)

Gli autori hanno assunto 26 scrittori professionisti (veri umani, non robot) per leggere migliaia di frasi scritte da umani e da Intelligenze Artificiali. Hanno chiesto loro: "Questa frase è creativa? Ha senso? È originale?"

Ecco le scoperte principali, raccontate con metafore:

1. L'Inganno della "Novità"

Hanno scoperto che il 91% delle frasi più "nuove" generate dall'IA non sono considerate creative dagli umani.
È come se l'IA fosse un bambino che prende tutti i colori della scatola e li mescola tutti insieme. Il risultato è un colore che non esiste in natura (molto nuovo), ma è un brutto marrone fangoso (non ha senso).

• Conclusione: Misurare solo quanto un testo è "raro" è un modo sbagliato per misurare la creatività.

2. Il Paradosso dell'IA

Più l'IA cerca di essere "nuova" (usando parole strane), più diventa incoerente.
Immagina un viaggiatore che cerca di visitare luoghi mai visti: più si allontana dalle strade principali, più rischia di perdersi nel bosco e non sapere più dove sta andando.

• Risultato: Nelle IA open-source, più una frase è "nuova", meno ha senso nel contesto della storia. Gli umani, invece, riescono a essere nuovi senza perdere il senso.

3. Chi è il vero Creativo?

Hanno confrontato l'IA con gli umani. Risultato? Gli umani vincono.
Le IA più potenti (quelle "di frontiera" come GPT-5 o Claude) sono meno propense a scrivere frasi davvero creative rispetto a un essere umano. Spesso producono "spazzatura creativa": frasi che sembrano belle ma che, se ci pensi, non dicono nulla.

La Soluzione: L'IA come Giudice (ma con limiti)

Gli autori si sono chiesti: "Possiamo usare un'IA per giudicare se un'altra IA è creativa?"
Hanno addestrato delle IA a fare i "critici letterari" (chiamati LLM-as-a-Judge).

• Cosa funziona: Le IA sono bravi a trovare le frasi creative e nuove (quelle belle).
• Cosa fallisce: Le IA sono pessime a trovare le frasi senza senso (quelle brutte). Faticano a capire quando qualcosa è "strano" o "incoerente".

È come se avessimo un critico d'arte che ama i quadri colorati, ma non si accorge se il pittore ha dipinto un'auto che vola invece di un'auto che corre.

In Sintesi: Cosa Dobbiamo Fare?

Questo studio ci dice che non dobbiamo accontentarci di metriche facili come "quanto è raro questo testo".

• Non fidatevi ciecamente dei punteggi di "novità". Un testo può essere nuovo e terribile.
• La creatività vera è un equilibrio. Deve essere sorprendente, ma anche sensato.
• L'IA è ancora un apprendista. Può imitare lo stile, ma fatica a capire il "senso" profondo che rende un testo davvero umano e creativo.

La morale della favola: Non misurate la creatività contando quanto un testo è strano. Misuratelo chiedendo: "Questa storia mi emoziona e ha senso, o è solo un puzzle di parole che non si incastrano?"

Sommario tecnico

1. Il Problema

L'uso diffuso dei Large Language Models (LLM) per l'assistenza alla scrittura ha sollevato preoccupazioni riguardo alla riduzione della creatività collettiva umana, all'omogeneizzazione dei testi e alla proliferazione di contenuti generati dall'IA privi di valore ("AI slop").
Attualmente, la metrica standard per valutare la "novità" e la creatività del testo generato dall'IA si basa sulla novità degli n-grammi (la frequenza con cui le sequenze di parole appaiono nei corpus di addestramento). Metriche recenti come il Creativity Index attribuiscono un peso significativo alla scarsa occorrenza di frammenti testuali nei corpus di pre-addestramento.

Tuttavia, la letteratura psicologica sulla creatività definisce quest'ultima come la combinazione di due fattori necessari:

1. Novità: Quanto il testo è originale.
2. Adeguatezza (Appropriateness): Quanto il testo ha senso ed è pragmatico nel suo contesto.

Il paper sostiene che la sola novità degli n-grammi è una metrica insufficiente perché:

• Un'espressione può essere nuova (non presente nel training data) ma privo di senso (non creativa).
• Un'espressione può non essere nuova (presente nel training data) ma essere considerata creativa per il suo uso emotivo o contestuale.
• L'ottimizzazione per la novità degli n-grammi potrebbe portare a generare testi incoerenti o non pragmatici.

2. Metodologia

Gli autori hanno condotto uno studio empirico su larga scala per analizzare la relazione tra novità degli n-grammi e creatività giudicata da esperti.

• Dataset e Raccolta Dati:

  • Sono stati raccolti 8.618 annotazioni su 2.783 espressioni uniche (frasi o segmenti di testo) tratte da 50 passaggi di narrativa umana (pubblicati su The New Yorker) e da testi generati da modelli LLM.
  • Annotatori: 26 scrittori professionisti (MFA e pubblicazioni) hanno effettuato una "lettura attenta" (close reading) dei testi.
  • Criteri di Valutazione: Gli annotatori hanno valutato ogni espressione su tre dimensioni:
    1. Sensicality (Coerenza): L'espressione ha senso da sola?
    2. Pragmaticality (Pragmaticità): L'espressione ha senso nel contesto del passaggio?
    3. Perceived Novelty (Novità percepita): L'espressione è insolita, sorprendente o originale?
  • Un'espressione è considerata creativa solo se giudicata sensata, pragmatica e nuova simultaneamente.

• Modelli Analizzati:

  • Modelli open-source: OLMo (7B) e OLMo-2 (32B).
  • Modelli frontier (chiusi): GPT-5 e Claude 4.1 (in uno studio esplorativo).
  • LLM-as-a-Judge: Valutazione di modelli (GPT-5, Claude, Gemini, ecc.) sulla capacità di replicare i giudizi umani.

• Metriche Tecniche:

  • Novità degli n-grammi: Calcolata utilizzando il pacchetto infini-gram su corpus di trilioni di token, misurata tramite la perplexity (probabilità inversa) dell'espressione rispetto al corpus di addestramento.
  • Modellazione Statistica: Utilizzo di regressioni logistiche a effetti misti (mixed-effects logistic regression) per analizzare le relazioni tra perplexity, fonte di generazione e giudizi di creatività, controllando per variabili confondenti (annotatore, tema del passaggio).

3. Contributi Chiave e Risultati

A. La Novità degli n-grammi non è un indicatore affidabile di Creatività

• Sebbene esista una correlazione positiva tra alta perplexity (alta novità degli n-grammi) e creatività, il 91% delle espressioni nel quartile superiore di novità degli n-grammi NON è stato giudicato creativo dagli esperti.
• Al contrario, circa il 25% delle espressioni uniche giudicate creative ha una perplexity molto bassa (ovvero, non sono nuove a livello di n-grammi), dimostrando che la creatività umana spesso risiede nell'uso contestuale di frasi comuni, non nella loro assenza nei dati di addestramento.

B. Il Trade-off Negativo tra Novità e Pragmaticità nei LLM

• Risultato Critico: Nei modelli open-source (OLMo), esiste una relazione negativa significativa tra la novità degli n-grammi e la pragmaticità. Più un modello cerca di generare testo nuovo (alta perplexity), più è probabile che produca espressioni che non hanno senso nel contesto.
• Questo effetto non è stato osservato nei testi umani, dove la novità degli n-grammi non compromette la coerenza contestuale.
• Le espressioni ad alta novità generata dall'IA sono spesso "non pragmatiche" (es. metafore confuse, errori di punteggiatura strutturale, incoerenze logiche).

C. Confronto tra Umani e AI

• Gli studi esplorativi su modelli frontier (GPT-5, Claude 4.1) confermano che hanno una probabilità significativamente inferiore di produrre espressioni giudicate creative rispetto agli umani (Odds Ratio < 1).
• Anche i modelli frontier tendono a mostrare una correlazione negativa tra novità e pragmaticità, sebbene con campioni più piccoli.

D. Valutazione LLM-as-a-Judge

• I modelli LLM (specialmente quelli con capacità di ragionamento come GPT-5) sono stati testati sulla capacità di identificare espressioni nuove o non pragmatiche.
• Prestazioni: I modelli superano di gran lunga la linea di base casuale (F1 score ~41 per la novità vs ~9.6 casuale; ~13.5 per la non-pragmaticità vs ~2.3 casuale).
• Limiti: L'identificazione di espressioni "non pragmatiche" rimane molto difficile per gli LLM (F1 < 20), suggerendo che faticano a cogliere le sfumature di incoerenza contestuale.
• Allineamento: I punteggi di novità forniti da un LLM-as-a-Judge si allineano meglio con le preferenze degli esperti umani rispetto al Creativity Index basato sugli n-grammi.

4. Significato e Implicazioni

Il paper offre una critica fondamentale all'approccio attuale alla valutazione della creatività testuale:

1. Rifiuto della Novità come Metrica Unica: Dimostra che ottimizzare o valutare la creatività basandosi esclusivamente sulla novità degli n-grammi è fuorviante e porta a scartare testi creativi (che usano frasi comuni in modo nuovo) e ad accettare testi incoerenti (che sono nuovi ma privi di senso).
2. Definizione Operativa Migliorata: Propone di operationalizzare la creatività come l'intersezione di Novità + Sensicalità + Pragmaticità.
3. Direzione per la Ricerca Futura: Suggerisce che le metriche di valutazione per l'IA devono spostarsi dalla semplice statistica degli n-grammi verso modelli di giudizio che comprendano il contesto e la coerenza semantica (come dimostrato dall'efficacia parziale degli LLM-as-a-Judge).
4. Avvertenza per l'Addestramento: Avverte che spingere i modelli a massimizzare la novità degli n-grammi (ad esempio tramite tecniche di inferenza o reward modeling) potrebbe degradare la qualità pragmatica del testo, rendendolo più "sloppy" e meno utile.

In conclusione, il paper conclude che la "morte della novità" come metrica isolata è necessaria per avanzare verso una valutazione della creatività che rispetti la natura duale (originale e sensata) del processo creativo umano.