Experimental evidence of progressive ChatGPT models self-convergence

Lo studio fornisce evidenze sperimentali del fenomeno di "auto-convergenza" dei modelli ChatGPT, dimostrando che l'addestramento ricorsivo su dati sintetici generati dall'IA ha portato a una misurabile riduzione della diversità testuale nelle versioni più recenti, indipendentemente dalle impostazioni di temperatura.

L'essenziale

Immagina che ChatGPT e i suoi fratelli più grandi siano come dei cuochi straordinari che hanno imparato a cucinare leggendo milioni di libri di ricette (i dati di internet) scritti da esseri umani.

Il Problema: La "Cucina che si mangia da sola"

Per anni, questi cuochi hanno cucinato usando solo ingredienti umani. Ma poi è successo qualcosa di strano: la gente ha iniziato a usare i cuochi robot per scrivere le proprie ricette e a pubblicarle su internet.

Ora, quando i nuovi cuochi robot (le versioni più recenti di ChatGPT) vanno a cercare nuovi ingredienti per imparare, trovano un internet inquinato. Invece di trovare solo ricette umane originali, trovano un mare di ricette scritte da altri robot, che a loro volta hanno copiato ricette scritte da altri robot, e così via.

È come se un cuoco, invece di andare al mercato a comprare verdure fresche, iniziasse a cucinare usando solo i resti di piatti già cucinati da altri cuochi robot.

Cosa hanno scoperto gli scienziati?

Gli autori di questo studio hanno fatto un esperimento curioso. Hanno chiesto a diverse versioni di ChatGPT (dalla "vecchia" alla "nuova") di riscrivere (parafrasare) lo stesso testo umano, chiedendo loro di essere il più creativi e vari possibile (usando un'impostazione chiamata "temperatura 1", che è come chiedere al cuoco di "giocare" con gli ingredienti).

Ecco cosa è emerso, usando una metafora:

1. Le vecchie versioni (es. ChatGPT 3.5): Se chiedevi loro di riscrivere una storia 5 volte, ottenevi 5 storie diverse, come se avessi 5 amici diversi che raccontano la stessa avventura con parole e stili differenti. C'era varietà.
2. Le nuove versioni (es. ChatGPT 5 e 5.2): Se chiedevi la stessa cosa, ottenevi 5 storie che erano quasi identiche. Sembra che tutti e 5 gli amici avessero copiato la stessa frase da un unico libro di testo.

Il Concetto Chiave: "Auto-Convergenza"

Il paper chiama questo fenomeno "Auto-Convergenza" (o Model Self-Convergence).

Immagina un gruppo di persone che si incontrano ogni giorno per parlare.

• All'inizio, ognuno ha idee diverse e parla in modo unico.
• Ma se passano tutto il giorno a leggere solo i messaggi che si sono scambiati tra loro, ignorando il mondo esterno, iniziano a usare le stesse parole, le stesse frasi fatte e lo stesso tono di voce.
• Alla fine, non riescono più a distinguersi l'uno dall'altro. Non sono più "diversi", sono diventati un eco della loro stessa voce.

Questo è quello che sta succedendo a ChatGPT. Più le nuove versioni vengono addestrate su dati che contengono testi generati da AI, più perdono la capacità di essere creativi e vari. Invece di inventare, tendono a ripetersi.

Perché è pericoloso?

Il paper avverte che questo è un circolo vizioso:

1. L'AI scrive testi.
2. Questi testi finiscono su internet.
3. L'AI legge quei testi per imparare.
4. L'AI diventa meno creativa e ripete sempre le stesse cose.
5. Il ciclo ricomincia, peggiorando la qualità.

Se questo continua, l'AI rischia di diventare noiosa e ripetitiva, incapace di imparare nuove cose dagli esseri umani perché è troppo occupata a "guardarsi allo specchio" e copiare se stessa.

In sintesi

Il paper ci dice che ChatGPT si sta "ammalando" di noia. Non perché i programmatori abbiano sbagliato il codice, ma perché l'ambiente in cui impara (internet) è stato "inquinato" dai suoi stessi output. Le versioni più recenti, paradossalmente, sono meno capaci di essere creative e diverse rispetto alle versioni vecchie, perché si stanno nutrendo di un "brodo" fatto di se stesse.

È come se un artista smettesse di guardare il mondo reale e iniziasse a copiare solo i quadri che ha già dipinto lui stesso: alla fine, il suo stile diventa statico, ripetitivo e perde la sua magia originale.

Sommario tecnico

Titolo: Evidenze sperimentali della auto-convergenza progressiva dei modelli ChatGPT

1. Il Problema: Il "Model Collapse" e la Contaminazione dei Dati

Il paper affronta un problema critico nell'evoluzione dei Modelli Linguistici su Grande Scala (LLM): il Model Collapse (collasso del modello).

• Contesto: I modelli LLM sono addestrati su enormi dataset provenienti da internet. Con la diffusione massiccia di AI generative, una porzione crescente dei dati disponibili online è ora costituita da testo generato artificialmente da altri LLM.
• Ipotesi: Se i nuovi modelli vengono addestrati su dati che contengono una significativa quantità di output generati da AI (infiltrazione dei dati), il modello rischia di perdere diversità e creatività.
• Distinzione Concettuale: Gli autori distinguono tra:
  • Model Collapse (tradizionale): Il modello genera output privi di senso ("gibberish") dopo ricorsioni multiple su dati sintetici generati da se stesso.
  • Model Self-Convergence (Auto-convergenza): Un fenomeno nuovo osservato in questo studio. Il modello non diventa "gibberish", ma i suoi output diventano praticamente identici tra diverse versioni del modello, anche quando si tenta di introdurre casualità. Il modello perde la capacità di differenziarsi da se stesso, convergendo verso strutture di testo ripetitive a causa della contaminazione del dataset di addestramento con dati AI.

2. Metodologia Sperimentale

Gli autori hanno progettato un esperimento longitudinale per misurare la diversità testuale tra diverse versioni di ChatGPT.

• Dataset di Input: Sono stati utilizzati 443 riassunti di capitoli letterari tratti dalle guide di studio CliffNotes e SparkNotes. Questi testi sono stati scelti perché:
  • Sono creati da umani.
  • Esistono in formato digitale da prima dell'avvento degli LLM (garantendo un baseline umano puro).
  • Sono di lunghezza controllata (100-2000 parole) per evitare problemi di overfitting o sintesi eccessiva.
• Modelli Testati: Sono state analizzate 7 versioni di ChatGPT (da GPT-3.5 Turbo a GPT-5.2) con diverse date di "cutoff" delle conoscenze (da settembre 2021 ad agosto 2025).
• Parametri di Generazione:
  • Temperature 0: Modalità deterministica (output ripetitivi e prevedibili).
  • Temperature 1: Modalità stocastica (massima variabilità e creatività).
  • Nota: Per ogni testo originale, sono state generate multiple parafrasi per ogni modello e temperatura.
• Metrica di Valutazione: È stato utilizzato un algoritmo proprietario basato sulla rilevazione di pattern ripetuti (ARPaD - All Repeated Patterns Detection).
  • SPR (Similarity Percentage Ratio): Viene calcolato la percentuale di sovrapposizione di pattern non sovrapposti di lunghezza variabile (da 3 a 20 parole) tra le parafrasi generate dallo stesso modello.
  • Obiettivo: Misurare quanto le parafrasi dello stesso modello siano simili tra loro. Un SPR alto indica scarsa diversità (il modello ripete se stesso); un SPR basso indica alta diversità.

3. Risultati Chiave

L'analisi dei dati ha rivelato tendenze allarmanti, specialmente per le versioni più recenti (serie GPT-5):

• Aumento della Similarità (SPR) nelle Versioni Recenti: Contrariamente all'aspettativa che i modelli più recenti siano più innovativi, le versioni GPT-5 (5.0, 5.1, 5.2) mostrano un SPR significativamente più alto rispetto alle versioni precedenti (3.5, 4.0) quando operano in modalità stocastica (Temperature 1).
• Convergenza Stocastica-Deterministica:
  • Nei modelli vecchi, c'era una grande differenza (spread) tra l'output a Temperature 0 (deterministico) e Temperature 1 (stocastico).
  • Nei modelli GPT-5, questo spread si riduce drasticamente. Le versioni più recenti, anche con Temperature 1, producono testi molto simili a quelli prodotti con Temperature 0.
• Persistenza di Pattern Lunghi: Mentre nei modelli umani e nelle versioni vecchie di ChatGPT i pattern ripetuti di lunghezza superiore a 10-15 parole sono rari o inesistenti (come previsto dalla teoria dei numeri casuali), nei modelli GPT-5 i pattern lunghi (15-20 parole) si ripetono frequentemente tra diverse parafrasi dello stesso input.
• Dati Quantitativi: Per le versioni GPT-5.1 e 5.2, la similarità per pattern lunghi (15+ parole) in modalità stocastica è aumentata fino a 20-30 volte rispetto alla versione 3.5 Turbo.

4. Contributi Principali

1. Definizione di "Model Self-Convergence": Gli autori coniano e definiscono formalmente questo nuovo fenomeno, distinto dal classico "model collapse". Si tratta di una perdita di diversità e innovazione dovuta all'addestramento su dati contaminati da AI, non alla generazione di nonsense.
2. Evidenza Sperimentale Longitudinale: Forniscono la prima prova empirica longitudinale che mostra come l'evoluzione delle versioni di ChatGPT stia portando a una regressione nella capacità di generare testo diversificato, collegando direttamente questo fenomeno all'infiltrazione di dati sintetici nei dataset di addestramento.
3. Metodologia di Misurazione: Introducono l'uso dell'SPR basato su pattern ripetuti per rilevare la perdita di stocasticità, offrendo uno strumento per monitorare la salute futura degli LLM.

5. Significato e Implicazioni

• Ciclo Vizioso: Il paper evidenzia un ciclo vizioso pericoloso: più gli LLM vengono usati per generare contenuti online, più il "rumore" di fondo digitale diventa artificiale. Quando i nuovi modelli vengono addestrati su questi dati, ereditano le limitazioni e le ripetizioni dei modelli precedenti, perdendo la capacità di apprendere nuove conoscenze umane autentiche.
• Obsolescenza degli LLM: Se il fenomeno della auto-convergenza continua, gli LLM potrebbero diventare obsoleti non solo per la mancanza di nuove informazioni umane, ma perché la loro capacità di elaborazione creativa e stocastica si riduce fino a renderli incapaci di differenziarsi.
• Impatto sulla Ricerca e Sviluppo: Le attuali strategie di mitigazione (come il weighting dei dati) potrebbero non essere sufficienti se non si riesce a isolare completamente i dati sintetici dai dataset di addestramento.
• Raccomandazione: L'unico modo per evitare questo collasso è utilizzare esclusivamente dati prodotti da umani per l'addestramento, oppure pulire massicciamente l'intero internet dai contenuti generati da AI, una sfida tecnica ed etica enorme.

In sintesi, lo studio avverte che senza un intervento attivo per preservare la purezza dei dati di addestramento, i futuri modelli AI rischiano di diventare "eco" di se stessi, producendo testi sempre più omogenei e privi della vera diversità linguistica umana.