💬 NLP

Repeated Sequences Reveal Gaps between Large Language Models and Natural Language

Questo articolo introduce un nuovo framework di valutazione basato su sottosequenze ripetute e entropie di Rényi per dimostrare che, a differenza del linguaggio naturale che esibisce un'organizzazione strutturale a lungo raggio stabile, i modelli linguistici su larga scala più avanzati mostrano deviazioni sistematiche e dipendenti dalla dimensione nei loro modelli di crescita dell'entropia, rivelando lacune fondamentali nel modo in cui catturano la struttura statistica profonda del testo oltre la semplice fluidità superficiale.

Autori originali: Kumiko Tanaka-Ishii

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Kumiko Tanaka-Ishii

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Fondamentale: Fluidità vs. Struttura

Immagina di ascoltare due persone che raccontano una storia.

Persona A parla perfettamente. Ogni frase scorre fluidamente, la grammatica è corretta e non balbetta mai.
Persona B parla anch'essa perfettamente, ma ha un segreto: in realtà sta semplicemente ripetendo le stesse poche frasi all'infinito, oppure sta costruendo una storia incollando insieme piccoli mattoncini Lego pre-fabbricati senza mai creare una nuova forma.

Per molto tempo, abbiamo pensato che i Modelli Linguistici di Grande Dimensione (LLM) come GPT stessero diventando così bravi da suonare esattamente come gli umani. Ma questo documento si pone una domanda più profonda: Comprendono davvero come costruire una storia lunga dall'interno verso l'esterno, o sono semplicemente molto bravi a suonare fluidi nel breve termine?

L'autrice, Kumiko Tanaka-Ishii, ha sviluppato un nuovo modo per "ascoltare" queste storie, non controllando se hanno senso grammaticalmente, ma osservando come riutilizzano le proprie parole e i propri schemi su lunghe distanze.

Lo Strumento: Il Rilevatore di "Eco"

Per trovare la differenza, l'autrice utilizza un concetto chiamato Sottosequenze Ripetute.

Immagina un testo come un lungo corridoio.

Linguaggio Naturale (Umani): Quando un umano scrive un romanzo, pianta dei semi all'inizio. Introduce un personaggio, un tema o una frase specifica. Man mano che la storia procede, torna a quei semi, li innaffia e fa crescere nuovi rami. La storia fa "eco" a se stessa. Riutilizza vecchie strutture per costruire nuovi significati.
LLM (AI): L'autrice ha scoperto che i modelli di intelligenza artificiale spesso agiscono come un disco rotto o una sala degli specchi. Potrebbero ripetere cose, ma non sembrano possedere quella stessa eco strutturale profonda, dove le parti vecchie della storia vengono attivamente riorganizzate per sostenere le parti nuove.

Il documento misura questo contando quante volte piccoli frammenti di testo (come sequenze di 5 o 10 lettere) ricompaiono più avanti nel documento.

I Due Tipi di Crescita: Il Giardino vs. La Fabbrica

Il documento confronta come l'"informazione" cresce man mano che il testo si allunga. Identifica due modi principali in cui ciò può accadere:

Il Giardino della Legge di Potenza (Linguaggio Naturale):
Immagina un giardino dove continui a piantare nuovi fiori unici, ma continui anche a riutilizzare lo stesso traliccio e la stessa recinzione per sostenerli. Man mano che il giardino cresce, la varietà dei fiori aumenta, ma la struttura (le recinzioni e i tralicci) viene riutilizzata all'infinito.
Il documento scopre che la scrittura umana si comporta così. Segue un modello "Log-Power". Ciò significa che il testo ricicla costantemente il proprio DNA strutturale. È efficiente e profondamente interconnesso.
La Linea di Fabbrica (Modelli AI):
Immagina una fabbrica che continua a produrre prodotti. Man mano che la fabbrica lavora più a lungo, continua a creare oggetti leggermente diversi, ma non sembra possedere quella stessa riutilizzazione ricorsiva profonda del proprio progetto interno.
Il documento ha scoperto che i modelli di intelligenza artificiale, specialmente quelli più vecchi o più piccoli, si comportano diversamente. Mostrano un modello "Power-Law" che suggerisce che stanno costantemente generando nuova complessità strutturale senza lo stesso livello di riutilizzazione profonda ed efficiente trovato nella scrittura umana.

L'Esperimento: Il Test dello "Scramble"

L'autrice ha testato questo su:

Romanzi scritti da umani (da Project Gutenberg).
Storie generate dall'AI (create da GPT-3.5, GPT-4 e modelli più recenti).

Hanno allineato le lunghezze affinché il confronto fosse equo. Hanno quindi eseguito un "test dell'eco" matematico (utilizzando qualcosa chiamato Entropia di Rényi) per vedere come il testo si riutilizzava.

I Risultati:

Umani: Indipendentemente da quanto fosse lungo il libro, il modello dell'"eco" rimaneva stabile. Gli umani riutilizzavano costantemente i propri schemi strutturali in modo prevedibile ed efficiente.
AI: Il modello dell'AI cambiava a seconda di quanto fosse "grande" il modello.
- I modelli AI più piccoli erano molto caotici nel modo in cui riutilizzavano (o non riutilizzavano) la struttura.
- Man mano che i modelli AI diventavano più grandi (come GPT-5), iniziavano a sembrare più simili agli umani, ma mostravano ancora una differenza sistematica. Stavano diventando migliori nell'imitare l'"eco", ma la matematica sottostante di come costruivano le loro storie era ancora distinta da quella di un autore umano.

La Trappola della "Ripetizione Massimale"

Il documento ha esaminato anche la frase ripetuta più lunga in un testo (come trovare la frase più lunga che appare due volte).

Studi precedenti si concentravano su queste ripetizioni "estreme".
L'autrice sostiene che questo è come cercare di capire una foresta guardando solo l'albero più alto. È instabile e fuorviante.
Invece, osservare tutti i frammenti ripetuti (la "distribuzione") offre un quadro molto più chiaro e stabile della vera struttura del testo.

Il Punto Fondamentale

Questo documento non dice che l'AI è "cattiva" o che non può scrivere buone storie. Dice che l'AI e gli umani costruiscono le storie in modo diverso.

Gli Umani scrivono facendo costantemente riferimento e ricombinando le proprie parole e strutture passate, creando una rete stretta ed efficiente di significati che cresce in un modo matematico specifico (Log-Power).
L'AI scrive prevedendo la parola successiva, il che crea un tipo diverso di modello di crescita (più vicino alla Power-Law). Anche i modelli AI più intelligenti non hanno ancora pienamente padroneggiato l'arte umana del "riciclo strutturale" su lunghe distanze.

L'autrice conclude che abbiamo bisogno di nuovi strumenti per misurare l'AI. Non possiamo semplicemente chiedere: "Ha superato il test?" o "È fluido?". Dobbiamo chiedere: "Costruisce il suo mondo come fa un umano?". E al momento, la risposta è: Non proprio.

Riepilogo Tecnico: Le Sequenze Ripetute Rivelano Divari tra Modelli Linguistici di Grande Formato e Lingua Naturale

Enunciazione del Problema
Sebbene i Modelli Linguistici di Grande Formato (LLM) dimostrino elevata fluidità e coerenza nei contesti locali, rimane una sfida aperta determinare se essi catturino l'organizzazione statistica a lungo raggio della lingua naturale. I metodi di valutazione esistenti, che si basano pesantemente su benchmark basati su compiti o analisi a contesto breve, forniscono solo prove indirette riguardo alla struttura globale del testo generato. Lavori precedenti hanno identificato problemi come ripetizioni eccessive e ridotta diversità negli output degli LLM, suggerendo che le elevate prestazioni nei compiti non garantiscono una struttura a lungo raggio simile a quella umana. Nello specifico, manca una diagnostica quantitativa in grado di distinguere come la lingua naturale e gli LLM riutilizzino elementi strutturali consolidati su lunghi tratti.

Metodologia
Gli autori propongono un quadro di valutazione complementare basato sulla distribuzione delle sottosequenze ripetute su diverse scale, collegando queste statistiche alle entropie di Rényi di ordine superiore.

Conteggio delle Sottosequenze Ripetute: Il metodo definisce il numero di blocchi ripetuti ( $D_m$ ) di lunghezza $m$ all'interno di una sequenza di lunghezza $n$ . A differenza delle analisi focalizzate sulle ripetizioni massimali (che possono essere numericamente instabili), questo approccio esamina la distribuzione di tutte le sottosequenze ripetute.
Entropia di Rényi di Ordine Superiore: Gli autori collegano lo spettro dei blocchi ripetuti alle entropie di Rényi ( $H_\alpha$ ) di ordine $\alpha \ge 2$ . Ciò consente una caratterizzazione a lunghezza finita della crescita dell'entropia. L'entropia empirica $\hat{H}_\alpha(m)$ è calcolata sulla base della frequenza dei tipi di blocchi osservati.
Caratterizzazione Funzionale: Il documento modella la crescita del numero effettivo di blocchi distinguibili ( $\log_2 S_m$ $lo g_{2} S_{m}$ ) utilizzando due forme sublineari:
- Ansatz di legge di potenza: $\log_2 S_m \propto m^\beta$ , associato all'espansione dei gradi di libertà strutturali.
- Ansatz logaritmico-potenza: $\log_2 S_m \propto (\log_2 m)^\gamma$ , associato a un forte riutilizzo strutturale in cui la lunghezza della descrizione cresce lentamente rispetto alla lunghezza della sequenza.
Procedura di Stima: Viene impiegata una stima a due stadi per gestire gli effetti di dimensione finita. In primo luogo, viene stimato un termine di correzione ( $\Delta_\alpha$ ) derivato dai polinomi di Touchard basato sul rapporto tra il totale dei blocchi e i blocchi distinti. In secondo luogo, gli esponenti $\beta$ e $\gamma$ vengono adattati ai valori di entropia empirica corretti.

Setup Sperimentale
Lo studio confronta testi in lingua naturale con testi generati da GPT attraverso quattro generazioni di modelli: gpt-3.5turbo, gpt-4o-mini, gpt-5-mini e gpt-5.

Dataset: I testi in lingua naturale sono stati campionati da Project Gutenberg (romanzi) per corrispondere alle distribuzioni di lunghezza degli output di GPT. Tutti i testi sono stati pre-elaborati per rimuovere metadati e caratteri non alfabetici.
Controlli: Gli esperimenti sono stati condotti su 100 testi per categoria, con distribuzioni di lunghezza corrispondenti per controllare gli effetti della lunghezza della sequenza. Test aggiuntivi su saggi e scrittura scientifica hanno confermato che le tendenze osservate nelle narrazioni erano coerenti tra i generi.

Risultati Chiave

Adattamento del Modello: Attraverso i dataset, il modello logaritmico-potenza ha generalmente fornito un adattamento migliore ( $R^2 > 0.97$ ) per la lingua naturale rispetto al modello di legge di potenza, in particolare per testi più lunghi. Ciò suggerisce che la crescita dell'entropia nella lingua naturale è dominata dal riutilizzo strutturale piuttosto che da una continua espansione di nuovi gradi di libertà strutturali.
Stabilità nella Lingua Naturale: La lingua naturale ha mostrato pattern di crescita dell'entropia stabili (esponenti medi $\beta$ e $\gamma$ ) attraverso diversi dataset e lunghezze di testo, nonostante la variabilità tra i singoli testi. Ciò indica una forma di "universalità debole" a livello di popolazione.
Spostamenti Sistematici negli LLM: Al contrario, i testi generati da GPT hanno mostrato spostamenti sistematici e statisticamente significativi negli esponenti stimati all'aumentare delle dimensioni del modello.
- Modelli più piccoli (ad es. gpt-3.5turbo) hanno mostrato una forte preferenza per il modello log-potenza, ma con caratteristiche degli esponenti diverse.
- All'aumentare delle dimensioni del modello fino a gpt-5, sia $\beta$ che $\gamma$ sono aumentati monotonicamente, allontanandosi dai pattern stabili della lingua naturale.
- Test statistici (test t a due campioni di Welch) hanno confermato una chiara separazione tra la lingua naturale e gli output di GPT-5 ( $p \approx 0$ ).
Confronto con la Ripetizione Massimale: Sebbene la crescita delle sottosequenze ripetute massimalmente (esponente $\eta$ ) abbia mostrato una certa convergenza tra gpt-5 e la lingua naturale, il metodo proposto basato sulla distribuzione ha rivelato differenze più marcate e sistematiche nell'organizzazione a lungo raggio.

Contributi Chiave

Formulazione Distribuzionale: Il documento propone una formulazione distribuzionale della ripetizione che consente una caratterizzazione a lunghezza finita della crescita dell'entropia tramite entropie di Rényi di ordine superiore, superando l'instabilità delle statistiche di ripetizione massimale.
Diagnostica Strutturale: Dimostra differenze sistematiche tra la lingua naturale e il testo generato da LLM nel comportamento di crescita dell'entropia. Nello specifico, rivela che mentre la lingua naturale esibisce pattern stabili dominati dal riutilizzo, gli LLM mostrano spostamenti sistematici nell'organizzazione strutturale che correlano con le dimensioni del modello.

Significato e Affermazioni
Il documento afferma che l'entropia delle sottosequenze ripetute funge da diagnostica strutturale quantitativa in grado di rivelare differenze sistematiche nell'organizzazione a lungo raggio invisibili alla fluidità di superficie o alle valutazioni basate su compiti.

Gli autori interpretano la scalatura logaritmico-potenza nella lingua naturale come evidenza di un "forte riutilizzo strutturale", dove i testi sono generati attraverso la ricombinazione e la re-indicizzazione di risorse linguistiche condivise. Al contrario, gli esponenti variabili negli LLM suggeriscono una manifestazione più debole di questa organizzazione "struttura-riferimento", potenzialmente dovuta all'obiettivo di previsione del token successivo e all'utilizzo di contesto finito. Il lavoro stabilisce che gli attuali LLM all'avanguardia, nonostante la loro fluidità, non replicano pienamente l'organizzazione statistica a lungo raggio della lingua naturale, fornendo una nuova metrica per valutare la fedeltà strutturale del testo generato.