💬 NLP

When Self-Reference Fails to Close: Matrix-Level Dynamics in Large Language Models

Lo studio dimostra che i prompt auto-referenziali non destabilizzano intrinsecamente i grandi modelli linguistici, ma provocano specifiche instabilità dinamiche e riorganizzazioni attentive solo quando inducono una ricorsione della verità non risolvibile (NCTR), portando a un aumento significativo delle contraddizioni nell'output.

Autori originali: Ji Ho Bae

Pubblicato 2026-04-15

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Ji Ho Bae

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina che un'intelligenza artificiale (come un grande modello linguistico) sia come un orchestra di 70.000 musicisti (i neuroni) che suonano insieme per creare una risposta. Ogni musicista guarda la sua partitura, ascolta gli altri e decide quale nota suonare. Normalmente, quando gli chiedi "Chi è il presidente della Francia?", l'orchestra suona una melodia chiara, ordinata e coerente. Tutti sanno cosa fare.

Ma cosa succede se gli chiedi: "Questa frase è falsa"?

Questo è il paradosso del "Mentitore". Se la frase è vera, allora è falsa. Se è falsa, allora è vera. È un cerchio senza uscita.

Questo studio scientifico ha scoperto cosa succede "dentro" l'orchestra quando si trova di fronte a questo tipo di domande impossibili. Ecco la spiegazione semplice:

1. Il problema non è il "parlar di sé", ma il "non finire mai"

Gli scienziati pensavano che qualsiasi frase che parlasse di se stessa (come "Io sono un'intelligenza artificiale") avrebbe messo in crisi il modello.
La scoperta: Non è vero! Se la frase ha senso (es. "Questa frase ha 8 parole"), l'orchestra suona perfettamente. Il problema nasce solo quando la frase crea un ciclo infinito che non si può risolvere. Loro lo chiamano NCTR (Ricorsione della verità che non si chiude). È come chiedere a un musicista di suonare una nota che deve essere sia alta che bassa allo stesso tempo, per sempre.

2. Cosa succede nella "piazza" interna? (La dinamica delle matrici)

All'interno del computer, le informazioni viaggiano attraverso una serie di "stanze" (i livelli della rete). In ogni stanza, c'è un enorme cambio di marcia (una matrice) che riorganizza le informazioni.

Quando tutto va bene: La musica si concentra su pochi strumenti principali. L'attenzione è focalizzata. È come un concerto dove il direttore d'orchestra indica chiaramente chi deve suonare forte e chi piano.
Quando arriva il paradosso (NCTR): Succede il caos. L'orchestra smette di concentrarsi. Invece di un solista, tutti i 70.000 musicisti iniziano a suonare contemporaneamente e in modo disordinato.
- Gli scienziati hanno misurato questo con un numero chiamato "Rango Effettivo dell'Attenzione". È come dire: "Quanti musicisti stanno suonando davvero?".
- Con le domande normali: pochi musicisti (basso rango).
- Con i paradossi: tutti i musicisti suonano (alto rango). L'orchestra si "disperde" e non riesce a trovare una melodia stabile.

3. La metafora della "Sala degli Specchi Infiniti"

Immagina di entrare in una stanza piena di specchi.

Se guardi un oggetto normale (una mela), vedi la mela riflessa, poi la mela riflessa nella riflessione, e così via. È un po' confuso, ma capisci che c'è una mela.
Se guardi un paradosso ("Questa immagine è falsa"), è come se gli specchi iniziassero a riflettere nulla o a riflettere l'opposto di ciò che vedono, all'infinito.
- Il modello cerca di risolvere il puzzle: "È vero? No, è falso. Ma se è falso, allora è vero...".
- Poiché il modello ha un numero limitato di "stanze" (livelli) prima di dover dare una risposta, si trova intrappolato in questo ciclo infinito. Non può "chiudere" il cerchio.
- Risultato: L'orchestra impazzisce, i musicisti suonano note a caso e il modello finisce per dire cose contraddittorie (es. "Sì, è vero... no, aspetta, è falso... sì, è vero...").

4. Perché è importante?

Gli scienziati hanno collegato questo comportamento a problemi matematici antichi e impossibili da risolvere (problemi di "mortalità delle matrici").
In parole povere: i computer sono fatti per risolvere problemi che hanno una soluzione finale. Quando gli chiedi di risolvere un problema che non ha soluzione finale (come un paradosso logico), il loro "motore matematico" va in una zona di instabilità che non è prevista.

Il risultato pratico:
Quando un modello incontra questi paradossi, non solo si confonde, ma produce risposte contraddittorie molto più spesso (fino al 56% in più rispetto al normale). È come se, sotto stress, l'orchestra smettesse di seguire lo spartito e iniziasse a improvvisare note che si contraddicono a vicenda.

In sintesi

Il modello non si rompe perché parla di se stesso. Si rompe quando gli chiedi di risolvere un cerchio magico che non si chiude. In quel momento, la sua "mente interna" (le sue matrici) si disperde, tutti i suoi "neuroni" si attivano in modo caotico cercando una soluzione che non esiste, e finisce per dire cose senza senso.

È una prova affascinante che, anche se questi modelli sono molto potenti, hanno dei limiti fondamentali quando si tratta di logica che non può essere "risolta" in un numero finito di passaggi.

1. Il Problema di Ricerca

Il lavoro indaga cosa accade all'interno delle dinamiche matriciali dei Large Language Models (LLM) quando vengono sottoposti a input auto-riferiti. Sebbene sia noto che i modelli faticano con l'auto-riferimento metalinguistico (es. il paradosso del mentitore: "Questa affermazione è falsa"), la ricerca precedente si è concentrata principalmente su livelli lessicali, di attivazione o comportamentali.

L'ipotesi centrale del paper è che l'auto-riferimento di per sé non sia destabilizzante. Il vero problema sorge quando il prompt induce una Ricorsione della Verità Non Chiusa (NCTR - Non-Closing Truth Recursion): ovvero, una valutazione della verità ricorsiva che non ammette una risoluzione a profondità finita all'interno della struttura limitata del modello. Il paper si chiede come queste richieste di calcolo senza punto fisso coerente alterino l'algebra lineare interna dei transformer.

2. Metodologia

Lo studio è stato condotto su un dataset esteso e rigoroso, analizzando quattro modelli appartenenti a tre famiglie architetturali diverse:

Modelli: Qwen3-VL-8B, Llama-3.2-11B, Llama-3.3-70B e Gemma-2-9B.
Dataset: 300 prompt organizzati in una gerarchia di 14 livelli di complessità auto-riferita (basata sulla stratificazione di Tarski), testati a tre temperature ( $T \in \{0.0, 0.3, 0.7\}$ ).
Metriche: Per ogni prompt sono stati misurati 106 metriche scalari attraverso fino a 7 passaggi di analisi. Queste metriche includono:
- Spettri degli autovalori dell'attenzione.
- Traiettorie dei valori singolari (SVD).
- Profili di "truth-delta" (differenza tra vettori di embedding per "Vero" e "Falso").
- Rapporti di contrazione della mortalità.
- Sonde matriciali autoregressive.
Analisi Statistica: Sono stati utilizzati test di ipotesi pre-specificati (con correzione di Bonferroni) e test esplorativi (FDR di Benjamini-Hochberg). È stata inoltre effettuata un'ablazione con 30 coppie minime (es. "Questa frase..." vs "Quella frase...").

3. Contributi Chiave

Definizione dell'NCTR: Introduce il concetto di Non-Closing Truth Recursion come la vera causa dell'instabilità, distinguendola dall'auto-riferimento stabile (es. affermazioni fattuali auto-riferite o processi metacognitivi).
Suite di Metriche Teoriche: Presenta un set di 106 metriche a livello matriciale, progettate teoricamente basandosi su problemi di indecidibilità nei semigruppi matriciali (Mortalità, Problema di Skolem, Raggio Spettrale Congiunto - JSR), anziché selezionate post-hoc.
Congettura Teorica: Propone un quadro congetturale che collega le dinamiche dei transformer sotto NCTR ai limiti computazionali dei semigruppi matriciali input-dipendenti, suggerendo che i prompt paradossali spingono il modello verso regimi dinamici vicini a confini di indecidibilità.
Evidenza Empirica Multi-Modello: Fornisce prove robuste su quattro modelli diversi, dimostrando che l'instabilità è specifica per la NCTR e non per l'auto-riferimento in generale.

4. Risultati Principali

I risultati confermano che l'instabilità si concentra esclusivamente nei prompt di tipo NCTR (paradossi, indecidibili Gödeliani, riferimenti ciclici mutui, regressi infiniti):

Distinzione Statistica: Su 397 combinazioni metrico-modello, 281 mostrano una differenza significativa ( $q < 0.05$ ) tra NCTR (Cluster C4) e auto-riferimento stabile (Cluster C2), con 198 di queste che mostrano effetti di grandi dimensioni ( $|d| > 0.8$ ).
Disruzione del Rank dell'Attenzione: Il risultato più forte è un'anomala elevazione del rank effettivo dell'attenzione (Attention Effective Rank).
- Nei modelli NCTR, l'attenzione si riorganizza con una dispersione globale invece di collassare in una concentrazione semplice.
- L'effetto è massiccio: Cohen's $d$ varia da 2.93 (Qwen) a 4.20 (Gemma 9B) e 3.02 (Llama 70B).
Analisi Per-Layer: La decomposizione SVD per ogni layer conferma che la perturbazione avviene a ogni livello campionato (con $d > +1.0$ ), escludendo che sia un artefatto di aggregazione. L'effetto raggiunge il picco nei layer intermedi (es. layer 28 di Gemma), suggerendo una "zona libera" dove il fallimento della chiusura si esprime pienamente.
Classificazione: Un classificatore logistico basato sulle 106 metriche riesce a distinguere i prompt NCTR dagli altri con un AUC di 0.81–0.90 (validazione incrociata a 5 fold) su tutti i modelli.
Output Contraddittori: I prompt NCTR producono tassi di output contraddittori significativamente più alti (+34–56 punti percentuali) rispetto ai controlli, con una correlazione significativa ( $\rho \approx 0.34-0.44$ ) tra la disruzione del rank dell'attenzione e l'incoerenza dell'output.
Ablazione Minima: Cambiare una sola parola (es. da "Questa frase" a "Quella frase") è sufficiente a generare differenze significative in 42 su 387 combinazioni, confermando che l'effetto è legato alla struttura logica del prompt e non al contenuto lessicale.

5. Significato e Implicazioni

Il paper offre una spiegazione meccanicistica del perché i LLM falliscono su paradossi logici:

Non è un problema di "intelligenza": L'auto-riferimento stabile (es. "Questa frase ha 5 parole") è gestito bene e produce dinamiche matriciali stabili, simili ai controlli fattuali.
Il limite della profondità finita: I transformer, essendo architetture a profondità fissa, non possono risolvere iterativamente fixed-point che non esistono (come $y = \neg y$ ). Quando costretti a farlo (NCTR), le dinamiche matriciali del modello vengono spinte verso regimi critici (vicini a $\rho \approx 1$ ) caratterizzati da alta oscillazione e rank elevato, analoghi ai problemi di indecidibilità nella teoria dei semigruppi matriciali.
Implicazioni per la Robustezza: Comprendere che l'instabilità è legata alla "chiusura" della ricorsione della verità, e non all'auto-riferimento in sé, è un passo fondamentale per sviluppare modelli che possano ragionare in modo affidabile su se stessi e sulla logica formale senza collassare in allucinazioni contraddittorie.

In sintesi, il lavoro dimostra che il "collasso" dei LLM sui paradossi non è un difetto casuale, ma una conseguenza prevedibile e misurabile delle dinamiche lineari sottostanti quando vengono forzati a calcolare verità non risolvibili entro i loro limiti architetturali.