Geometric Properties of the Voronoi Tessellation in Latent Semantic Manifolds of Large Language Models

Titolo

Proprietà Geometriche della Tassellazione di Voronoi nei Varietà Semantiche Latenti dei Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) operano su token discreti ma eseguono calcoli interni in spazi vettoriali continui. Il lavoro si basa sul framework della "varietà semantica latente" (Mabrok, 2026), che formalizza l'interfaccia tra continuo e discreto.
Il problema centrale è il divario di esprimibilità (expressibility gap): la frazione dello spazio semantico in cui il vocabolario non riesce a fornire assegnazioni di token confidenti (cioè dove il margine tra il token migliore e il secondo migliore è basso).
Mabrok ha dimostrato teoricamente che questo divario segue una legge di scala lineare. Tuttavia, la validazione empirica su modelli più grandi e architetture diverse (come Qwen3.5-4B) ha mostrato risultati ambigui a causa di artefatti di quantizzazione. Inoltre, non era chiaro se la geometria della tassellazione di Voronoi di un modello già convergente potesse essere modificata intenzionalmente senza distruggere le prestazioni del modello.

2. Metodologia

Gli autori hanno condotto uno studio empirico su Qwen3.5-4B-Base (4,2 miliardi di parametri, architettura Gated DeltaNet, vocabolario di 248.320 token) utilizzando il set di dati WikiText-103.

A. Correzione degli Artefatti di Precisione

Un contributo metodologico cruciale è stato l'identificazione e la risoluzione di un artefatto di quantizzazione bfloat16.

• Problema: L'inferenza nativa in bfloat16 produce logit quantizzati con una precisione insufficiente (mantissa a 7 bit), collassando i valori dei margini su una griglia grossolana e falsando le regressioni di scala (R² basso).
• Soluzione: Gli autori estraggono gli stati nascosti finali, li convertono in float32 e ricalcolano la proiezione del layer di output (lm_head) con precisione completa. Questo ha permesso di recuperare una struttura geometrica continua, ottenendo un R² = 0,9997 nella legge di scala.

B. Procedure di Rifinitura del Margine (MRP)

Hanno applicato interventi post-hoc mirati su un modello già convergente per rimodellare la geometria locale senza un ri-addestramento completo. Sono state confrontate due strategie di ottimizzazione (loss function) aggiuntive alla Cross-Entropy (CE):

1. Massimizzazione Diretta del Margine (Margin Maximization): Massimizza la differenza diretta tra il logit del token top-1 e top-2.
2. Massimizzazione della Distanza di Fisher (Fisher Information Distance): Massimizza la distanza di Fisher tra i token top-k, utilizzando la metrica di Fisher indotta dalla matrice di unembedding e la covarianza softmax. Questo approccio sposta le rappresentazioni lungo la direzione di massima divergenza informativa della geometria interna del modello, piuttosto che lungo un asse fisso.

C. Protocollo Dose-Risposta

Hanno eseguito 200 step di gradiente con diverse pesature ($\lambda_{MRP}$) per la loss aggiuntiva, monitorando:

• Statistiche del margine (distribuzione, divario di esprimibilità).
• Churn delle previsioni (token corretti che diventano errati e viceversa).
• Benchmark downstream (ARC, HellaSwag, ecc.).
• Analisi per frequenza dei token e classi token (strutturali, entità, contenuto).

3. Contributi Chiave

1. Validazione Teorica: Conferma definitiva della Legge di Scala Lineare del divario di esprimibilità (Teorema 10.5 di Mabrok) su un modello da 4B, con il coefficiente di determinazione più alto mai riportato ($R^2 = 0,9997$).
2. Rifinitura Geometrica: Dimostrazione che la tassellazione di Voronoi di un modello convergente è rimodellabile tramite intervento post-hoc, contraddicendo le ipotesi iniziali di stasi.
3. Scoperta del Regime di Ambiguità: Identificazione di un "regime di ambiguità geometrica" negli strati intermedi (24-28), dove la correlazione tra Cross-Entropy e regolarizzazione geometrica è negativa, suggerendo che stati intermedi corretti possono apparire geometricamente ambigui prima di essere risolti negli strati finali.
4. Confronto Margin vs. Fisher:
   • La Massimizzazione del Margine è distruttiva: i danni collaterali (token corretti resi errati) crescono super-linearmente con $\lambda_{MRP}$.
   • La Massimizzazione Fisher è stabile: i danni collaterali rimangono costanti (~5.300 posizioni su 256K) anche al variare dell'intensità, permettendo un miglioramento dei margini senza degradare i benchmark.

4. Risultati Principali

Geometria e Margini

• L'approccio Fisher a $\lambda_{MRP}=0.6$ migliora il margine mediano del +28% riducendo la probabilità di margini bassi ($Pr(m<0.5)$) del 16,7%.
• Il divario di esprimibilità viene compresso mantenendo intatta la legge di scala (il divario si riduce, ma la sua struttura funzionale lineare rimane).

Danni Collaterali e Benchmark

• Fisher: Mantiene i benchmark downstream (ARC, TruthfulQA, ecc.) sostanzialmente piatti e invarianti fino a $\lambda_{MRP}=0.6$. Anche a $\lambda_{MRP}=1.0$ e $2.0$, le medie dei benchmark non collassano.
• Margine Diretto: A $\lambda_{MRP}=1.0$, il rapporto di inversione (flip ratio) peggiora drasticamente (da 2.9x a 0.4x), indicando che il modello inizia a danneggiare le proprie capacità generali.

Analisi per Frequenza e Classe di Token (Il "Caveat")

Sebbene i benchmark rimangano piatti, l'analisi granulare rivela una distribuzione non uniforme dei guadagni:

• I miglioramenti sono fortemente concentrati sui token ad alta frequenza (testa della distribuzione) e sui token strutturali (punteggiatura, spazi, simboli come @, =, ,).
• A $\lambda_{MRP}=0.6$, il bucket di frequenza >100 contribuisce all'84% delle correzioni nette.
• A $\lambda_{MRP}=2.0$, questa concentrazione sale al 92,1%.
• Effetti Negativi: Man mano che $\lambda_{MRP}$ aumenta, si osservano regressioni nette su token di contenuto di frequenza media (es. "and", "he", "with") e, in un campione di modello instruct, su token simili a entità (nomi propri).
• Conclusione: I benchmark medi non catturano la ridistribuzione dell'utilità a livello di token; il modello diventa migliore sulla struttura e sui token frequenti, ma potenzialmente peggiore su parole di contenuto specifiche.

5. Significato e Implicazioni

• Plasticità Geometrica: La ricerca dimostra che la geometria latente degli LLM non è fissa dopo l'addestramento, ma può essere "lucidata" geometricamente per ridurre l'ambiguità senza ri-addestrare il modello da zero.
• Limiti della Correzione: Esiste un "tetto di correzioni" (~16.300 posizioni su 256K) che può essere corretto puramente tramite geometria. Le posizioni rimanenti sono errate per mancanza di conoscenza, non per ambiguità di confine.
• Trade-off Pratico: L'uso della massimizzazione Fisher è uno strumento potente per la "lucidatura" post-addestramento, ma il suo punto operativo sicuro è limitato (intorno a $\lambda_{MRP}=0.6$). Oltre questo limite, si ottengono guadagni marginali a scapito di una distribuzione disuguale dell'accuratezza, penalizzando i token di contenuto a favore di quelli strutturali.
• Direzioni Future: Il lavoro suggerisce che la rifinitura geometrica deve diventare consapevole del valore del token (token-value-aware) per preservare i token di contenuto e le entità, evitando di ottimizzare solo la struttura superficiale. Inoltre, apre la strada a studi su come la modellazione geometrica durante l'addestramento (pre-training) possa preparare un substrato migliore per queste rifiniture successive.

In sintesi, il paper fornisce una validazione rigorosa della teoria delle varietà semantiche latenti e introduce un metodo (Fisher MRP) per migliorare la geometria interna degli LLM, ma avverte che tale miglioramento non è uniforme e richiede un controllo attento per evitare di degradare la qualità semantica profonda a favore di quella strutturale.