📊 statistics

Total Variation Distance Estimation in Autoregressive Models

Questo articolo presenta algoritmi efficienti per stimare la distanza di variazione totale tra due distribuzioni autoregressive di lunghezza $n$ sotto i modelli di accesso sample, logit e noisy logit, offrendo miglioramenti significativi rispetto ai metodi precedenti e dimostrando l'utilità pratica nel quantificare le differenze distribuzionali tra i moderni motori di inferenza per LLM.

Autori originali: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Pubblicato 2026-07-23

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Eric Price, Kevin Tian, Zhiyang Xun, Yusong Zhu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Le differenze invisibili tra i gemelli IA

Immaginate di avere due gemelli identici. Sono cresciuti nella stessa casa, mangiano lo stesso cibo e hanno lo stesso DNA. Se fate loro una domanda, vi aspettate che diano la stessa identica risposta, parola per parola. Nel mondo dell'Intelligenza Artificiale, specificamente dei Large Language Models (LLM), il "DNA" è rappresentato dai pesi del modello — la capacità intellettiva matematica memorizzata in un file. Ma nel mondo reale, le cose non sono così semplici. Proprio come i gemelli possono reagire diversamente a seconda che siano stanchi, affamati o che stiano parlando con un amico, i modelli di IA possono produrre risultati diversi a seconda dell'hardware su cui girano, di quante domande stanno rispondendo contemporaneamente o persino a causa di minuscoli, invisibili glitch nel codice software.

Per misurare quanto due cose siano diverse, gli scienziati usano spesso uno strumento chiamato "Distanza di Variazione Totale" (TV). Pensatela come a un "metro del disaccordo". Se avete due sacchetti di biglie e ne estraete una da ciascuno, la distanza TV vi dice la massima probabilità che le due biglie abbiano colori diversi. È un punteggio perfetto per capire "quanto è probabile che queste due cose non siano d'accordo?". Questo è diverso da altri strumenti che cercano di misurare "quanto un modello sia sorpreso", i quali possono fallire completamente se i modelli dissentono anche su una singola parola. La grande domanda che i ricercatori si pongono è: se due aziende dichiarano di eseguire esattamente lo stesso modello di IA, ti stanno davvero offrendo la stessa esperienza, o ci sono differenze nascoste che si nascondono nel codice?

La missione del paper: Catturare i fantasmi nella macchina

Questo articolo, intitolato "Total Variation Distance Estimation in Autoregressive Models", è una storia da detective sulla ricerca di quelle differenze nascoste. Gli autori, un team dell'Università del Texas ad Austin, si sono resi conto che, sebbene due motori di IA possano sembrare identici sulla carta, il modo in cui generano effettivamente il testo può divergere a causa di fattori come il "batching" (rispondere a molte domande contemporaneamente) o la "quantizzazione" (semplificare i numeri per risparmiare spazio). Volevano costruire un modo affidabile per misurare la Distanza di Variazione Totale tra due motori di IA per vedere quanto effettivamente dissentano.

Gli autori hanno scoperto che misurare questa distanza è complicato perché i modelli di IA non si limitano a sputare fuori risposte; le costruiscono una parola alla volta, come una reazione a catena. Se riuscite a vedere solo la risposta finale (come un campione), è come cercare di indovinare la trama di un film guardando solo l'ultima scena. Per risolvere questo problema, hanno sviluppato tre diversi "superpoteri" o modi per guardare sotto il cofano, e hanno scoperto che più si riesce a vedere, più il lavoro diventa facile.

1. Il superpotere del "Campione" (L'ipotesi bendata)
Il modo più basilare per controllare un'IA è porle una domanda e vedere cosa dice. Questo è chiamato "accesso tramite campione" (sample access). Gli autori hanno scoperto che se avete solo questa visione, dovete porre all'IA moltissime domande per ottenere una misurazione accurata. Nello specifico, il numero di domande necessarie cresce con il quadrato della lunghezza della storia ( $n^2$ ) e con la dimensione della lista "attiva" del vocabolario ( $K$ ). È come cercare di mappare una foresta enorme camminando lungo un singolo sentiero; bisogna percorrerlo molte, molte volte per essere sicuri di non aver mancato una radura nascosta. Il loro metodo migliora i tentativi precedenti, rendendolo più veloce, ma richiede comunque un numero massiccio di query.

2. Il superpotere del "Logit" (La visione a raggi X)
Molti sistemi di IA mostrano anche i loro "logit", ovvero i numeri grezzi che il modello usa per decidere quale parola viene dopo, prima di trasformarli in una scelta finale. Questo è come vedere il processo di pensiero interno dell'IA. Gli autori hanno dimostrato che se si ha accesso a questi numeri, il lavoro diventa incredibilmente facile. Serve solo un numero di query che cresce linearmente con la lunghezza della storia ( $n$ ). È un salto enorme in avanti — come passare dal camminare attraverso la foresta al volare sopra di essa in un elicottero. Hanno dimostato che questo è il modo assolutamente più veloce per farlo; non è possibile farlo più velocemente di così.

3. Il superpotere del "Logit Rumoroso" (La finestra appannata)
È qui che la cosa si fa molto interessante. Nel mondo reale, quei numeri "logit" non sono sempre perfetti. A volte il computer è occupato, o il software è leggermente difettoso, e i numeri tornano indietro un po' sfocati o "rumorosi". Gli autori si sono resi conto che se si tratta questo rumore come una quantità nota (come sapere quanto è appannato il proprio vetro), si può comunque ottenere una misurazione eccellente. Hanno creato un metodo che fonde fluidamente gli approcci "bendato" e "a raggi X". Se il rumore è basso, agite come se aveste la visione a raggi X. Se il rumore è alto, agite più come se foste bendati. Questo è lo strumento più pratico perché funziona anche quando l'IA non si comporta perfettamente.

Messa alla prova: Lo scontro nel mondo reale

Per dimostrare che i loro metodi funzionano, gli autori non sono rimasti solo in laboratorio. Hanno allestito un esperimento nel mondo reale confrontando due popolari motori di IA, vllm e sglang, che eseguivano lo stesso modello (Qwen3-0.6B). Volevano vedere se questi due motori, che dovrebbero essere identici, producessero effettivamente lo stesso testo.

Hanno scoperto che i motori dissentivano. La Distanza di Variazione Totale tra di loro era di circa 0,586 per una storia di 500 parole. Questo numero rappresenta la massima differenza di probabilità tra i due motori per qualsiasi risultato possibile. In termini pratici, significa che se si eseguisse un test specifico per distinguere i due motori, il miglior test possibile avrebbe successo circa il 59% delle volte. È una misura di quanto i due motori siano distinguibili, piuttosto che una probabilità diretta che una singola frase casuale generata da uno sia diversa dall'altra.

Lo studio ha anche rivelato il perché del loro disaccordo. A volte, un motore sceglieva una parola che l'altro considerava impossibile (un "mismatch di supporto"), causando un picco nella distanza. Altre volte, sceglievano le stesse parole ma assegnavano loro probabilità leggermente diverse. Gli autori hanno anche notato che il "rumore" nel sistema cambiava a seconda di come i motori venivano configurati. Ad esempio, se chiedevate ai motori di rispondere a 256 domande contemporaneamente, il rumore aumentava, rendendo le misurazioni più sfocate. Ma il loro nuovo metodo "multilivello" era abbastanza intelligente da gestire questa situazione. Chiedendo la stessa domanda molte volte e mediando i risultati, potevano filtrare il rumore e trovare la vera distanza.

Conclusione

Il paper conclude che possiamo ora misurare in modo affidabile quanto siano diversi due motori di IA, anche quando girano su hardware diversi o utilizzano diversi trucchi software. Hanno dimostrato che, sebbene sia difficile farlo se si vedono solo le risposte finali, diventa molto più semplice se si può sbirciare nei numeri interni. Soprattutto, hanno mostrato che anche quando quei numeri sono un po' rumorosi, possiamo comunque ottenere un quadro accurato utilizzando i loro nuovi trucchi statistici.

Questo è importante perché, con l'aumento dell'uso dell'IA, le aziende devono sapere se la versione "economica" di un modello è davvero la stessa di quella "costosa", o se un nuovo aggiornamento software più veloce sta segretamente cambiando il modo in cui l'IA si comporta. Gli autori hanno fornito il righello per misurare queste differenze invisibili, garantendo che quando diciamo che due IA sono uguali, lo siano davvero. Il loro codice è ora disponibile per chiunque voglia usarlo, trasformando questa complessa matematica in uno strumento pratico per il futuro dell'IA.

Riepilogo Tecnico: Stima della Distanza di Variazione Totale in Modelli Autoregressivi

1. Definizione del Problema

Le moderne implementazioni di Large Language Model (LLM) comportano spesso scelte implementative e ottimizzazioni dell'inferenza (ad es., batching, kernel personalizzati, quantizzazione, decoding speculativo) che possono causare la produzione di distribuzioni di output significativamente diverse tra due motori che servono "lo stesso modello". Sebbene il lavoro precedente si sia concentrato sulla misurazione di queste differenze tramite la divergenza di Kullback-Leibler (KL), l'articolo sostiene che la KL sia spesso inadatta a questo compito. La divergenza KL è illimitata quando le distribuzioni hanno supporti disgiunti (un fenomeno comune a causa del troncamento top- $k$ o di bug), rendendo impossibile stimarla con una precisione $\epsilon$ da campioni finiti senza il recupero del supporto.

Al contrario, la distanza di Variazione Totale (TV) è limitata nell'intervallo $[0, 1]$ , interpretabile e robusta rispetto alle piccole differenze di implementazione che alterano il supporto. L'articolo affronta il problema della stima della distanza TV tra due distribuzioni autoregressive di lunghezza $n$ , $\pi$ e $\mu$ , su un alfabeto di token $\Sigma$ (dimensione $m$ ), con un errore additivo $\epsilon$ . Lo studio considera tre distinti modelli di accesso a queste distribuzioni:

Accesso ai Campioni (Sample Access): Interrogare un prefisso e ricevere un campione dalla distribuzione del token successivo.
Accesso ai Logit (Logit Access): Interrogare un prefisso e ricevere l'intero vettore dei log-probabilità dei token successivi (esatto).
Accesso ai Logit Rumorosi (Noisy Logit Access): Interrogare un prefisso e ricevere un estimatore non distorto della distribuzione del token successivo con varianza relativa $\sigma^2$ limitata.

2. Metodologia e Risultati Teorici

L'articolo fornisce algoritmi e lower bound per la stima della TV sotto ogni modello di accesso, formalizzando i compromessi tra complessità di query, lunghezza della sequenza $n$ , dimensione del supporto $K$ e livello di rumore $\sigma$ .

A. Accesso ai Logit (Esatto)

Metodologia: Gli autori osservano che $O(n)$ query a oracoli di logit di prefisso permettono il calcolo esatto del rapporto di verosimiglianza $\pi(x)/\mu(x)$ per qualsiasi sequenza $x$ . Essi adattano un estimatore del rapporto di verosimiglianza da [CR14], che stima la distanza TV campionando sequenze da una distribuzione e valutando il rapporto di verosimiglianza sotto l'altra.
Risultato (Teorema 2): Esiste un algoritmo che stima la distanza TV con un errore $\epsilon$ utilizzando $O(n/\epsilon^2)$ query. Questo limite è dimostrato essere stretto (salvo fattori costanti) tramite una costruzione di lower bound che riduce la stima della distanza TV all'apprendimento di un parametro Bernoulli nascosto $p$ , dove la rivelazione di un singolo campione di $p$ richiede $\approx n$ query.
Significato: Questa è la prima formalizzazione della stima della distanza TV sotto accesso ai logit, offrendo una dipendenza lineare dalla lunghezza della sequenza $n$ ed eliminando la dipendenza dalla dimensione dell'alfabeto $m$ o dalla dimensione del supporto $K$ .

B. Accesso ai Campioni (Sample Access)

Metodologia: Sotto accesso ai campioni, l'algoritmo non può calcolare direttamente i rapporti di verosimiglianza. L'articolo propone un estimatore che migliora il limite dello stato dell'arte $O(n^3 m / \epsilon^5)$ di [MKP25]. Il nuovo approccio evita di "addomesticare" le distribuzioni (aggiungendo rumore uniforme) il che precedentemente introduceva una dipendenza dalla dimensione completa dell'alfabeto $m$ . Invece, sfrutta la specifica struttura dei modelli autoregressivi e la dimensione massima del supporto $K$ delle distribuzioni dei token successivi.
Risultato (Teorema 1): L'algoritmo proposto stima la distanza TV con un errore $\epsilon$ utilizzando $\tilde{O}(n^2 K / \epsilon^2)$ query. Viene fornito un matching lower bound di $\Omega(n K / \epsilon^2 \log K)$ .
Significato: Questo migliora la dipendenza da $n$ da cubica a quadratica, da $1/\epsilon^5$ a $1/\epsilon^2$ per $\epsilon$ , e sostituisce la dimensione dell'alfabeto $m$ con la dimensione del supporto $K$ , che è spesso molto più piccola in pratica (ad es., campionamento top- $k$ ).

C. Accesso ai Logit Rumorosi (Noisy Logit Access)

Metodologia: Riconoscendo che i reali motori di inferenza introducono rumore (a causa di batching, variazioni di kernel o problemi di precisione), gli autori modellano l'accesso come un estimatore non distorto con varianza relativa $\sigma^2$ . Utilizzano uno schema di riduzione della varianza Multilevel Monte Carlo (MLMC):

Costruiscono una somma telescopica di estimatori $Z_\ell$ a diversi livelli di accuratezza (controllati dal numero di ripetizioni $r_\ell$ ).
Accoppiando i campioni tra i livelli (usando la stessa traiettoria $X$ per i livelli adiacenti), assicurano che la varianza dell'estimatore della differenza decada geometricamente.
Ciò consente di scambiare query più economiche e ad alta varianza ai livelli grossolani con query più costose e a bassa varianza ai livelli fini.
Risult better (Teorema 3): L'algoritmo stima la distanza TV con un errore $\epsilon$ utilizzando $\tilde{O}((n + n^2 \sigma^2)/\epsilon^2)$ query.
Significato: Questo risultato interpola fluidamente tra il limite di accesso ai campioni (dove $\sigma^2 \approx K$ ) e il limite di accesso ai logit (dove $\sigma^2 = 0$ ). Dimostra che anche con oracoli rumorosi, la distanza TV rimane stimabile laddove la divergenza KL potrebbe essere infinita.

3. Valutazione Empirica

Gli autori validano i loro risultati teorici attraverso esperimenti che confrontano due motori di inferenza di produzione, vllm e sglang, che servono pesi identici di Qwen3-0.6B.

Caratterizzazione del Rumore: Hanno misurato la deviazione standard relativa $\sigma$ dei log-probabilità attraverso diversi backend (cuDNN, FlashAttention-2) e condizioni di batching. Hanno scoperto che, sebbene alcune configurazioni siano deterministiche in isolamento, le condizioni di servizio introducono un rumore significativo.
Stima della Distanza: La distanza TV stimata tra vllm e sglang è risultata sostanziale (ad es., $\approx 0.58$ con lunghezza della sequenza $n=500$ ). La distanza è stata decomposta in una componente di "supporto condiviso" (differenze di log-probabilità) e una componente di "discrepanza di supporto" (token presenti nel top- $k$ di un motore ma non dell'altro), con quest'ultima che contribuisce significativamente alla distanza totale.
Efficienza MLLM: Gli esperimenti hanno confermato l'utilità dello schema multilevel. Rispetto alle strategie di ripetizione a singolo livello fissate, lo schema multilevel scelto dal pilota ha raggiunto la stessa accuratezza con fino a $1.28\times$ meno query all'oracolo. I risultati hanno inoltre evidenziato che la distanza stimata è sensibile alle configurazioni di servizio (dimensione del batch) e al contenuto del prompt.

4. Contributi Chiave e Significato

Limiti Teorici: L'articolo stabilisce limiti di complessità di query stretti per la stima della distanza TV in modelli autoregressivi sotto tre modelli di accesso, risolvendo la dipendenza dalla lunghezza della sequenza $n$ e dalla dimensione del supporto $K$ .
Robustezza al Rumore: Introduce un modello per l'accesso ai logit rumorosi che cattura le inconsistenze dell'inferenza nel mondo reale, mostrando che la distanza TV può essere stimata anche quando i valori dei logit sono non deterministici.
Rilevanza Pratica: Il lavoro fornisce uno strumento per auditare i provider di LLM e verificare che le ottimizzazioni dell'inferenza (come la quantizzazione o diversi backend) non alterino significativamente la distribuzione di output.
Limiti della KL: L'articolo rafforza l'argomento secondo cui la distanza TV è una metrica più pratica della divergenza KL per confrontare gli LLM, specialmente quando le discrepanze di supporto (comuni nel campionamento top- $k$ ) rendono la KL infinita o inestimabile.

Gli autori concludono che, sebbene la distanza TV sia stimabile, la complessità di query dipende fortemente dal livello di rumore e dal modello di accesso specifico, e che la separazione tra la dipendenza lineare e quella quadratica da $n$ per diversi modelli di accesso rimane una questione aperta per il lavoro futuro.