💬 NLP

Quantifying non deterministic drift in large language models

Questo articolo quantifica empiricamente il deriva comportamentale di base nei grandi modelli linguistici dimostrando che la variabilità dell'output persiste anche a temperatura zero attraverso diversi modelli e tipi di prompt, stabilendo un punto di riferimento sistematico per valutare le future strategie di mitigazione.

Autori originali: Claire Nicholson

Pubblicato 2026-01-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Claire Nicholson

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un assistente robotico molto intelligente e creativo. Gli fai esattamente la stessa domanda, "Com'è il tempo?", e gli dici: "Sii il più preciso e noioso possibile". Ti aspetteresti che ti dia la stessa identica risposta ogni singola volta, giusto?

Questo articolo, scritto da Claire Nicholson, indaga cosa succede quando provi effettivamente a fare questo con i moderni robot AI (chiamati Large Language Models o LLM). La sorprendente scoperta è: anche quando dici al robot di essere perfettamente coerente, spesso non lo è.

Ecco una semplice analisi di ciò che lo studio ha scoperto, utilizzando analogie quotidiane:

1. Il "Fantasma nella Macchina" (Non-determinatezza)

I ricercatori hanno trattato due diversi modelli AI come se fossero gemelli identici:

Il Robot nel Cloud: Un modello chiamato gpt-4o-mini che vive in una grande fattoria di server (come una cucina di un ristorante che non puoi vedere).
Il Robot Locale: Un modello chiamato llama3.1-8b che gira su un singolo computer in un laboratorio (come uno chef che cucina nella tua cucina di casa).

Hanno posto a questi robot le stesse domande ripetutamente, con le impostazioni portate alla "massima coerenza" (Temperatura 0.0).

Il Risultato: Il Robot nel Cloud ha dato una risposta diversa circa 1 volta su 4. Il Robot Locale era più coerente, ma cambiava comunque la sua risposta circa 1 volta su 10.

L'Analogia: Immagina di chiedere a un pasticcere di preparare una torta al cioccolato usando esattamente la stessa ricetta e gli stessi ingredienti. Ti aspetteresti che la torta sia identica ogni volta. Ma in questo studio, il pasticcere (l'AI) a volte aggiunge un pizzico di sale in più, o dispone le decorazioni in modo diverso, anche se gli hai chiesto di seguire la ricetta alla perfezione.

2. Perché succede questo?

Il documento suggerisce due ragioni principali per questo "deriva":

Il Modello stesso: I modelli più grandi e complessi sembrano essere più "nervosi" e meno coerenti rispetto a quelli più piccoli.
La Cucina (Infrastruttura): Per il Robot nel Cloud, il modo in cui la richiesta viaggia attraverso internet, il modo in cui il computer elabora i dati o persino come è organizzato il server può cambiare il risultato. È come se il forno del pasticcere avesse una leggera fluttuazione di temperatura o se la ciotola per mescolare fosse leggermente diversa ogni volta, anche se la ricetta era la stessa.

3. La manopola della "Temperatura"

I ricercatori hanno anche testato cosa succede quando alzano la "Temperatura" (un'impostazione che rende l'AI più creativa e casuale).

Temperatura Bassa (0.0): Il robot cerca di essere noioso e coerente, ma inciampa comunque occasionalmente.
Temperatura Alta (0.7): Il robot impazzisce. In questa modalità, ogni singola risposta era diversa. Era come chiedere al pasticcere di fare una torta, ma dirgli di "essere creativo". Improvvisamente, ogni torta appariva completamente diversa.

4. Il controllo del "Conteggio Parole" e della "Similitudine"

Come hanno misurato questo? Non si sono limitati a leggere le risposte; hanno usato la matematica per confrontarle.

Frazione Unica: Hanno contato quante volte il robot dava una risposta totalmente nuova.
Similitudine di Jaccard: Questo è un modo elegante per chiedere: "Quante parole sono uguali?"
- Quando il robot era "noioso" (0.0), le risposte erano simili per circa il 90%.
- Quando il robot era "creativo" (0.7), le risposte erano simili per meno del 50%.

5. Cosa significa per te (Il "Budget di Varianza")

Il documento non ti dice come risolvere questo problema. Invece, dice: "Devi sapere che questo sta accadendo prima di provare a risolverlo."

Pensa a questo come a un "Budget di Varianza".

Se stai costruendo un sistema che genera numeri finanziari, potresti dire: "Posso tollerare solo una differenza del 5% nell'output".
Se l'AI devia più di tanto, sai che devi intervenire.
Ma prima, devi sapere quale sia la deriva "normale" senza alcun aiuto. Questo studio fornisce quella mappa di base.

Riassunto

Questo studio è un "rapporto di misurazione". Non ha inventato un nuovo modo per impedire ai robot di cambiare idea. Invece, ha misurato esattamente quanto cambiano idea quando lasciati a sé stessi.

Il punto principale: Anche quando pensi di aver bloccato un robot per renderlo prevedibile al 100%, in realtà si muove un po'. Se ti affidi a una singola risposta di un'AI, potresti perdere di vista il fatto che la prossima volta che avessi chiesto la stessa cosa, avrebbe potuto dire qualcosa di leggermente diverso. Per avere il quadro completo, potresti dover porre la stessa domanda alcune volte e guardare la media.

Sintesi Tecnica: Quantificare il Drift Non-Deterministico nei Large Language Models

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in compiti critici che spaziano dalla sintesi al supporto decisionale. Un'aspettativa fondamentale in questi impieghi è che prompt identici, quando eseguiti sotto configurazioni "deterministiche" fisse (ad esempio, temperatura impostata a 0.0 e seed fissi), producano output identici. Tuttavia, l'evidenza empirica suggerisce che ciò non sia sempre il caso.

Il documento affronta il fenomeno del baseline behavioural drift (drift comportamentale di base): la variabilità osservata quando lo stesso prompt viene emesso più volte senza istruzioni stabilizzanti o interventi a livello di operatore. Questo drift deriva da due fonti primarie:

Proprietà Intrinseche del Modello: Algoritmi di campionamento e scala del modello.
Nondeterminismo Indotto dall'Infrastruttura: Infrastruttura di serving, inclusi algoritmi di campionamento compilati in modo errato, non-associatività della virgola mobile e ottimizzazioni API opache (ad esempio, batching dinamico, code di richieste).

Il problema centrale è la mancanza di una quantificazione sistematica e priva di operatore di questo drift. Senza un baseline misurato, è impossibile distinguere tra la variabilità intrinseca del modello e gli effetti delle strategie di mitigazione proposte.

Metodologia

Questo studio è un esperimento focalizzato sulla misurazione, progettato per quantificare il baseline drift in condizioni ordinarie e prive di operatore. Non introduce nuove tecniche di stabilizzazione o metodi di prompt engineering.

Configurazione Sperimentale

Modelli Testati:
- gpt‑4o‑mini: Un modello più piccolo servito tramite un'API proprietaria in cloud.
- llama3.1‑8b: Un modello open-weight eseguito localmente su una singola GPU NVIDIA A100 utilizzando il motore vLLM.
Categorie di Prompt: Sono state utilizzate cinque categorie distinte per testare la sensibilità:
1. Sintesi sottospecificate
2. Consigli sottospecificati
3. Vincoli leggeri
4. Prompt di stile
5. Vincoli rigidi
Modalità di Prompting:
1. Ripetizioni Esatte: Prompt identici eseguiti più volte.
2. Input Perturbati: Introduzione di sinonimi e lievi cambiamenti lessicali pur preservando il significato.
3. Riutilizzo (Reuse): Risposte precedenti riutilizzate come input per il prompt successivo.
Parametri: Gli esperimenti sono stati condotti a temperature di 0.0 e 0.7.
Volume: Ogni combinazione modello/prompt è stata eseguita 30 volte (dataset gapfill) o 20 volte (piccola batteria). Le esecuzioni con errori API o rifiuti sono state escluse.

Metriche

Lo studio si affida a metriche lessicali per fornire un limite inferiore conservativo sul drift, riconoscendo che sono necessarie metriche semantiche per un'analisi più approfondita, le quali sono riservate ai lavori futuri.

Unicità della Frazione di Output (Unique Output Fraction): Il rapporto tra risposte distinte e corse totali (approssimando la probabilità di una nuova risposta alla seconda chiamata).
Similitudine Media di Jaccard a Coppie (Average Pairwise Jaccard Similarity): Calcolata sugli output tokenizzati per misurare la sovrapposizione lessicale.
Statistiche del Conteggio Parole (Word Count Statistics): Media e deviazione standard dei conteggi delle parole attraverso le corse.

Risultati Chiave

Gli esperimenti hanno rivelato che il nondeterminismo persiste anche in configurazioni teoricamente progettate per essere deterministiche (Temperatura 0.0).

Variabilità di Baseline a Temperatura 0.0:
- gpt‑4o‑mini: Ha prodotto output distinti in circa il 24% delle corse (Frazione Unica = 0.24) con una similitudine di Jaccard media di 0.89.
- llama3.1‑8b: Ha prodotto output distinti in circa il 9% delle corse (Frazione Unica = 0.09) con una similitudine di Jaccard media di 0.97.
- Osservazione: Il modello servito via API ha esibito una variabilità circa 2,5 volte superiore rispetto al modello open-weight locale.
Impatto di Perturbazione e Riutilizzo:
- Input Perturbati: Hanno aumentato significativamente la variabilità (gpt‑4o‑mini: 0.57; llama3.1‑8b: 0.27).
- Modalità di Riutilizzo (Reuse): Ha ridotto la variabilità rispetto alle ripetizioni esatte (gpt‑4o‑mini: 0.20; llama3.1‑8b: 0.10).
Impatto della Temperatura (0.7):
- Alzare la temperatura a 0.7 ha portato a una diversità quasi completa. Quasi ogni corsa ha generato una nuova risposta (Frazione Unica $\approx$ 1.0), e la similitudine lessicale è scesa sotto lo 0.52 in tutte le modalità.
Differenze tra Modelli e Deployment:
- I modelli più grandi e i deployment serviti via API hanno generalmente esibito una varianza maggiore. Lo studio suggerisce che parte del drift negli ambienti API rifletta lo stack di inferenza (ottimizzazioni nascoste, batching) piuttosto che i pesi del modello stessi.

Contributi Chiave

Quantificazione Sistematica del Baseline Drift: Il documento fornisce la prima misurazione sistematica e multi-modalità del baseline behavioural drift attraverso due distinti tipi di deployment (API vs. locale), cinque categorie di prompt e tre modalità di prompting.
Evidenza di un Nondeterminismo Persistente: Dimostra che le impostazioni "deterministiche" (Temperatura 0.0) non garantiscono la riproducibilità. I pattern di variabilità differiscono per dimensione del modello, metodo di deployment e modalità di prompting.
Framework Concettuale tramite i "Variance Budgets": Il documento contestualizza queste misurazioni utilizzando il concetto di "budget di varianza" (analogo a un budget di errore nell'ingegneria dell'affidabilità). Questo inquadra il drift non come un fallimento binario, ma come un problema di allocazione di risorse dove le applicazioni devono decidere i livelli accettabili di variabilità (ad esempio, $\pm$ 5% per cifre finanziarie).
Separazione tra Misurazione e Controllo: Lo studio distingue esplicitamente tra la misurazione del drift e la sua mitigazione. Stabilendo un baseline non influenzato, impedisce la confusione tra il rumore di misurazione e l'efficacia di future tecniche di stabilizzazione.

Significato e Rivendicazioni

Il documento si pone come uno studio descrittivo e fondativo piuttosto che come una soluzione prescrittiva. La sua importanza risiede in:

Stabilire un Punto di Riferimento: Fornisce un baseline necessario rispetto al quale possono essere confrontati futuri studi di mitigazione (ad esempio, prompt engineering, constrained decoding). Senza questo baseline, è impossibile determinare se un intervento riduca realmente il drift o lo mascheri semplicemente.
Evidenziare gli Effetti dell'Infrastruttura: I risultati suggeriscono che una parte significativa del drift osservato negli ambienti di produzione derivi dallo stack di inferenza (API, hardware, batching) piuttosto che dal modello stesso.
Definire i Limiti delle Metriche Lessicali: Sebbene lo studio utilizzi metriche lessicali per l'interpretabilità, riconosce esplicitamente i loro limiti (ad esempio, segnalare come drift parafrasi innocue) e richiede l'integrazione di metriche semantiche nei lavori futuri.
Implicazioni per l'Affidabilità: I risultati implicano che affidarsi a una singola esecuzione di un LLM può oscurare le prestazioni nel caso peggiore. Si raccomanda di riportare più corse per fornire un quadro completo del comportamento del modello.

Gli autori concludono che il nondeterminismo è una caratteristica intrinseca degli attuali LLM, derivante sia dalla scala che dall'infrastruttura. Comprendere e quantificare questo drift è un prerequisito per migliorare l'affidabilità degli LLM nei sistemi multi-agente e nelle interazioni a lungo termine.