💬 NLP

D-Models and E-Models: Diversity-Stability Trade-offs in the Sampling Behavior of Large Language Models

Questo articolo identifica un fondamentale compromesso tra diversità e stabilità nei modelli linguistici di grandi dimensioni, distinguendo tra i "modelli D", con probabilità di campionamento variabili e non allineate al compito, e i "modelli E", con probabilità stabili e allineate al compito, offrendo spunti critici per ottimizzare la selezione dei modelli nelle applicazioni su scala web.

Autori originali: Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

Pubblicato 2026-01-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Jia Gu, Liang Pang, Huawei Shen, Xueqi Cheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di chiedere a un gruppo di assistenti AI di giocare a un gioco di "Indovina il Numero". Dai loro una regola specifica: "Scegli numeri tra 1 e 4, ma assicurati di scegliere il numero '2' circa il 70% delle volte, e gli altri (1, 3 e 4) circa il 10% ciascuno."

Questo articolo investiga come diversi Modelli di Linguaggio di Grandi Dimensioni (LLM) gestiscono questo gioco. I ricercatori hanno scoperto che i modelli si dividono in due distinti tipi di personalità, che chiamano D-Models ed E-Models.

Ecco la suddivisione di ciò che hanno scoperto, utilizzando analogie semplici:

1. Le due personalità

Il Modello "Deciso" (D-Model)

Esempi: Qwen-2.5, Llama-3.1.
L'analogia: Immagina uno chef esecutivo molto severo che ha un'opinione molto forte. Quando gli viene chiesto di preparare un'insalata, questo chef decide: "Userò solo lattuga per il 99% della ciotola, e forse un pizzico di pomodoro più tardi".
Come funzionano: Ogni volta che scelgono una parola (o un numero), sono estremamente sicuri di sé. Scelgono quasi sempre un'opzione specifica con una certezza vicina al 100%, ignorando le altre opzioni.
Il risultato: Anche se sono molto sicuri passo dopo passo, a volte faticano a rispettare la regola generale che hai dato loro (come la regola del 70%). Sono "deterministici", il che significa che seguono un piano rigido.

Il Modello "Esplorativo" (E-Model)

Esempi: Mistral-Small, GPT-4o.
L'analogia: Immagina un giardiniere curioso. Quando gli viene chiesto di piantare dei semi, osserva il terreno e pensa: "Ok, pianterò soprattutto tulipani, ma spargerò anche alcune margherite e rose fin dall'inizio per rispettare il piano del giardino".
Come funzionano: Questi modelli sono più flessibili. Quando scelgono una parola, mantengono le probabilità delle diverse opzioni più vicine alle regole che hai fornito. Non si bloccano su una scelta immediatamente; "esplorano" le opzioni in modo più equilibrato.
Il risultato: Le loro scelte passo dopo passo si allineano molto meglio alle regole che hai impostato. Sono più "stabili" nel seguire le istruzioni.

2. Il grande compromesso: Varietà vs Affidabilità

La ricerca ha scoperto che nessuno dei due tipi è perfetto; hanno un compromesso, come scegliere tra un funambolo e un musicista jazz.

D-Models (Il Funambolo):
- Buoni per: Compiti in cui serve una singola risposta corretta e solida, come scrivere codice o risolvere problemi matematici. Poiché sono così decisi, possono perfezionare una soluzione più e più volte senza confondersi.
- Cattivi per: Compiti in cui è necessario scegliere da un elenco di opzioni (come raccomandare film). Poiché sono così rigidi, potrebbero scegliere con sicurezza un film che non era nemmeno nella tua lista, ignorando i vincoli.
E-Models (Il Musicista Jazz):
- Buoni per: Compiti in cui è necessario seguire un elenco di candidati o bilanciare diverse esigenze, come i risultati di ricerca o le raccomandazioni. Sono più bravi a restare fedeli al "menu" che hai fornito.
- Cattivi per: A volte sono troppo flessibili. Nei compiti di programmazione, la loro costante "esplorazione" potrebbe portarli a modificare troppo il codice, introducendo errori dove un approccio più semplice e rigido avrebbe funzionato meglio.

3. Cosa succede dentro la macchina?

I ricercatori hanno guardato "sotto il cofano" per vedere perché i modelli si comportano diversamente:

Controllo della Temperatura: Pensa alla "temperatura" come a una manopola del volume per la casualità.
- Gli E-Models sono come un microfono sensibile; girare la manopola cambia significamente il loro comportamento. Puoi renderli più casuali o più rigorosi facilmente.
- I D-Models sono come una pietra pesante; girare la manopola non li muove quasi per nulla. Rimangono estremamente sicuri e rigidi indipendentemente da come regoli le impostazioni.
Il mito del "Conteggio": I ricercatori si sono chiesti se i D-Models stessero segretamente tenendo un registro (ad esempio, "Ho scelto '2' troppe volte, quindi sceglierò '1' la prossima volta per bilanciare"). Hanno testato questo e non hanno trovato alcuna prova di ciò. I D-Models non stanno bilanciando un registro; stanno solo seguendo un percorso rigido e pre-pianificato.

Riassunto

L'articolo conclude che, quando usi un'IA, devi sapere con quale "personalità" stai interagendo:

Se hai bisogno di affidabilità e un rigoroso rispetto di un elenco (come scegliere da un menu di prodotti), scegli un E-Model.
Se hai bisogno di un ragionamento forte e coerente per compiti complessi come la programmazione, un D-Model potrebbe essere migliore, anche se è meno flessibile.

L'obiettivo non è dire che uno sia "migliore", ma capire che hanno punti di forza e debolezze differenti quando si tratta di seguire le regole di probabilità.

Sintesi Tecnica: D-Models ed E-Models: Trade-off tra Diversità e Stabilità nel Comportamento di Campionamento dei Large Language Models

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati in applicazioni su scala web come la generazione di codice, la ricerca e i sistemi di raccomandazione. In questi contesti, il processo di generazione del modello è effettivamente un'operazione di campionamento da una distribuzione di potenziali elementi. Sebbene gli LLM siano noti per approssimare distribuzioni del mondo reale, esiste una lacuna critica nella comprensione se le loro probabilità di campionamento dei token passo dopo passo ( $P_{token}$ ) si allineino fedelmente alla distribuzione target a livello di task ( $P_{task}$ ).

La ricerca attuale ha identificato carenze nella capacità degli LLM di eseguire la generazione di numeri casuali o il lancio di monete, ma tali studi sono ampiamente empirici e specifici per scenario. Manca un'analisi sistematica della mappatura tra la distribuzione interna del token ( $P_{token}$ ) e la distribuzione obiettivo del task ( $P_{task}$ ), né esiste una chiara comprensione di come questi meccanismi interni influenzino i risultati pratici in compiti complessi. La domanda centrale affrontata è: Gli LLM possono comprendere ed adattarsi efficacemente a diverse distribuzioni obiettivo dei task, e i loro comportamenti di campionamento interni mostrano pattern distinti che influenzano la diversità e la stabilità?

Metodologia

Gli autori propongono un framework probabilistico per analizzare il comportamento di campionamento degli LLM mettendo in relazione tre distribuzioni chiave:

$P_{task}$ : La distribuzione di probabilità target su un insieme di candidati definito dal task (ad esempio, una specifica distribuzione di numeri da generare).
$P_{token}$ : La distribuzione di probabilità interna sul vocabolario ad ogni step di generazione, emessa dal modello.
$P_{result}$ : La distribuzione empirica dell'output finale generato.

Design Sperimentale

Lo studio impiega un approccio di validazione multistadio:

Task di Distribuzione Simulata: Gli autori hanno progettato task di campionamento di probabilità discreti con $P_{task}$ esplicitamente definite (ad esempio, "Distribuzione Estrema" con un token dominante e "Distribuzione Piatta" con probabilità uniformi). I modelli sono stati istruiti per generare sequenze di numeri aderendo strettamente a queste distribuzioni.
Metriche:
- e-score: Quantifica l'estremo di $P_{token}$ (media della massima probabilità ad ogni step). Punteggi alti indicano un comportamento deterministico.
- ATVD (Average Total Variation Distance): Misura la divergenza tra le distribuzioni ( $P_{task}$ vs. $P_{token}$ , $P_{task}$ vs. $P_{result}$ , e $P_{token}$ vs. $P_{result}$ ).
- ATVD-step: Misura l'allineamento step-wise tra $P_{token}$ e $P_{task}$ .
Valutazione su Downstream Task: I tipi di modelli identificati sono stati valutati su Generazione di Codice (benchmark HumanEval) e Raccomandazione (dataset MovieLens-1M).
- Codice: Misurato tramite $\Delta_{pass}$ (diversità delle soluzioni di successo) e similarità vettoriale.
- Raccomandazione: Misurato tramite Precision e "can-hit" rate (proporzione di raccomandazioni che rientrano in una lista di candidati predefinita).
Analisi dei Meccanismi Interni: Lo studio ha investigato gli effetti di Temperatura, Prior Bias (preferenze numeriche intrinseche), Evoluzione della Probabilità per Layer e una Ipotesi di Compensazione della Quota (se i modelli regolano i futuri logit basandosi sugli errori di campionamento passati).

Risultati Chiave e Classificazione dei Modelli

Attraverso simulazioni controllate e valutazioni downstream, gli autori identificano una dicotomia sorprendente nel comportamento degli LLM, classificando i modelli in due tipi distinti:

1. D-Models (Modelli Deterministici)

Esempi: Qwen-2.5, Llama-3.1, DeepSeek-R1, DeepSeek-v3.
Comportamento: Mostrano e-score elevati (spesso > 0.9), indicando che $P_{token}$ è altamente concentrato su un singolo token indipendentemente dalla distribuzione target.
Meccanismo: Utilizzano una pianificazione globale deterministica. Anche quando è richiesta un'uscita uniforme, tendono a fissarsi su un token specifico, portando a grandi fluttuazioni step-to-step in $P_{token}$ .
Performance:
- Generazione di Codice: Performano bene, generando diverse soluzioni candidate attraverso piccole perturbazioni di un nucleo deterministico, risultando in un alto $\Delta_{pass}$ .
- Raccomandazione: Mostrano tassi di "can-hit" inferiori, spesso deviando dalla lista di candidati fornita per generare elementi diversi ma potenzialmente irrilevanti.

2. E-Models (Modelli Esplorativi)

Esempi: Mistral-Small, Gemma-2, GPT-3.5-Turbo, GPT-4o.
Comportamento: Mostrano e-score inferiori e distribuzioni $P_{token}$ che si allineano più strettamente con $P_{task}$ .
Meccanismo: Dimostrano una pianificazione locale esplorativa. Le loro probabilità dei token sono più stabili e si adattano alla distribuzione richiesta dal task, sebbene mostrino ancora un bias verso una concentrazione maggiore rispetto a quanto strettamente richiesto.
Performance:
- Generazione di Codice: Mostrano un $\Delta_{pass}$ inferiore; la loro esplorazione più ampia in task sensibili alla sintassi spesso introduce errori semantici o di esecuzione.
- Raccomandazione: Ottengono tassi di "can-hit" e precisione più elevati, poiché la loro generazione rimane più strettamente allineata ai vincoli dell'insieme di candidati.

Caratteristiche Interne

Sensibilità alla Temperatura: Gli E-Models sono altamente sensibili ai cambiamenti di temperatura, permettendo un controllo flessibile sulla diversità. I D-Models mantengono un campionamento a bassa entropia anche ad alte temperature, mostrando resistenza all'appiattimento della distribuzione.
Prior Bias: L'analisi conferma che le deviazioni da $P_{task}$ non sono causate da preferenze numeriche intrinseche (prior) nei modelli.
Evoluzione per Layer: Nei primi layer, entrambi i tipi di modelli mostrano probabilità uniformi. Tuttavia, nei "layer superiori" (vicino all'output), i D-Models mantengono una fiducia estrema, mentre gli E-Models convergono gradualmente verso la distribuzione del task.
Compensazione della Quota: L'ipotesi secondo cui i D-Models compensano gli errori di campionamento regolando i futuri logit (per corrispondere a $P_{task}$ ) è stata rigettata. L'analisi di correlazione non ha mostrato alcuna relazione significativa tra i residui di campionamento passati e le future regolazioni di probabilità, suggerendo che i D-Models si affidino a un piano globale piuttosto che a una compensazione reattiva.

Contributi Chiave

Visione Probabilistica dei Task Web: Il paper formalizza i task web come processi di campionamento probabilistico e valida l'esistenza di due distinti comportamenti di modello (D-Models ed E-Models) basati sull'allineamento tra $P_{token}$ e $P_{task}$ .
Trade-off Specifici per il Task: Lo studio rivela un sistematico trade-off tra diversità e stabilità. I D-Models favoriscono la diversità e il raffinamento deterministico (benefico per la generazione di codice) ma faticano con i vincoli stretti (dannoso per la raccomandazione). Gli E-Models favoriscono la stabilità e l'aderenza ai vincoli (benefico per la raccomandazione) ma potrebbero mancare della diversità controllata necessaria per l'esplorazione di codice complesso.
Analisi dei Meccanismi: Sondando le proprietà interne (sensibilità alla temperatura, evoluzione per layer e meccanismi di compensazione), il paper fornisce intuizioni causali sul perché questi differenze comportamentali esistano, andando oltre l'osservazione empirica verso una comprensione meccanicistica.

Significato e Claim

Gli autori affermano che queste scoperte offrono intuizioni fondamentali sul comportamento di campionamento probabilistico degli LLM. L'identificazione di D-Models ed E-Models fornisce una guida pratica per la selezione e configurazione del modello nelle applicazioni web reali:

Per i task che richiedono affidabilità e rigorosa aderenza ai vincoli (ad esempio, ricerca, raccomandazione, agenti conversazionali dove l'allucinazione di elementi inesistenti è critica), sono preferiti gli E-Models.
Per i task che richiedono l'esplorazione di soluzioni diverse e il raffinamento iterativo (ad esempio, generazione di codice, scrittura creativa), i D-Models possono essere più efficaci.

Il paper conclude che garantire che il processo di campionamento sia auditabile e spiegabile è cruciale per uno sviluppo di IA responsabile. Comprendendo se un modello opera come un D-Model o un E-Model, i professionisti possono meglio bilanciare diversità e affidabilità sotto l'incertezza del mondo reale.