🤖 machine learning

On the Effect of Sampling Diversity in Scaling LLM Inference

Questo articolo fornisce un'analisi sistematica, sia teorica che empirica, dimostrando che l'introduzione di una diversità significativa dei prompt durante l'inferenza degli LLM migliora significativamente le prestazioni di scaling del Best-of- $N$ riducendo i tassi di errore, stabilendo al contempo un principio di compromesso tra diversità e fedeltà per guidare strategie di campionamento efficaci.

Autori originali: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Pubblicato 2026-08-11

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tianchun Wang, Zichuan Liu, Yuanzhou Chen, Jonathan Light, Weiyang Liu, Haifeng Chen, Xiang Zhang, Wei Cheng

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle davvero complicato, come un problema matematico complesso o la scrittura di un pezzo di codice. Hai un amico robot super intelligente (un Large Language Model) che può aiutarti. Ma ecco il problema: se fai al robot la stessa identica domanda nello stesso identico modo dieci volte, potrebbe darti dieci risposte che sembrano quasi identiche. Potrebbero essere tutte sbagliate nello stesso modo, o potrebbero rimanere tutte intrappolate nello stesso piccolo angolo dello spazio delle soluzioni. È come chiedere a un amico indicazioni dieci volte e ricevere lo stesso errore di percorso ogni volta perché sta pensando in loop.

Per risolvere questo problema, gli scienziati hanno scoperto un trucco chiamato "scaling inference". Invece di fare al robot una sola domanda, gliela fai molte volte e scegli la risposta migliore. Ma per far sì che questo funzioni, hai bisogno che il robot esplori percorsi diversi, non solo lo stesso ripetutamente. Questo articolo approfondisce una domanda specifica: come possiamo rendere le risposte del robot più diverse tra loro senza renderle peggiori? I ricercatori hanno scoperto che se si stimola il pensiero del robot con suggerimenti leggermente diversi, ma ancora pertinenti, esso esplora un mondo molto più ampio di possibilità e trova la risposta corretta molto più spesso. Tuttavia, hanno anche scoperto una trappola: se provi a scegliere la risposta "più popolare" tra tutti i tentativi, tutto il duro lavoro fatto per esplorare nuovi percorsi potrebbe in realtà svanire, e non otterrai risultati migliori.

La caccia alla Grande Idea: Perché mescolare le carte aiuta i robot a pensare meglio

Allora, hai un robot IA super intelligente. È bravo a scrivere storie, risolvere problemi di matematica e programmare. Ma a volte, quando gli poni una domanda difficile, rimane bloccato in un vicolo cieco. È come un cane che si insegue la coda; continua a correre nello stesso cerchio, generando lo stesso tipo di risposta continuamente. Nel mondo dell'IA, questo è chiamato mancanza di "diversità".

I ricercatori dietro questo articolo volevano sapere: cosa succede se costringiamo il robot a uscire da quel cerchio? Cosa succede se poniamo la stessa domanda, ma modifichiamo leggermente il modo in cui la poniamo? Magari gli diciamo: "Immagina di essere un insegnante di matematica severo", oppure "Pensa come uno scrittore creativo", o anche solo gli diamo un modo leggermente diverso di formulare il problema. Questo è chiamato "sampling diversity" (campionamento della diversità).

La grande idea è semplice: se chiedi al robot di provare 100 modi diversi per risolvere un problema, e quei 100 modi sono tutti molto diversi tra loro, hai molte più probabilità che almeno uno di essi sia la risposta corretta. Questa è la strategia "Best-of-N": prova molte cose, scegli la migliore. Ma la domanda da un milione di dollari è: come rendi quelle 100 cose diverse senza renderle sciocche o errate?

Il Punto di Equilibrio: Non troppo noioso, non troppo strano

Gli autori sono partiti alla ricerca del "nudge" (la spinta/stimolo) perfetto. Hanno testato diversi modi per scuotere il pensiero del robot.

Per prima cosa, hanno provato con idee irrilevanti. Immagina di chiedere a un robot di risolvere un problema di matematica, ma di dirgli di pensare prima a preparare una torta. Quello è solo rumore. Non aiuta. Il robot si confonde e le sue risuzioni peggiorano.

Poi, hanno provato con le ripetizioni esatte. Immagina di porre al robot la stessa domanda dieci volte con le stesse identiche parole. Ti darà la stessa risposta dieci volte. Nessuna nuova idea, nessun risultato migliore.

Ma poi, hanno trovato il Punto di Equilibrio. Hanno provato a dare al robot idee "allineate al compito" (task-aligned). Per un problema di matematica, potrebbero dire: "Pensa a scomporre il problema in piccoli passaggi", oppure "Considera l'uso di un teorema specifico". Questi suggerimenti erano abbastanza diversi da far esplorare al robot nuovi percorsi, ma erano ancora focalizzati sul problema matematico in questione.

I risultati sono stati incredibili. Quando hanno usato questi suggerimenti "giusti al punto giusto", il tasso di successo del robot è aumentato significativamente. Ad esempio, su un test di coding chiamato HumanEval, l'uso di una strategia chiamata "Dual" (dove un secondo robot aiuta a generare le idee) ha migliorato il tasso di successo del 4,7% rispetto a una normale richiesta. Su un test di matematica chiamato MATH, il miglioramento è stato dell'8,2%. Su un test di ragionamento chiamato MMLU-Pro, è balzato del 10,8%.

L'articolo suggerisce che esiste un "trade-off tra diversità e fedeltà" (diversity-fidelity trade-off). Vuoi che i suggerimenti siano abbastanza diversi da creare nuovi percorsi (diversità), ma non così diversi da rovinare la qualità della risposta (fedeltà). È come aggiungere spezie a una zuppa: un po' la rende deliziosa, troppe la rendono immangiabile, e senza spezie è noiosa.

La Trappola: Perché il "Voto" può uccidere il tuo successo

Ecco dove la storia prende una piega. I ricercatori hanno anche esaminato come scegliamo la risposta finale. Di solito, quando hai 100 risposte diverse, potresti pensare: "Vediamo su quale risposta sono d'accordo la maggior parte delle persone!" Questo è il voto a maggioranza (majority voting). Se 51 robot su 100 dicono "La risposta è 42", allora 42 deve essere giusta, giusto?

L'articolo dice: Attenzione.

Hanno dimostrato matematicamente che se usi il voto a maggioranza, tutto il duro lavoro fatto per rendere le risposte diverse potrebbe essere sprecato. Perché? Perché il voto a maggioranza funziona solo se la risposta più comune è quella corretta. Ma se rendi le risposte diverse, potresti disperdere i voti. La risposta giusta potrebbe essere unica e brillante, ma se appare solo 5 volte su 100, e una risposta errata appare 20 volte, il voto a maggioranza sceglierà quella errata.

Nei loro esperimenti sul dataset MATH, hanno scoperto che quando usavano il voto a maggioranza, i sofisticati trucchi di diversità non aiutavano e talvolta peggioravano le cose. L'articolo esclude esplicitamente il voto a maggiorità come una buona strategia quando si cerca di usare la diversità per trovare una singola risposta corretta. È come una giuria dove tutti cercano di essere unici; se tutti votano per cose diverse, non si arriverà mai a un verdetto.

Quando funziona questa magia?

I ricercatori non si sono fermati alla scoperta del trucco; lo hanno testato ovunque per vedere se regge.

Temperatura: Hanno testato il robot quando era "caldo" (molto casuale) e "freddo" (molto rigoroso). I trucchi della diversità funzionavano in entrambi i casi, fornendo aumenti extra rispetto a ciò che la temperatura stava già facendo.
Passaggi di Pensiero: Lo hanno provato con il "Chain-of-Thought" (catena di pensiero), dove il robot espone i suoi passaggi. I trucchi hanno continuato a funzionare, dando un aumento del 7,4% in un difficile test di coding.
Chi è il "Pensatore"?: Hanno usato diversi robot per generare le idee. Hanno scoperto che un robot "pensatore" più intelligente rendeva l'intero sistema migliore.
Quante idee?: Più idee uniche venivano iniettate, migliori erano i risultati. Usare 100 idee diverse era meglio che usarne solo 1.

Tuttavia, hanno anche notato che questo trucco funziona meglio per i robot più deboli. Se il robot è già super intelligente (come i modelli più grandi e potenti), il bonus extra è minore. È come dare una mappa a un genio; probabilmente conosceva già la strada. Ma per un robot intelligente ma non geniale, la mappa aiuta molto.

In sintesi

Questo articolo è una guida per chiunque voglia ottenere il massimo dai robot IA. Ci dice che:

La diversità è buona: Far provare al robot approcci diversi aiuta a trovare la risposta corretta.
Attenzione al suggerimento: I suggerimenti devono essere pertinenti. Troppo strani, e fallisci. Troppo banali, e non aiuti.
Non limitarti a votare: Se vuoi trovare una singola risposta corretta, non scegliere semplicemente quella più popolare. Scegli la singola migliore tra tutti i tentativi diversi.
È uno strumento, non una bacchetta magica: Funziona meglio quando hai un budget di potenza di calcolo e quando lo usi su modelli che non sono già perfetti.

Gli autori non hanno solo tirato a indovinare; hanno condotto centinaia di esperimenti e costruito una teoria matematica per supportarli. Hanno dimostrato che, mescolando con cura il modo in cui poniamo le domande, possiamo rendere l'IA più intelligente, più veloce e più affidabile, senza dover costruire un robot più grande o più costoso. È un promemoria del fatto che, a volte, il modo migliore per trovare la risposta giusta è porre la domanda in cento modi diversi.

Sintesi Tecnica: Sull'effetto della diversità di campionamento nella scalabilità dell'inferenza degli LLM

Definizione del Problema

La scalabilità dell'inferenza dei Large Language Model (LLM) mira a migliorare le prestazioni aumentando le risorse computazionali al momento del test (ad esempio, generando molteplici soluzioni candidate e selezionando la migliore) piuttosto che aumentare i parametri del modello. Sebbene la non-determinatezza negli LLM (derivante dal decoding stocastico, dai limiti di precisione e dalla concorrenza) sia spesso vista come un disturbo da eliminare, questo articolo sostiene che tale variabilità sia una risorsa critica per la scalabilità al tempo di test.

Il problema centrale affrontato è la trappola del "cluster locale" nel campionamento standard Best-of-N. Quando un LLM viene campionato ripetutamente utilizzando lo stesso prompt, gli output tendono a convergere verso un insieme ristretto di soluzioni simili a causa degli obiettivi di post-training che danno priorità a una singola risposta corretta. Questa concentrazione limita l'esplorazione dello spazio delle soluzioni, impedendo al modello di scoprire risposte corrette che si trovano al di fuori del cluster locale immediato. Il documento investiga come introdurre sistematicamente la diversità di campionamento per rompere questi cluster e migliorare la probabilità di trovare una soluzione corretta, evitando al contempo il degrado della qualità della soluzione (fedeltà).

Metodologia

Quadro Teorico

Gli autori stabiliscono una prospettiva teorica per spiegare perché la diversità delle soluzioni migliori le prestazioni del Best-of-N. Formalizzano il processo di campionamento utilizzando una politica di diversità ibrida in cui ogni tentativo è configurato da una modalità di decoding di base $\eta$ (ad esempio, temperatura, seed) e una sorgente di diversità ausiliaria $\xi$ (ad esempio, perturbazione del prompt).

Vengono poste due ipotesi chiave:

Dispersione (Variazione): La diversità ausiliaria (come la perturbazione del prompt) induce variazione nella probabilità di successo delle soluzioni. Se la sorgente ausiliaria è variata, la log-probabilità di fallimento dei tentativi dovrebbe esibire una variazione significativa (misurata dal primo momento assoluto centrale).
Fedeltà: La sorgente di diversità ausiliaria non deve degradare globalmente la qualità della generazione. Un prompt perturbato dovrebbe performare quasi altrettanto bene del prompt di base in termini di tassi di successo del singolo tentativo.

Sulla base di queste ipotesi, gli autori derivano il Teorema 3.5, che dimostra come l'introduzione di diversità ausiliaria porti a:

Errore Asintotico Inferiore: L'insieme delle istanze insolubili (punti ciechi) si restringe all'aumentare di $N \to \infty$ .
Convergenza più Rapida: Il fattore di riduzione dell'errore migliora con una diversità più ricca, portando a guadagni più ripidi nelle prestazioni del Best-of-N.

Principio del Compromesso Diversità-Fedeltà

La teoria porta a un principio di progettazione: le perturbazioni efficaci devono trovare un equilibrio. Devono essere abbastanza diverse da creare esplorazione (aumentando la metrica di dispersione $\hat{\mu}_1$ ) ma abbastanza fedeli da non danneggiare la qualità delle singole generazioni (mantenendo basso il degrado della fedeltà $\epsilon$ ).

Troppo Irrilevanti: Le perturbazioni completamente fuori tema degradano la fedeltà ( $\epsilon$ aumenta), annullando i guadagni di diversità.
Troppo Simili: Le perturbazioni che sono semplici parafrasi o ripetizioni verbali non riescono a indurre una diversità sufficiente ( $\hat{\mu}_1$ è piccolo), risultando in nessun guadagno di prestazione.
Punto Ottimale (Sweet Spot): Le perturbazioni moderatamente rilevanti (ad esempio, idee allineate al compito) massimizzano il guadagno effettivo.

Strategie di Perturbazione

Guidati dal principio del compromesso, il documento istanzia due categorie di perturbazioni:

Perturbazioni a Livello di Task: Indipendenti dal contenuto specifico della domanda.
- Iniezione di Ruolo: Assegnare personalità specifiche (ad esempio, "mentore", "ottimizzatore") al modello.
- Istruzione Strategica: Fornire guida passo dopo passo o euristiche.
Perturbazioni a Livello di Query: Direttamente legate alla specifica domanda.
- Iniezione di Idee Casuali (RandIdeaInj): Utilizzare un modello "pensatore" per generare idee correlate al task da iniettare nel prompt. Le varianti includono Single (un solo modello), Dual (due modelli separati) e Diverse (un pool di modelli).
- Riformulatore di Query Casuale (RandQReph): Riscrivere la domanda tramite parafrasi o traduzione inversa.

Valutazione Sperimentale

Gli autori valutano queste strategie attraverso compiti di ragionamento (MMLU-Pro), matematica (GSM-Hard, MATH) e generazione di codice (HumanEval, MBPP, APPS). Misurano le prestazioni utilizzando Pass@k (codice) e EM@k (ragionamento/matematica) e analizzano la diversità delle soluzioni utilizzando metriche come TF-IDF, similitudine BERT e distanza di Levenshtein.

Le condizioni sperimentali chiave includono:

Variazione delle temperature di campionamento.
Utilizzo di diversi modelli "pensatori" per le perturbazioni a livello di query.
Variazione della cardinalità (numero) delle perturbazioni.
Test con Chain-of-Thought (CoT) reasoning.
Confronto con diversi metodi di verifica: Oracle (verità fondamentale), LLM-as-a-Judge (Modelli di Ricompensa per l'Esito - ORM) e Majority Voting.

Risultati Chiave

La Diversità Migliora il Best-of-N: I risultati empirici confermano la previsione teorica. Le strategie che aumentano la diversità delle soluzioni (ad esempio, RandIdeaInj, iniezione di istruzioni) superano costantemente il campionamento diretto. Ad esempio, su MMLU-Pro, RandIdeaInj ha ottenuto un miglioramento del 10,8% in EM@100 rispetto al campionamento diretto.
Rilevanza Non Lineare: Le prestazioni seguono un pattern di crescita e poi declino rispetto alla rilevanza della perturbazione. Le perturbazioni moderatamente rilevanti producono i guadagni più elevati, mentre le perturbazioni irrilevanti o eccessivamente simili non migliorano o degradano le prestazioni.
Robustezza: Il campionamento diversificato rimane efficace attraverso:
- Diverse temperature di campionamento.
- La presenza di ragionamento Chain-of-Thought (CoT).
- Verifica tramite LLM-as-a-Judge (Outcome Reward Models).
Dipendenza dalle Risorse: I guadagni di prestazione scalano con la forza del modello "pensatore" (usato per le perturbazioni a livello di query) e con la cardinalità dell'insieme di perturbazione.
Modalità di Fallimento del Majority Voting: Il documento identifica una modalità di fallimento critica: il Majority Voting. Mentre il Best-of-N beneficia della diversità (finché esiste almeno una risposta corretta), il majority voting richiede che la risposta corretta sia l'esito più frequente. L'analisi teorica (Proposizione 5.1) e i risultati empirici su MATH mostrano che l'introduzione della diversità può effettivamente ridurre la frequenza della risposta corretta se questa distribuisce la massa di probabilità su alternative errate, portando a nessun guadagno o addirittura a una degradazione delle prestazioni sotto il regime di majority voting.
Forza del Modello: Il campionamento diversificato produce guadagni relativi maggiori per i modelli più deboli rispetto ai modelli già forti, suggerendo rendimenti decrescenti per questi ultimi.

Significato e Rivendicazioni

Il documento sostiene di fornire la prima analisi sistematica, sia teorica che empirica, di come la diversità di campionamento influenzi la scalabilità dell'inferenza degli LLM. La sua importanza risiede in:

Fondazione Teorica: Va oltre le osservazioni euristiche per fornire una giustificazione matematica del perché la diversità migliori il Best-of-N, definendo le condizioni (dispersione e fedeltà) sotto le quali essa funziona.
Principi di Progettazione: Stabilisce il compromesso diversità-fedeltà, offrendo una linea guida concreta per i professionisti per progettare strategie di perturbazione che massimizzino l'esplorazione senza sacrificare la qualità.
Identificazione dei Limiti: Identifica esplicitamente il majority voting come una modalità di fallimento per la scalabilità basata sulla diversità, avvertendo contro l'applicazione indiscriminata di strategie di diversità senza considerare il protocollo di verifica.
Protocolli Pratici: Il lavoro offre linee guida azionabili, come dare priorità alle perturbazioni a livello di task per l'efficienza dei costi, utilizzare modelli pensatori più forti quando il budget lo consente e evitare strategie di diversità per modelli che sono già vicini alla saturazione delle prestazioni.

In sintesi, il documento argomenta che, sebbene la non-determinatezza venga spesso soppressa, essa è una risorsa vitale per scalare l'inferenza. Gestendo attentamente il compromesso tra l'esplorazione di spazi di soluzione diversificati e il mantenimento della fedeltà della soluzione, i professionisti possono migliorare significativamente le prestazioni degli LLM nei compiti di ragionamento, matematica e codifica, a condizione che il metodo di verifica (ad esempio, Best-of-N rispetto a Majority Voting) sia allineato con la strategia di diversità.