💻 computer science

Beyond the Best Guess: Improving LLM Solution Coverage with Evolution Strategies

Questo articolo dimostra che le Strategie Evolutive (ES) superano l'Apprendimento per Rinforzo (RL) nel post-training di Large Language Models per domini di scoperta, mantenendo una copertura delle soluzioni più ampia e punteggi pass@k più elevati, evitando così il collasso della distribuzione dell'output che limita l'efficacia dell'RL nella generazione di soluzioni candidate diversificate.

Autori originali: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Pubblicato 2026-08-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Conor F. Hayes, Elliot Meyerson, Kajetan Schweighofer, Roberto Dailey, Babak Hodjat, Risto Miikkulainen, Xin Qiu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare un tesoro nascosto su un'isola vasta e nebbiosa. Nel mondo dell'Intelligenza Artificiale, i Large Language Models (LLM) sono come esploratori incredibilmente intelligenti capaci di leggere mappe e indovinare dove potrebbe trovarsi il tesoro. Per molto tempo, il modo migliore per addestrare questi esploratori è stato mostrare loro un problema, lasciare che facessero una supposizione e premiarli solo se la loro singola risposta migliore era perfetta. Questo metodo, noto come Reinforcement Learning (RL), è come un allenatore severo che urla "Sbagliato!" a ogni risposta errata e "Perfetto!" all'unica risposta corretta. Il problema è che questo allenatore diventa così ossessionato dal trovare l'unica risposta perfetta che l'esploratore smette di guardare altrove. Smette di esplorare i bordi nebbiosi dell'isola dove potrebbero nascondersi altri tesori, concentrandosi solo sul punto che ritiene sia quello giusto.

Ma cosa succederebbe se il tesoro non fosse una cosa sola? E se ci fossero molti modi diversi per risolvere un problema di matematica o scoprire un nuovo fatto scientifico? In questi domini di "scoperta", non basta avere un'unica risposta perfetta; serve una rete ampia per catturare qualsiasi soluzione corretta. È qui che entra in gioco una nuova idea chiamata "test-time scaling". Invece di chiedere semplicemente al modello un'unica risposta, gli chiediamo di generare decine o persino centinaia di tentativi diversi e vediamo se qualcuno di essi è corretto. La ricerca indaga se il nostro allenatore severo (RL) o un diverso metodo di addestramento sia più bravo ad aiutare l'esploratore a gettare una rete ampia. I ricercatori hanno scoperto che, mentre il rigido allenatore rende l'esploratore molto sicuro di sé in un unico punto, un diverso metodo chiamato Evolution Strategies (ES) mantiene l'esploratore curioso e vagabondo, assicurando che se una soluzione esiste da qualche parte nella nebbia, l'esploratore abbia molta più probabilità di trovarla.

Il Paper: Oltre la Migliore Supposizione

Questo articolo affronta un problema complicato nell'addestramento dell'IA: come possiamo fare in modo che un modello di IA non si limiti a diventare bravissimo a indovinare l'unica risposta giusta, ma riesca effettivamente a mantenere aperte le sue opzioni per trovare qualsiasi risposta corretta? Gli autori, ricercatori del Cognizant AI Lab e della University of Texas at Austin, hanno confrontato due metodi di addestramento: il Reinforcement Learning (RL) standard e un approccio più recente chiamato Evolution Strategies (ES).

Pensa al Reinforcement Learning come a uno studente che studia per un esame imparando a memoria l'esatto schema delle risposte. Se lo studente risponde correttamente a una domanda, riceve un premio; se sbaglia, non riceve nulla. Con il tempo, lo studente diventa un maestro in quella specifica domanda, ma smette di cercare di comprendere i concetti sottostanti. Nel mondo dell'IA, questo causa qualcosa chiamato "collasso della distribuzione" (distribution collapse). Il modello diventa così concentrato sulla sua "migliore supposizione" che smette di generare risposte diverse. È come un musicista che suona una sola nota perché è l'unica che riceve applausi, dimenticando come suonare un'intera canzone.

Le Evolution Strategies (ES), invece, funzionano più come un ecosistema naturale. Invece di addestrare un singolo modello, le ES creano un'intera "popolazione" di versioni leggermente diverse del modello. Modificano i loro "cervelli" (pesi) in modo casuale, come la natura che muta i geni, e vedono quali versioni offrono le prestazioni migliori. Fondamentalmente, non scelgono solo il singolo vincitore scartando tutti gli altri; imparano dall'intero gruppo. Questo mantiene il "cervello" dell'IA flessibile e diversificato, permettendogli di esplorare molti percorsi diversi verso una soluzione.

I ricercatori hanno testato questi metodi su problemi matematici, che vanno dalla semplice aritmetica a sfide complesse di livello Olympiad, utilizzando modelli di diverse dimensioni (da 1,5 a 32 miliardi di parametri). Hanno misurato il successo utilizzando una metrica chiamata pass@k. Immagina di chiedere all'IA di generare 100 risposte diverse a un problema. Pass@1 chiede: "La primissima risposta è corretta?". Pass@k chiede: "Almeno una delle 100 risposte è corretta?".

Ecco cosa hanno scoperto:

1. La trappola della "Migliore Supposizione"
Quando i ricercatori hanno osservato il pass@1 (la singola migliore supposizione), i modelli addestrati con RL erano spesso molto bravi. Erano acuti e sicuri di sé. Tuttavia, man mano che i ricercatori aumentavano il numero di tentativi (k) a 2, 8, 16 o persino 128, i modelli RL incontravano un muro. Le loro prestazioni smettevano di migliorare. In effetti, per alcuni problemi difficili, i modelli RL diventavano peggiori del modello originale non addestrato quando venivano dati loro molti tentativi di indovinare. Il modello RL era diventato così ristretto nel suo modo di pensare che aveva smesso di trovare risposte corrette che erano leggermente diverse dalla sua "preferita".

2. Il potere della diversità
Al contrario, i modelli addestrati con ES mostravano un pattern differente. Sebbene fossero anche bravi a ottenere la prima risposta corretta, il loro vero superpotere emergeva all'aumentare del numero di tentativi. Man mano che i ricercatori chiedevano sempre più campioni (fino a 128), i modelli ES continuavano a trovare nuove soluzioni corrette. Il paper mostra che le ES ottenevano costantemente punteggi pass@k più alti rispetto all'RL in tutte le dimensioni dei modelli e in tutti i benchmark matematici testati.

3. Perché accade
Gli autori hanno indagato il perché di questo fenomeno. Hanno scoperto che l'addestramento RL tende a "potare" (pruning) la conoscenza dell'IA. Elimina i percorsi che portano a risposte corrette ma meno comuni, rendendo di fatto alcuni problemi impossibili da risolvere anche se l'IA prova 100 volte. Il metodo ES, tuttavia, preserva la "ampiezza" della conoscenza dell'IA. Non impara solo la risposta giusta; impara a tenere aperte molte porte. Quando i ricercatori hanno osservato l'"entropia" dell'IA (una misura di quanto siano diverse le sue risposte), hanno visto che quando i modelli RL fallivano, erano sicuri di sé ma errati (bassa diversità). Quando i modelli ES fallivano, erano ancora diversificati e incerti, il che significa che stavano ancora esplorando e avevano una migliore possibilità di trovare la risposta giusta se avessero avuto più tempo o potenza di calcolo.

4. L'impatto nel mondo reale
Il paper suggerisce che per problemi in cui dobbiamo scoprire nuove cose — come risolvere una difficile dimostrazione matematica, scrivere codice o trovare un nuovo fatto scientifico — avere un modello capace di generare una vasta gamma di soluzioni corrette è più prezioso di avere un modello che è solo molto bravo a dare una specifica risposta. Usando le ES, possiamo ottenere risultati migliori in questi domini di scoperta perché il modello è meno propenso a rimanere intrappolato in una "trappola locale" ed è più propenso a trovare la soluzione globale.

In breve, il paper sostiene che se vuoi che un'IA sia un grande esploratore nell'ignoto, non dovresti addestrarla solo a essere la migliore nel dare la risposta del giorno. Dovresti addestrarla a tenere aperte le sue opzioni, a vagare un po' e a essere pronta a trovare il tesoro ovunque esso sia nascosto. Le Evolution Strategies, si scopre, sono l'allenatore migliore per questo tipo di avventura.

Riepilogo Tecnico: Oltre la Migliore Ipotesi: Migliorare la Copertura delle Soluzioni degli LLM con le Strategie Evolutive

Definizione del Problema

I Large Language Models (LLM) vengono sempre più impiegati in domini di scoperta come la matematica e la scienza, dove l'obiettivo non è semplicemente fornire una singola "migliore ipotesi", ma esplorare uno spazio di soluzioni per trovare risposte corrette tra molti candidati. Il paradigma standard per migliorare il ragionamento degli LLM prevede il post-training con Reinforcement Learning (RL), specificamente il Reinforcement Learning con Ricompense Verificabili (RLVR). Sebbene l'RLVR sia efficace nel massimizzare l'accuratezza del singolo campione (pass@1), questo articolo identifica un limite critico: il collasso della distribuzione (distribution collapse).

Gli aggiornamenti RL, tipicamente tramite metodi di policy gradient come PPO o GRPO, restringono la distribuzione di output del modello per concentrare la massa di probabilità sulle uscite ad alta ricompensa. Questo processo restringe il supporto della distribuzione, eliminando efficacemente soluzioni corrette ma a bassa probabilità. Di conseguenza, all'aumentare del numero di campioni ( $k$ ) durante lo scaling del tempo di test (TTS), la copertura delle soluzioni (pass@k) dei modelli addestrati con RL spesso si stabilizza o addirittura degrada, talvolta scendendo al di sotto delle prestazioni del modello base non addestrato. Questo fenomeno limita l'efficacia delle strategie di TTS come il campionamento di molteplici candidati, che si basano su una distribuzione ampia di soluzioni percorribili.

Metodologia

L'articolo propone le Strategie Evolutive (ES - Evolution Strategies) come un'alternativa gradient-free e basata sulla popolazione per il post-training degli LLM. A differenza dell'RL, che opera nello spazio delle azioni aggiornando i parametri di un singolo modello in base ai gradienti a livello di token, l'ES opera direttamente nello spazio dei pesi.

L'approccio ES:

Generazione della Popolazione: Una popolazione di modelli viene generata applicando perturbazioni gaussiane casuali ( $\epsilon$ ) ai pesi del modello base ( $\theta$ ).
Valutazione: Ogni modello perturbato viene valutato su un compito e viene assegnata una ricompensa in base alle prestazioni (ad esempio, la correttezza della risposta).
Aggiornamento dei Pesi: I pesi vengono aggiornati aggregando le perturbazioni pesate in base alle loro ricompense normalizzate, spostando efficacementmente i parametri verso regioni dello spazio dei pesi che sono robuste alle perturbazioni e comprendono un set più ampio di soluzioni.

Configurazione Sperimentale:
Lo studio confronta empiricamente l'ES con l'RL allo stato dell'arte (specificamente GRPO e OatZero) attraverso diverse famiglie di modelli e scale (da 1.5B a 32B di parametri).

Dataset: L'addestramento e la valutazione sono stati condotti su GSM8K, MATH (livelli 3-5), MATH500, Olympiad Bench e Minerva.
Metriche: La metrica primaria è il pass@k, definito come la probabilità che almeno una soluzione corretta esista all'interno di $k$ campioni. Lo studio analizza inoltre le distribuzioni di accuratezza, le progressioni/regressioni del modello e l'entropia delle risposte.
Scaling del Tempo di Test (TTS): Il paper valuta le prestazioni all'aumentare di $k$ (fino a 128 o 256 campioni) e applica la Self-Consistency (voto) come metodo di TTS a valle.

Contributi Chiave

Valutazione Comprensiva: Il paper fornisce la valutazione più estesa dell'ES come tecnica di post-training per LLM ad oggi, coprendo dimensioni dei modelli da 1.5B a 32B e molteplici famiglie di modelli (Qwen2.5, Qwen3).
Superiorità nella Diversità delle Soluzioni: Stabilisce che l'ES migliora costantemente il pass@k rispetto ai modelli addestrati con RL in tutti gli scale e benchmark. A differenza dell'RL, l'ES non soffre di collasso della distribuzione.
Analisi Meccanicistica: Attraverso un'analisi sistematica, il paper identifica le origini del successo dell'ES:
- Progressioni vs. Regressioni: L'ES aggiunge nuove soluzioni corrette (progressioni) preservando al contempo la conoscenza esistente (minimizzando le regressioni), mentre l'RL spesso sovrascrive la conoscenza del modello base per massimizzare la ricompensa.
- Preservazione dell'Entropia: Nei casi di fallimento, l'ES mantiene un'entropia di risposta più elevata (incertezza), mentre l'RL collassa verso risposte a bassa entropia e con eccessiva confidenza.
Validazione a Valle: Il paper dimostra che le distribuzioni di alta qualità generate dall'ES portano a prestazioni superiori nella Self-Consistency (voto), un metodo di TTS non verificabile.

Risultati

Prestazioni Pass@k: In tutti i benchmark (GSM8K, MATH500, Olympiad Bench, Minerva) e dimensioni dei modelli, i modelli ES superano costantemente i modelli RL all'aumentare di $k$ . Mentre le curve dell'RL spesso si stabilizzano precocemente, le curve dell'ES continuano a salire. Notevolmente, per un $k$ sufficientemente grande, il modello base spesso supera il modello raffinato con RL, ma il modello raffinato con ES supera costantemente il modello base.
Analisi della Distribuzione:
- Bin di Accuratezza: L'RL aumenta la frequenza di prompt in cui non viene trovata alcuna soluzione (bin 0.0) rispetto al modello base, indicando una perdita di solvibilità. L'ES riduce questa frequenza.
- Regressioni: L'RL mostra tassi significativamente più alti di "regressioni" (problemi che il modello base risolveva ma che il modello raffinato non riesce a risolvere) rispetto all'ES. Ad esempio, su Olympiad Bench, l'RL ha avuto 49 regressioni contro le 15 dell'ES.
- Entropia: Quando i modelli falliscono, l'RL fallisce con bassa entropia (erroneamente sicuro), mentre l'ES fallisce con un'entropia più alta (preservando la diversità), rendendo i fallimenti dell'ES più suscettibili alla correzione tramite l'aumento del campionamento.
Self-Consistency: Negli scenari di voto, le distribuzioni generate dall'ES producono un'accuratezza superiore sia rispetto all'RL che al modello base all'aumentare del numero di campioni.

Significato e Rivendicazioni

Il paper sostiene che le Strategie Evolutive forniscono una base migliore per il post-training in problemi di scoperta dove la diversità della copertura delle soluzioni è critica. Sebbene l'RL sia efficace per massimizzare l'accuratezza a colpo singolo (pass@1), esso entra in conflitto fondamentale con i requisiti dello scaling del tempo di test (TTS) collassando lo spazio delle soluzioni.

Gli autori affermano che l'ES risolve questa tensione ottimizzando per una distribuzione di soluzioni robusta piuttosto che per un singolo modo ad alta ricompensa. Preservando il supporto ampio della distribuzione di output del modello base e contemporaneamente migliorando il pass@1, l'ES consente agli LLM di sfruttare efficacemente l'aumento del calcolo nel tempo di test. Il paper conclude che l'ES è l'approccio allo stato dell'arte per il post-training in domini come la scienza, la matematica e la programmazione, specialmente dove la capacità di esplorare soluzioni alternative percorribili è essenziale per le prestazioni.