🤖 AI

Hyper-ES: Effective Evolution Strategies for LLM Reasoning via Descent Direction Merging

Hyper-ES è un framework di Strategia Evolutiva basato su sottospazi che potenzia il ragionamento degli LLM ottimizzando i coefficienti di fusione layer-wise di direzioni di discesa del gradiente pre-calcolate, ottenendo prestazioni superiori con meno risorse rispetto ai metodi basati sul gradiente come GRPO-LoRA.

Autori originali: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yu Gu, Zhi Zheng, Yunpeng Ba, Xialiang Tong, Mingxuan Yuan, Zhenkun Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come risolvere problemi matematici difficili. Di solito, per insegnare a un robot, devi mostrargli migliaia di esempi e regolare l'intero suo cervello, neurone per neurone, usando un processo chiamato "discesa del gradiente". È come cercare di regolare una mastodontica orchestra ascoltando ogni singolo strumento contemporaneamente e sistemando ogni corda simultaneamente. Funziona, ma richiede un computer gigante e costoso e richiede molto tempo.

Recentemente, gli scienziati hanno scoperto un modo diverso per insegnare ai robot chiamato "Strategie Evolutive" (ES). Invece di regolare attentamente ogni neurone, ti basta apportare migliaia di piccole modifiche casuali al cervello del robot, vedere quali funzionano meglio per i problemi matematici e tenere i vincitori. È come giocare a "caldo o freddo" finché il cervello del robot non diventa fortunato attraverso il caso. Il problema è che quando il cervello del robot è enorme (con miliardi di parti), il rimescolamento casuale è quasi certamente destinato a fallire. È come cercare di trovare un ago specifico in un pagliaio afferrando a caso manciate di paglia; finirai solo con più paglia e nessun ago. Questo articolo, HYPER-ES, cerca di risolvere questo problema fornendo al robot una mappa migliore prima di iniziare a rimescolare.

Il Problema: Perdersi nel Pagliaio

Gli autori di questo articolo hanno notato che, sebbene le Strategie Evolutive siano ottime per risparmiare memoria e potenza di calcolo, sono terribili nel trovare la direzione giusta in un cervello enorme con miliardi di parametri. Se lanci semplicemente del rumore casuale in un modello gigante, le modifiche sono così caotiche che si annullano a vicenda o spingono il modello nella direzione sbagliata. È come cercare di sterzare una enorme nave da crociera lanciando dei ciottoli contro di essa da angolazioni casuali; la nave non si muoverbbe molto, o potrebbe persino allontanarsi da dove vorresti andare. I ricercatori chiamano questo il problema del "cammino casuale" (random walk), dove il modello si perde in un mare di cambiamenti inutili.

La Soluzione: La Scorciatoia della "Direzione di Discesa"

Per risolvere questo problema, il team dietro HYPER-ES ha ideato un trucco intelligente in due fasi. Invece di lasciare che il robot indovini la direzione giusta partendo da zero, lo fanno prima fare alcuni brevi ed economici "esercizi di pratica" usando il metodo tradizionale e pesante.

Immagina di dover trovare il percorso migliore per salire su una montagna. Invece di vagare ciecamente al buio (rimescolamento casuale), invii prima alcuni piccoli droni economici per scalare un po' e vedere in quale direzione la strada scende. Questi droni non hanno bisogno di scalare l'intera montagna; devono solo capire verso dove si va "in discesa" (una direzione utile). Il metodo HYPER-ES fa esattamente questo: esegue alcune sessioni di addestramento rapide e a basso costo per trovare una serie di "direzioni di discesa" — fondamentalmente, alcuni buoni tentativi su quale direzione dare una spinta al cervello del robot per renderlo più intelligente.

La Fusione Magica: Mescolare le Migliori Intuizioni

Una volta ottenute queste poche buone direzioni, avviene la vera magia. Invece di lasciare che la Strategia Evolutiva cerchi attraverso l'intero cervello da miliardi di parametri, essa cerca solo attraverso uno spazio piccolo e compatto creato combinando quelle poche buone direzioni.

Pensa a uno chef che ha già identificato tre ingredienti perfetti (le direzioni di discesa). Invece di cercare nuovi ingredienti in tutto il supermercato, lo chef usa una Strategia Evolutiva per capire la ricetta perfetta per mescolare quegli ingredienti insieme. Il robot chiede: "Se mescolo il 30% della direzione A, il 50% della direzione B e il 20% della direzione C, otterrò un risolutore matematico migliore?".

L'articolo utilizza un algoritmo sofisticato chiamato CMA-ES per fare questo mescolamento. È come un maestro chef che assaggia la zuppa e regola le spezie strato dopo strato, ma invece delle spezie, sta regolando quanto di ogni "buona direzione" viene aggiunto al cervello del robot. Questo trasforma una ricerca attraverso miliardi di possibilità in una ricerca attraverso solo poche centinaia di numeri, rendendolo incredibilmente veloce ed efficiente.

Cosa Hanno Scoperto

I ricercatori hanno testato questo nuovo metodo su tre diversi modelli linguistici di grandi dimensioni (specificamente Qwen2.5 e DeepSeek-R1) e li hanno sfidati con sei diversi dataset di ragionamento matematico, che vanno dalla semplice aritmetica a complessi problemi di matematica di livello competitivo.

I risultati sono promettenti. HYPER-ES è stato costantemente superiore al metodo standard del "rimescolamento casuale" e ha persino superato leggermente il metodo di addestramento tradizionale e pesante (chiamato GRPO-LoRA) in termini di accuratezza. Nello specifico, il nuovo metodo ha ottenuto circa l'1% di accuratezza in più in media, utilizzando il 10% in meno di costose aggiornamenti informatici.

In termini più semplici, HYPER-ES è riuscito a insegnare ai robot a essere migliori in matematica prendendo alcune scorciatoie intelligenti e mescolandole con cura, piuttosto che usare la forza bruta. Ciò suggerisce che non è necessario buttare via l'intera cucina per affrontare un problema; a volte, trovare alcune buone direzioni e mescolarle perfettamente è la chiave per sbloccare le capacità di ragionamento di un robot. L'articolo dimostra che questo approccio è un modo stabile ed efficiente dal punto di vista della memoria per migliorare il modo in cui l'IA pensa, specialmente quando non si ha un supercomputer a disposizione.

Sintesi Tecnica: HYPER-ES

Problematica

Le Strategie Evolutive (ES) offrono un'alternativa promettente e con un uso efficiente della memoria rispetto al fine-tuning basato sul gradiente per i Large Language Models (LLM), in particolare in scenari con risorse limitate dove la backpropagation è proibitivamente costosa. Tuttavia, l'applicazione diretta delle ES ai modelli LLM da miliardi di parametri per compiti di ragionamento è altamente inefficace. Il documento identifica due fallimenti geometrici fondamentali nelle ES ad alta dimensionalità:

Fallimento della Scoperta Direzionale: Negli spazi ad alta dimensionalità, le perturbazioni casuali sono quasi ortogonali alle direzioni di discesa utili. Man mano che la dimensione dei parametri $d$ cresce, la probabilità che una perturbazione casuale si allinei con il gradiente ottimale svanisce, rendendo debole il segnale direzionale della popolazione.
Random Walk Ortogonale: Anche se gli aggiornamenti ES individuali non sono informativi riguardo alla riduzione della perdita, gli aggiornamenti ES ripetuti si accumulano nello spazio dei parametri. Ciò causa uno scostamento del modello dall'inizializzazione pre-addestrata (random walk) senza progressi significativi, portando a un'ottimizzazione instabile.

I metodi esistenti basati sul gradiente, come il Group Relative Policy Optimization (GRPO), ottengono prestazioni di ragionamento elevate ma soffrono di un alto consumo di memoria e tempo a causa della backpropagation. Al contrario, la ES diretta evita la backpropagation ma non riesce a convergere efficacemente nell'intero spazio dei parametri.

Metodologia: HYPER-ES

Gli autori propongono HYPER-ES (Hyper-ES), un framework di Strategia Evolutiva basato su sottospazi che scinde la scoperta delle direzioni di aggiornamento dal processo di ottimizzazione privo di derivate. Invece di cercare nell'intero spazio dei parametri, HYPER-ES restringe la ricerca ES a un sottospazio compatto e allineato al compito, costruito a partire da direzioni di discesa.

Il metodo opera in due fasi:

1. Start-up: Preparazione delle Direzioni di Discesa

HYPER-ES inizia costruendo un pool di direzioni di discesa rilevanti per il compito ( $\Delta\theta$ ) utilizzando un piccolo numero di aggiornamenti basati sul gradiente ed economici:

Il set di dati di addestramento viene suddiviso in $N$ sottoinsiemi.
Viene eseguito un breve aggiornamento basato su LoRA-GRPO few-shot (tipicamente 7 step) su ciascun sottoinsieme.
Queste brevi esecuzioni non sono destinate a produrre modelli indipendenti ad alte prestazioni, ma a estrarre in modo economico i delta LoRA ( $\Delta\theta_i$ ) che contengono segnali specifici del compito.
Questi delta formano un "pool di direzioni" $P = \{\Delta\theta_i\}$ , che funge da base per la successiva ricerca.

2. Ricerca Hyper-ES sulle Direzioni

Una volta fissato il pool di direzioni, HYPER-ES impiega la Covariance Matrix Adaptation Evolution Strategy (CMA-ES) per ottimizzare i coefficienti di fusione di queste direzioni, piuttosto che i pesi del modello stesso.

Variabile di Ricerca: La variabile di ottimizzazione $z$ $z$ consiste in coefficienti per livello che determinano come combinare le direzioni LoRA memorizzate. Nello specifico, per ogni gruppo di layer, $z$ $z$ controlla:
- Logit del tasso di drop: Che governano la sparsificazione DARE (Drop and Add Randomly) per ridurre l'interferenza.
- Logit del peso di miscelazione: Che determinano la forza del contributo di ciascuna direzione.
Processo di Fusione: Le variabili di ricerca vengono decodificate in un modello fuso utilizzando una procedura DARE–TIES (TIES-Merging):
- Le direzioni vengono sparsificate in base ai tassi di drop.
- I conflitti di segno vengono risolti tramite TIES (elezione del segno e fusione disgiunta).
- Viene applicata una scala globale $\gamma$ .
Ottimizzazione: CMA-ES ottimizza i coefficienti di fusione $z$ per massimizzare l'accuratezza di validazione. Ciò trasforma il problema di ottimizzazione dalla ricerca di milioni/miliardi di pesi alla ricerca di uno spazio a bassa dimensionalità di dimensione $L \times 2N$ (ad esempio, 960 parametri per un modello da 0.5B).

Contributi Chiave

Framework HYPER-ES: Un nuovo framework ES che converte la ricerca a parametri completi in una ricerca compatta di coefficienti per livello su aggiornamenti LoRA rilevanti per il compito. Sposta il ruolo della ES dalla scoperta delle direzioni alla selezione e fusione di direzioni di discesa pre-identificate.
Costruzione delle Direzioni Few-Shot: Il metodo utilizza aggiornamenti GRPO few-shot per costruire direzioni di discesa informative, permettendo alla ES di bypassare l'esplorazione casuale ad alta dimensionalità pur mantenendo la sua natura leggera in termini di memoria e parallelizzabile.
Validazione Empirica: Una valutazione estesa su tre backbone LLM (Qwen2.5-0.5B, Qwen2.5-1.5B, DeepSeek-R1-Distill-1.5B) e sei benchmark di ragionamento matematico dimostra che HYPER-ES migliora costantemente rispetto ai baseline di model-merging e supera leggermente ma costantemente il GRPO a singolo stadio.

Risultati

Il documento riporta i seguenti risultati chiave:

Prestazioni: HYPER-ES ottiene un guadagno di prestazioni di fino all'1% rispetto ai baseline GRPO-LoRA su dataset di aritmetica e ragionamento matematico complesso (ad esempio, GSM8K, MATH-500, AMC2023), con guadagni spesso marginali (ad esempio, 0,58% su Qwen2.5-1.5B).
Efficienza: Il metodo richiede il 10% in meno di aggiornamenti di gradiente dispendiosi in termini di spazio rispetto allo standard GRPO-LoRA.
Memoria: Evitando la backpropagation completa durante la fase ES e utilizzando la generazione parallela di direzioni few-shot, HYPER-ES mantiene un'impronta di memoria comparabile a una singola esecuzione GRPO, riducendo significativamente il tempo di esecuzione (circa il 24% di riduzione nell'esperimento da 0.5B grazie alla parallelizzazione).
Ablazione: Rimuovere lo stadio CMA-ES o utilizzare direzioni casuali invece di quelle derivate da GRPO comporta cali significativi delle prestazioni, confermando che i guadagni derivano dalla ricerca su direzioni di discesa significative in uno spazio a bassa dimensionalità.

Significato e Rivendicazioni

Il documento afferma che HYPER-ES affronta il limite fondamentale della ES diretta negli LLM: l'incapacità di trovare direzioni utili in spazi ad alta dimensionalità. Sfruttando brevi esecuzioni basate sul gradiente per definire un "manifold allineato al compito", il metodo permette all'ottimizzazione priva di derivate di operare in un regime in cui è più efficace.

Gli autori posizionano HYPER-ES come un metodo di fine-tuning a risorse limitate che offre un compromesso pratico: mantiene l'efficienza della memoria della ES pur ottenendo prestazioni comparabili o leggermente superiori ai metodi di RL basati sul gradiente. Il lavoro suggerisce che brevi esecuzioni basate sul gradiente possono servire a un duplice scopo: non solo per l'addestramento diretto, ma anche per definire sottospazi utili a bassa dimensionalità per la successiva ottimizzazione priva di derivate.

Il documento rimane modesto riguardo al proprio ambito, osservando che attualmente si concentra su GRPO come fornitore di direzioni e che lavori futuri potrebbero esplorare altri metodi di gradiente iniziale (ad esempio, SFT, OPD) o l'acquisizione dinamica online delle direzioni.