🤖 AI

Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training

Il documento introduce la Cooperative Parameter-subspace Evolution Strategy (CoPES), un metodo efficiente dal punto di vista della memoria che decompone lo spazio dei parametri per consentire un post-training efficace di modelli LLM agentici in contesti con risorse limitate, raggiungendo il 92% dei guadagni di prestazione di GRPO a parametri completi con requisiti di memoria GPU significativamente inferiori.

Autori originali: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Pubblicato 2026-08-04

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhiyuan Wang, Shengcai Liu, Jiahao Wu, Ning Lu, Hui Ouyang, Shaofeng Zhang, Haoze Lv, Ke Tang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui i computer non si limitano a chattare, ma compiono effettivamente delle azioni. Possono navigare sul web, eseguire codice e risolvere enigmi complessi compiendo molti passaggi, controllando il proprio lavoro e riprovandoci. Questa è l'eccitante frontiera dell'IA "agente". Ma c'è un problema: insegnare a questi aiutanti digitali come migliorare è incredibilmente costoso. Il modo consueto di addestrarli è come un videogioco ad alta posta in gioco in cui il computer cerca di capire la mossa perfetta calcolando i "gradienti" (la pendenza matematica del successo) per ogni singola parte del suo cervello tutto in una volta. Ciò richiede una quantità massiccia di memoria del computer, come cercare di tenere in testa una biblioteca di libri mentre si risolve un enigma. Se il compito è lungo e complicato, la memoria necessaria esplode, rendendo impossibile per la maggior parte delle persone addestrare questi agenti senza un supercomputer.

Entra in gioco un approccio diverso chiamato "Strategie Evolutive". Invece di calcolare le pendenze, questo metodo è più simile a un gioco di "Caldo o Freddo". Si apportano piccole modifiche casuali al cervello dell'IA, si vede se migliora e, se lo fa, si mantiene la modifica. È molto più leggero in termini di memoria perché non è necessario ricordare il percorso fatto per arrivarci. Tuttavia, c'è un nuovo problema: poiché si tira a indovinare casualmente, è necessario provare moltissime volte per ottenere buoni risultati, il che richiede una enorme quantità di tempo e potenza di calcolo. È come cercare un ago in un pagliaio controllando un filo di paglia alla volta; alla fine lo troverai, ma potresti starci un secolo. La grande domanda per gli scienziati è: possiamo mantenere il risparmio di memoria del metodo "Caldo o Freddo" ma renderlo abbastanza veloce da essere utile con pochi computer normali?

Questo articolo introduce un trucco intelligente chiamato CoPES (Cooperative Parameter-subspace Evolution Strategy) per risolvere esattamente questo problema. I ricercatori si sono resi conto che cercare di cambiare l'intero cervello dell'IA tutto in una volta è inefficiente. Così, hanno suddiviso il cervello in blocchi più piccoli e gestibili. Immaginate di dover accordare una massiccia orchestra affinché suoni perfettamente. Invece di chiedere a ogni singolo musicista di cambiare strumento casualmente nello stesso momento (il che creerebbe il caos), chiedete alla sezione dei violini di provare una nuova impostazione, poi alla sezione degli ottoni, poi alla percussione, mentre tutti gli altri restano fermi. Testando questi gruppi più piccoli uno alla volta, ma mantenendo l'intera orchestra che suona insieme, potete capire cosa funziona molto più velocemente.

Nell'articolo, gli autori hanno testato questo metodo su un modello di IA specifico (Qwen3.5-4B) addestrato a risolvere problemi matematici. Hanno confrontato il loro nuovo metodo "accordatore di orchestra" con il metodo standard "Caldo o Freddo" e con il metodo basato sui "gradienti" che richiede molta memoria. Hanno scoperto che CoPES è un vero punto di svolta per gli ambienti con risorse limitate. Mentre il metodo casuale standard richiedeva circa 480,60 ore di GPU (una misura del tempo di calcolo) per raggiungere un buon livello di prestazione, CoPES ha ottenuto risultati quasi identici in sole 68,65 ore di GPU. Ancora più impressionante, sotto un limite di tempo rigoroso in cui il metodo pesante poteva addestrarsi solo per 16 passaggi, CoPES ha recuperato il 92% dei guadagni di prestazione ottenuti dal metodo pesante, mentre il metodo casuale standard ne ha gestiti solo il 67%.

Lo studio ha anche dimostrato che CoPES è molto più pratico per l'hardware quotidiano. Mentre il metodo che richiede molta memoria necessitava di una configurazione massiccia di 8 GPU di fascia alta per poter nemmeno iniziare l'addestramento su compiti lunghi, CoPES poteva funzionare con successo su una singola, standard GPU da 24GB. Ciò significa che, invece di aver bisogno di un data center, un ricercatore con un singolo computer potente può ora addestrare agenti di IA avanzati. Gli autori hanno testato il metodo anche su compiti di risposta a domande, non solo sulla matematica, e hanno scoperto che funziona bene anche lì, superando costantemente l'approccio casuale standard.

L'articolo suggerisce che, scomponendo il problema in sottogruppi cooperativi e combinando attentamente i risultati, possiamo ottenere il meglio di entrambi i mondi: il basso costo di memoria dei metodi evolutivi e l'alta velocità dei metodi basati sui gradienti. Non sostiene di essere una bacchetta magica che risolve tutto istantaneamente, ma dimostra un compromesso significativamente migliore tra memoria e tempo. I risultati indicano che, con questa nuova strategia, l'addestramento di potenti agenti di IA diventa accessibile a molte più persone, trasformando un compito che un tempo richiedeva un supercomputer in qualcosa di realizzabile su una singola workstation.

Riepilogo Tecnico: Coevoluzione Cooperativa per il Post-Training di LLM Agenti con Risorse Limitate

Definizione del Proble Problema

Gli agenti LLM (Large Language Model) che utilizzano strumenti generano traiettorie lunghe e multi-turno per risolvere compiti complessi. Sebbene il post-training con ricompense verificabili (ad esempio, tramite Reinamento per Rinforzo) sia un metodo scalabile per migliorare il comportamento dell'agente, esso affronta un collo di bottiglia critico in ambienti con risorse limitate.

I metodi basati sul gradiente, come il Group Relative Policy Optimization (GRPO), richiedono la backpropagation attraverso queste lunghe traiettorie. Ciò comporta la necessità di memorizzare i pesi del modello, i gradienti, gli stati dell'ottimizzatore e, crucialmente, le attivazioni intermedie. Man mano che la lunghezza del contesto aumenta, la memoria delle attivazioni diventa proibitiva, richiedendo spesso cluster di GPU di fascia alta che non sono accessibili a molti ricercatori. Al contrario, le Strategie di Evoluzione (ES - Evolution Strategies) offrono un'alternativa efficiente dal punto di vista della memoria, evitando interamente la backpropagation e richiedendo solo la generazione forward e la valutazione della ricompensa. Tuttavia, la standard ES è computazionalmente costosa, richiedendo tipicamente molte più ore-GPU rispetto ai metodi basati sul gradiente per raggiungere prestazioni comparabili. In contesti con risorse limitate e numero ridotto di GPU, questa elevata richiesta computazionale si traduce in tempi di addestramento (wall-clock time) impraticabilmente lunghi.

La sfida centrale affrontata è come migliorare l'efficienza di ottimizzazione della ES senza sacrificare i suoi vantaggi in termini di memoria, specificamente per il post-training full-parameter di agenti LLM.

Metodologia: Strategia di Evoluzione Cooperativa per Sottospazi di Parametri (CoPES)

Per affrontare il collo di bottiglia dell'efficienza, gli autori propongono la Cooperative Parameter-subspace Evolution Strategy (CoPES), un metodo di coevoluzione cooperativa adattato per la ES full-parameter.

Meccanismo Core

CoPES decompone l'alto dimensionale spazio dei parametri completo ( $\mathbb{R}^d$ ) in $K$ sottospazi a bassa dimensionalità, mutuamente disgiunti. Invece di perturbare l'intero spazio dei parametri simultaneamente per ogni valutazione, CoPES esegue ricerche cooperative all'interno di questi sottospazi:

Partizionamento Casuale: Ad ogni step di addestramento, gli indici dei parametri vengono partizionati casualmente in $K$ sottospazi di dimensioni uguali ( $S_1, \dots, S_K$ ).
Ricerca Cooperativa nei Sottospazi: Il budget totale di perturbazione $N$ viene distribuito tra i sottospazi ( $N_k = N/K$ ). Per ogni sottospazio $k$ , vengono generati $N_k$ modelli perturbati aggiungendo rumore solo ai parametri in $S_k$ , mentre tutti gli altri parametri rimangono fissi ai loro valori attuali. Ciò fornisce un contesto di modello completo condiviso per valutare l'impatto delle modifiche in uno specifico sottospazio.
Scalatura della Perturbazione Consapevole della Dimensione: Per garantire che l'entità delle perturbazioni del sottospazio corrisponda alla norma quadratica attesa di una perturbazione dello spazio completo, la scala della perturbazione $\sigma_k$ viene regolata: $\sigma_k = \sqrt{K}\sigma$ .
Standardizzazione Congiunta delle Ricompense: A differenza della standard ES che standardizza le ricompense all'interno di una singola popolazione, CoPES aggrega le ricompense da tutti i $N$ modelli perturbati attraverso tutti i $K$ sottospazi. Calcola una media globale ( $\mu_c$ ) e una deviazione standard ( $s_c$ ) per standardizzare tutte le ricompense ( $\hat{r}_{k,i}$ ). Ciò fornisce statistiche di normalizzazione stabili e una scala di ricompensa comune per combinare gli aggiornamenti dei sottospazi.
Aggiornamento Sincrono: Le direzioni dei sottospazi vengono stimate e composte in un aggiornamento dei parametri completi: $\theta_{t+1} = \theta_t + \alpha \sum_{k=1}^K P_k g_k$ , dove $g_k$ è la direzione del gradiente stimata per il sottospazio $k$ .

Dettagli di Implementazione

Per mantenere l'efficienza della memoria, CoPES impiega:

Riproduzione dei Seed (Seed Replay): Le perturbazioni vengono rigenerate da seed casuali invece di memorizzare interi vettori di perturbazione.
Backup dei Pesi (Weight Backup): I pesi pre-perturbazione vengono salvati nella memoria CPU per garantire che ogni valutazione parta esattamente dallo stesso stato del modello, evitando errori residui di virgola mobile.
Elaborazione a Blocchi (Chunked Processing): I parametri vengono elaborati in blocchi per gestire l'uso della memoria.

Contributi Chiave

Algoritmo Novello: CoPES è presentato come il primo metodo di coevoluzione cooperativa progettato specificamente per il post-training di agenti LLM full-parameter. Combina la decomposizione dello spazio dei parametri con la standardizzazione congiunta delle ricompense.
Trade-off Efficienza-Memoria: Il metodo migliora l'efficienza dell'ottimizzazione a budget fisso preservando la natura full-parameter della ES, efficiente in termini di memoria. Evita l'overhead di backpropagation dei metodi basati sul gradiente e l'elevato tempo di esecuzione della standard ES.
Validazione Empirica: Estesi esperimenti su compiti di matematica e QA (risposta alle domande) multi-hop validano il metodo attraverso molteplici metriche, inclusi test di fattibilità hardware e ablazioni controllate.

Risultati Sperimentali

Gli autori hanno valutato CoPES su un modello Qwen3.5-4B su cinque benchmark matematici (AIME 2024, AIME 2025, GSM8K, MATH-500, MATH-Test) e tre benchmark di QA (HotpotQA, 2Wiki, MuSiQue).

Performance vs. Reinforcement Learning Basato sul Gradiente (GRPO)

Efficienza della Memoria: L'analisi teorica mostra che CoPES richiede meno di 1/8 della memoria GPU di un GRPO full-parameter. In pratica, CoPES può essere addestrato su una singola GPU da 24GB, mentre il GRPO full-parameter richiede 8x 48GB GPU per contesti da 128K.
Performance a Budget Fisso: Sotto un budget di ore-GPU equivalente al miglior checkpoint di validazione di full-parameter GRPO (16 step di addestramento):
- CoPES ha recuperato il 92% del guadagno di accuratezza di validazione ottenuto da full-parameter GRPO.
- La standard ES ha recuperato solo il 67%.
- CoPES ha costantemente superato sia la standard ES che la LoRA-based GRPO in tutte le metriche pass@k sui cinque benchmark matematici.
Scalabilità: Sui impegnativi benchmark AIME 2024 e AIME 2025, CoPES ha superato full-parameter GRPO a valori di $k$ più grandi (pass@k) nonostante l'utilizzo dello stesso budget di addestramento fisso.

Performance vs. Standard ES

CoPES ha superato significativamente la standard ES in tutte le metriche valutate.
Studi di Ablazione:
- Numero di Sottospazi ( $K$ ): Le prestazioni sono migliorate all'aumentare di $K$ da 1 a 4, ma sono diminuite drasticamente a $K=8$ a causa di una popolazione insufficiente per sottospazio ( $N_k=5$ ).
- Standardizzazione Congiunta: L'uso della standardizzazione congiunta delle ricompense attraverso tutti i sottospazi ha prodotto punteggi pass@1 più elevati rispetto alla standardizzazione indipendente all'interno di ciascun sottospazio.
- Scala della Perturbazione: Il guadagno di performance non è dovuto esclusivamente alla maggiore scala di perturbazione per coordinata ( $\sigma_k = \sqrt{K}\sigma$ ); la standard ES con la stessa scala aumentata ha ottenuto risultati peggiori.

QA Multi-Hop

Nei compiti di risposta alle domande, CoPES ha superato la standard ES in tutte le combinazioni di benchmark-metrica e si è mantenuto competitivo con full-parameter GRPO, dimostrando l'applicabilità del metodo oltre il ragionamento matematico.

Significato e Rivendicazioni

Il paper sostiene che CoPES offra una soluzione pratica per il post-training di agenti LLM sotto vincoli di risorse. Decomponendo lo spazio di ricerca e standardizzando congiuntamente le ricompense, CoPES raggiunge un trade-off superiore tra requisiti di memoria e tempi di addestramento. Consente l'uso di strategie di evoluzione full-parameter su hardware con GPU consumer o limitate (ad esempio, singole GPU da 24GB) dove i metodi basati sul gradiente full-parameter sono impraticabili a causa dei limiti di memoria, e dove la standard ES è troppo lenta a causa dei costi computazionali. Gli autori sottolineano che il loro approccio mantiene il vantaggio "forward-only" della ES mitigando al contempo il suo principale svantaggio computazionale.