🤖 machine learning

SMOPD: Multi-Reward Reinforcement Learning via Specialize-and-Merge Online Policy Distillation

Il documento propone SMOPD, un framework di distillazione di policy online a due stadi basato su "specializzazione e fusione" che addestra modelli insegnanti specializzati in ricompense e li consolida in un'unica policy studente per bilanciare efficacemente segnali di ricompensa multipli di diverse granularità, superando i metodi esistenti come GDPO su varie architetture di modelli.

Autori originali: Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Pubblicato 2026-08-05

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Wen Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Haotian Zhou, Haoxuan Ma, Mengyu Zhou, Wenkui Fan, Junwei He, Xiaoxi Jiang, Guanjun Jiang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come essere l'assistente perfetto. Vuoi che sia utile, innocuo e anche capace di seguire regole di formattazione rigorose, come l'uso di tag specifici o l'invocazione degli strumenti corretti. Questo è il mondo dell'Apprendimento per Rinforzo con Feedback Umano (RLHF). È come addestrare un cane: gli dai un premio (una "ricompensa") quando fa qualcosa di buono, e lui impara a ripetere quel comportamento. Ma ecco la parte complicata: cosa succede se vuoi che il cane si sieda e resti fermo e riporti la pallina, tutto insieme? Se gli dai solo un grande premio per aver fatto tutto, il cane potrebbe confondersi. Potrebbe capire che "riportare la pallina" è il modo più facile per ottenere un premio, quindi ignora completamente "sedersi" e "stare fermo". Nel mondo dell'IA, questo si chiama reward masking (mascheramento della ricompensa), dove un segnale forte sovrasta gli altri.

Recentemente, gli scienziati hanno cercato di risolvere il problema fornendo all'IA punteggi separati per ogni compito prima di combinarli, un metodo chiamato GDPO. Era come dare al cane un tabellone per sedersi, un altro per stare fermo e un terzo per riportare la pallina, per poi sommarli. Ma c'era un intoppo: alcuni compiti sono facili da misurare (come "ha riportato la pallina?"), mentre altri sono rari e difficili da individuare (come "è rimasto perfettamente immobile per 10 secondi?"). Se l'IA riceve un milione di punteggi per "riportare la pallina" ma solo un punteggio per "stare fermo", il segnale dello "stare fermo" si perde nel rumore. L'IA impara a riportare la pallina perfettamente, ma si dimentica di stare ferma. Questo articolo, SMOPD, pone una domanda semplice: come possiamo fare in modo che l'IA impari le abilità rare e difficili da individuare senza dimenticare quelle facili?

Il Problema: La "Classe Rumorosa"

Immagina una classe in cui un insegnante sta cercando di insegnare agli studenti due cose contemporaneamente: come risolvere problemi matematici complessi (una ricompensa "densa" perché ci sono molti passaggi da eseguire correttamente) e come alzare la mano prima di parlare (una ricamente "sparsa" perché accade solo una volta per classe).

Se l'insegnante si limita a urlare un punteggio totale alla fine della giornata, gli studenti si concentreranno interamente sulla matematica. Ignoreranno il sollevare la mano perché, statisticamente, i punti della matematica sono ovunque, mentre i punti per il sollevare la mano sono rari. Anche se l'insegnante provasse a dare lo stesso peso al sollevare la mano, gli studenti non riuscirebbero comunque a sentirlo chiaramente sopra il rumore dei punteggi di matematica. I modelli di IA affrontavano esattamente questo problema: erano bravissimi nei compiti "densi", ma terribili in quelli "sparsi", come formattare correttamente le loro risposte o essere innocui quando importava di più.

La Soluzione: Specializzare, poi Unire

Gli autori di questo articolo propongono una strategia intelligente in due fasi chiamata SMOPD (Specialize-and-Merge Online Policy Distillation). Invece di cercare di insegnare a uno studente come essere perfetto in tutto contemporaneamente, creano un team di specialisti e poi combinano le loro abilità.

Fase 1: La Specializzazione (Gli "Insegnanti Specialisti")
Per prima cosa, i ricercatori addestrano diversi modelli "insegnanti". Ma ecco il colpo di scena: ogni insegnante è incaricato di concentrarsi solo su una specifica abilità.

L'Insegnante A riceve l'ordine: "Ignora la matematica! Il tuo unico compito è assicurarti che gli studenti alzino la mano". Per farlo, l'insegnante riceve un enorme bonus per ogni mano alzata, rendendo quel segnale impossibile da ignorare.
L'Insegnante B riceve l'ordine: "Ignora il sollevare la mano! Il tuo unico compito è risolvere i problemi di matematica".

Poiché ogni insegnante è iper-focalizzato, diventa esperto nel suo lavoro specifico. L'Insegnante A impara perfettamente l'abilità rara del "sollevare la mano" perché è l'unica che conta per lui. L'Insegnante B diventa un mago della matematica. Non cercano di bilanciare le due cose; puntano tutto su una sola.

Fase 2: L'Unione (Il modello "Studente")
Ora, i ricercatori introducono un nuovo modello "studente". Questo studente non ascolta solo un insegnante; ascolta tutti gli insegnanti contemporaneamente.

Quando lo studente sta scrivendo una risposta, guarda cosa farebbe l'Insegnante A (quello del sollevare la mano) e cosa farebbe l'Insegnare B (il mago della matematica).
Lo studente impara a copiare le parti migliori di entrambi. Se l'Insegnante A è sicuro riguardo alla formattazione, lo studente copia quello. Se l'Insegnante B è sicuro riguardo alla matematica, lo studente copia anche quello.

Fondamentalmente, lo studente ha anche una "rete di sicurezza" (chiamata ancora) che controlla la risposta finale per assicurarsi che sia ancora una buona risposta complessiva, e non solo un collage di pezzi diversi. Questo assicura che lo studente impari a bilanciare le abilità naturalmente, invece di essere solo un mix confuso di due persone diverse.

Cosa hanno scoperto

Il team ha testato questa idea su modelli di IA di diverse dimensioni (1,5 miliardi, 3 miliardi e 7 miliardi di parametri) utilizzando due sfide molto diverse:

Chiamata di Strumenti (Tool Calling): Assicurarsi che l'IA utilizzi gli strumenti corretti (come una calcolatrice o un motore di ricerca) e formatti l'output esattamente bene (come l'uso di tag XML specifici).
Sicurezza (Safety): Assicurarsi che l'IA sia utile ma anche innocua.

I risultati sono stati impressionanti. Nel test di "Chiamata di Strumenti", i vecchi metodi (GDPO) riuscivano a gestire la formattazione correttamente solo l'8,8% delle volte, perché il segnale della formattazione era troppo scarso. Ma con SMOPD, i modelli hanno eseguito la formattazione correttamente il 97,5% delle volte! Ancora più sorprendente, non hanno perso le abilità matematiche nel processo. Il modello da 1,5 miliardi ha visto un miglioramento del 48% nel suo punteggio complessivo rispetto al precedente miglior metodo.

Nei test di "Sicurezza", dove gli obiettivi di essere utili e di essere innocui a volte entrano in conflitto, SMOPD ha superato costantemente gli altri metodi in tutte le dimensioni dei modelli. È riuscito a imparare i comportamenti rari di "innocuità" senza sacrificare la sua capacità di essere utile.

Perché questo è importante

L'articolo suggerisce che il vecchio modo di cercare di bilanciare tutti i premi in una singola sessione di addestramento sta raggiungendo un limite. Non basta regolare i pesi per rendere tutto perfetto; a volte, un'abilità è semplicemente troppo rara per essere appresa in mezzo alla folla. Lasciando che l'IA si "specializzi" prima — lasciandole diventare davvero brava in una cosa in isolamento — e poi "unendo" queste abilità, l'IA può imparare le cose difficili e rare senza dimenticare quelle facili.

È come rendersi conto che, per costruire un'orchestra perfetta, non dovresti solo dire a tutti di suonare tutto insieme. Invece, lasci che i violinisti pratichino la loro parte da soli finché non sono perfetti, lasci che anche i percussionisti facciano lo stesso, e poi li porti insieme per suonare la sinfonia. Il risultato è una performance in cui ogni strumento è chiaramente udibile e la musica suona meglio di quanto chiunque potesse aspettarsi.

Riepilogo Tecnico: SMOPD

1. Definizione del Problema

Il documento affronta un limite fondamentale nel Reinforcement Learning da Feedback Umano (RLHF) multi-ricompensa per i Large Language Models (LLM). Sebbene i metodi esistenti come il Group Reward-Decoupled Normalization Policy Optimization (GDPO) abbiano migliorato il classico Group Relative Policy Optimization (GRPO) normalizzando separatamente le dimensioni delle ricompense prima dell'aggregazione, essi incontrano ancora difficoltà con lo squilibrio della densità delle ricompense (reward-density imbalance).

In molti scenari pratici, i modelli vengono addestrati con un mix di ricompense dense (che forniscono un feedback fine e continuo, ad esempio punteggi di accuratezza da 0,1 a 1,0) e ricompense sparse (che forniscono un feedback binario, tutto o niente, ad esempio la conformità del formato 0 o 1).

Il problema centrale: Nella stima del vantaggio basata su gruppi, le ricompense dense forniscono una variazione entro il gruppo costante, permettendo al modello di apprendere efficacemente. Le ricompense sparse, invece, assegnano spesso valori identici (ad esempio 0) alla maggior parte delle risposte all'interno di un gruppo di rollout. Ciò risulta in una varianza entro il gruppo nulla o prossima allo zero per la dimensione sparsa.
Conseguenza: Anche con la normalizzazione per ricompensa, il segnale della ricompensa sparsa viene sopraffatto dal segnale della ricompensa densa durante l'ottimizzazione bilanciata. Il modello non riesce ad apprendere la capacità associata alla ricompensa sparsa (ad esempio, la rigorosa formattazione dell'output) perché il segnale di ottimizzazione è insufficiente per guidare gli aggiornamenti della policy, indipendentemente dai pesi di priorità assegnati in un contesto a policy singola. Alzare la priorità della ricompensa sparsa per renderla apprendibile spesso altera la policy finale, degradando le prestazioni sugli altri obiettivi.

2. Metodologia: SMOPD

Per risolvere questa tensione, gli autori propongono lo Specialize-and-Merge Online Policy Distillation (SMOPD), un framework di addestramento a due stadi che decupla l'acquisizione delle capacità dal bilanciamento delle ricompense.

Stadio 1: Specializzazione (Insegnanti specializzati per ricompensa)

Invece di addestrare una singola policy per bilanciare tutte le ricompense, SMOPD addestra molteplici policy "insegnante", ciascuna specializzata per una specifica dimensione di ricompensa.

Meccanismo: La policy di base viene addestrata con configurazioni distinte di priorità della ricompensa; per una determinata dimensione di ricompensa target $k$ , il peso di priorità $w_k$ è impostato significativamente più alto rispetto agli altri pesi ( $w_k \gg w_j$ ).
Effetto: Questo amplifica il segnale del gradiente per la ricompensa target, permettendo all'insegnante di apprendere efficacementamente la distribuzione sparsa o difficile da apprendere (ad esempio, un "Insegnante del Formato" che dà priorità alla conformità binaria del formato) senza essere sommerso dai segnali densi.
Risultato: Viene prodotta una serie di insegnanti complementari, dove ogni insegnante eccelle in una specifica dimensione di ricompensa, potenzialmente a scapito delle altre, ma coprendo collettivamente l'intero spazio delle ricompense.

Stadio 2: Fusione (Distillazione della Policy Online)

Le capacità specializzate degli insegnanti vengono fuse in una singola policy "studente" attraverso la Distillazione della Policy On-Policy (OPD).

Miscela di Insegnanti: Per ogni posizione di token $t$ in una sequenza generata dallo studente, la distribuzione target è una miscela delle distribuzioni del next-token degli insegnanti. SMOPD utilizza una miscela uniforme ( $\alpha_m = 1/M$ ) e approssima l'intera miscela del vocabolario utilizzando una costruzione top- $\kappa$ (mantenendo i $\kappa$ token superiori da ciascun insegnante) per garantire l'efficienza computazionale.
Perdita di Distillazione: Lo studente minimizza la divergenza KL forward tra la propria distribuzione e la miscela degli insegnanti. La KL forward è stata scelta perché è "mode-covering" (copre le modalità), incoraggiando lo studente a porre massa di probabilità su tutti i token ad alta probabilità di qualsiasi insegnante (fondamentale quando diversi insegnanti sono sicuri di token diversi, ad esempio wrapper di formato vs argomenti di funzioni).
Ancora GDPO: Per evitare che lo studente si limiti a imitare gli insegnanti perdendo l'ottimizzazione del compito, viene aggiunta una perdita ancora GDPO. Questa perdita utilizza pesi bilanciati per tutte le ricompense, fornendo un segnale a livello di sequenza che guida lo studente a ottimizzare l'obiettivo originale multi-ricompensa.
Obiettivo Totale: Lo studente ottimizza una combinazione della perdita di distillazione (guida a livello di token) e della perdita ancora (direzione del compito a livello di sequenza).

3. Contributi Chiave

Risoluzione della tensione del bilanciamento delle ricompense: SMOPD affronta il conflitto intrinseco nell'RL a ricompensa singola dove le ricompense sparse sono difficili da apprendere sotto priorità bilanciate. Specializzando gli insegnanti, rende le distribuzioni sparse apprendibili senza alterare permanentemente la policy finale.
Framework a due stadi Specialize-and-Merge: Il metodo introduce un nuovo flusso di lavoro in cui l'acquisizione delle capacità è separata dal bilanciamento delle ricompense. Gli insegnanti apprendono in regimi favorevoli (alta priorità), e lo studente fonde queste capacità tramite distillazione a livello di token.
Superiorità in contesti complementari e conflittuali: Il documento dimostra che SMOPD supera i baseline scalari (GRPO, GDPO, GD2PO) attraverso diverse scale di modello (1.5B, 3B, 7B) e strutture di ricompensa (complementari: accuratezza dello strumento/formato; conflittuali: utile/innocuo).
La fusione supera gli insegnanti: La policy studente fusa non solo bilancia gli obiettivi, ma spesso supera le prestazioni dei singoli insegnanti specializzati e dei baseline scalari, indicando che il processo di distillazione recupera la conoscenza complementare non utilizzata dall'addestramento a obiettivo singolo.

4. Risultati Sperimentali

Gli autori hanno valutato SMOPD in due scenari principali:

A. Ricompense Complementari (Chiamata di Strumenti/Tool Calling)

Configurazione: Addestramento su RLLA-4K con ricompense di accuratezza (dense) e di formato (sparse binarie).
Risultati:
- Fallimento di GDPO: Sotto priorità bilanciate, GDPO ha ottenuto solo l'8,8% di conformità del formato sul backbone 1.5B, poiché il segnale sparso è stato sopraffatto.
- Successo dell'Insegnante: L'insegnante specializzato nel Formato (alta priorità sul formato) ha raggiunto il 97,5% di conformità ma una minore accuratezza.
- Successo di SMOPD: Lo studente fuso ha raggiunto il 97,5% di conformità del formato mantenendo un'alta accuratezza (punteggio RLLA Mean di 2,740 rispetto a 1,849 di GDPO). Ciò rappresenta un miglioramento del +48% rispetto al baseline GDPO sul modello 1.5B.
- Generalizzazione: SMOPD ha mostrato anche prestazioni superiori su benchmark non utilizzati in addestramento come API-Bank (LLM-Judge) e BFCL.

B. Ricompense Conflittuali (Utile vs Innocuo)

Configurazione: Addestramento su benchmark Safe-RLHF (HH-RLHF, PKU-SafeRLHF, Alpaca) con ricompense di utilità (helpfulness) e innocuità (harmlessness).
Risultati:
- SMOPD ha costantemente superato GDPO e GD2PO su backbone da 3B e 7B (Qwen2.5 e Llama-3.2).
- Su Qwen2.5-7B, SMOPD ha ottenuto un punteggio complessivo di 5,646, superando il miglior baseline scalare (GD2PO: 5,571) e entrambi gli insegnanti individuali.
- Anche quando i singoli insegnanti degradavano (ad esempio, su Llama-3.2-3B), il processo di fusione ha recuperato le prestazioni per avvicinarsi o superare i baseline scalari.

C. Studi di Ablazione

Necessità dell'Ancora: Rimuovendo l'ancora GDPO (usando solo OPD), lo studente risultava in un plateau al livello delle prestazioni della miscela degli insegnanti. L'ancora è essenziale per spingere lo studente oltre il "tetto dell'imitazione" per ottimizzare l'effettiva ricompensa del compito.
KL Forward vs Reverse: La KL forward è risultata superiore alla Reverse KL in questo scenario multi-insegnante perché preserva le diverse modalità della miscela degli insegnanti, mentre la Reverse KL tende a essere "mode-seeking" e può perdere le capacità specializzate.
Sensibilità Top- $\kappa$ : Un piccolo valore di top- $\kappa$ (ad esempio 16) è stato sufficiente, poiché manteneva circa il 99,4% della massa di probabilità degli insegnanti, validando l'efficienza dell'approssimazione.

5. Significato e Rivendicazioni

Il documento afferma che SMOPD offre una soluzione robusta al problema dello squilibrio della densità delle ricompense nel multi-reward RL. Il suo significato risiede nel:

Decoupling (Decoppiamento) di Apprendimento e Bilanciamento: Sfida il paradigma di cercare di bilanciare tutte le ricompense simultaneamente in un singolo passo di ottimizzazione. Invece, sfrutta la specializzazione per garantire che tutti i segnali di ricompensa siano appresi efficacemente prima della fusione.
Granularità a livello di Token: Utilizzando la distillazione on-policy a livello di token, SMOPD fornisce una supervisione densa per le ricompense sparse (come la formattazione) che la stima del vantaggio basata su gruppi non può fornire.
Scalabilità e Generalità: Il metodo è efficace su diverse dimensioni di modello (da 1.5B a 7B) e tipi di ricompensa (complementari e conflittuali), suggerendo che sia un approccio generalizzabile per l'allineamento multi-obiettivo nei LLM.

Gli autori concludono che SMOPD produce una policy unificata che mantiene i punti di forza degli insegnanti specializzati pur raggiungendo un bilanciamento ottimale del compito, superando efficacementamente i limiti degli attuali metodi di scalarizzazione multi-ricompensa.