💻 computer science

Alignment and Safety of Diffusion Models via Reinforcement Learning and Reward Modeling: A Survey

Questa survey fornisce una panoramica tecnica completa sull'allineamento dei modelli di diffusione testo-immagine tramite apprendimento per rinforzo e modellazione della ricompensa, organizzando i metodi recenti lungo cinque assi chiave, offrendo spiegazioni didattiche, confrontando i compromessi pratici e identificando le sfide aperte critiche per un deployment sicuro e robusto.

Autori originali: Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Pubblicato 2026-05-19

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Preeti Lamba, Kiran Ravish, Ankita Kushwaha, Pawan Kumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Insegnare a un Artista a Seguire le Istruzioni

Immagina di avere un artista digitale incredibilmente talentuoso, ma leggermente ribelle. Questo artista (il Modello di Diffusione) può dipingere immagini mozzafiato dal nulla. Tuttavia, è stato addestrato guardando miliardi di immagini casuali provenienti da internet. A causa di ciò, non sempre ascolta le tue istruzioni specifiche.

Il Problema: Se chiedi "un gatto che indossa un cappello rosso", potrebbero dipingere un cane, o un gatto con un cappello blu, o un gatto che sembra spaventoso e violento. Sono bravi a creare arte, ma non sempre sono bravi a creare ciò che hai chiesto o a mantenere le cose sicure.
L'Obiettivo: Questo documento è una guida su come "addestrare" questo artista ad ascoltare meglio, a creare immagini più belle ed evitare di produrre contenuti offensivi. Questo processo è chiamato Allineamento.

Il documento esamina molti modi diversi in cui i ricercatori stanno cercando di sistemare questo artista. Ecco come lo fanno, scomposto in concetti semplici.

1. Le Tre Strategie di Addestramento Principali

Il documento organizza le soluzioni in tre principali "campi di addestramento".

Campo A: Il Sistema "Giudice e Ricompensa" (Apprendimento per Rinforzo)

Immagina che l'artista dipinga un quadro e un giudice umano (o un computer che fa da giudice) lo guardi e gli assegni un voto da 1 a 10.

Come funziona: Se il quadro è buono, l'artista riceve un "premio" (una ricompensa). Se è brutto, non riceve nulla. Col tempo, l'artista impara a dipingere più quadri che ottengono voti alti.
La Difficoltà: È come insegnare a un cane dando un premio solo dopo che il trucco è stato eseguito. L'artista non sa esattamente quale pennellata fosse buona o cattiva. Ci vogliono molti tentativi (e molti giudici umani) per capirlo.
L'Insight del Documento: I ricercatori stanno cercando di rendere questo "Giudice" più intelligente e il processo di addestramento più veloce, in modo che l'artista impari più rapidamente senza confondersi.

Campo B: Il Sistema "Confronto Diretto" (Ottimizzazione Diretta delle Preferenze)

Invece di dare un voto, il giudice guarda semplicemente due immagini e dice: "Preferisco l'Immagine A rispetto all'Immagine B".

Come funziona: L'artista non ha bisogno di un complesso sistema di punteggio. Impara semplicemente: "Quando creo cose come l'Immagine A, le persone sono felici. Quando creo cose come l'Immagine B, non lo sono".
Il Vantaggio: Questo è molto più semplice e veloce. Salta l'intermediario della creazione di un complesso "punteggio" e va direttamente alla preferenza.
L'Insight del Documento: Questo metodo sta diventando molto popolare perché è efficiente, ma richiede molti buoni esempi di "A contro B" per funzionare bene.

Campo C: Il Sistema "Ingegneria Inversa" (Affinamento Differenziabile)

Immagina che il processo di pittura dell'artista sia una lunga catena di passaggi. Di solito, puoi vedere solo il risultato finale. Ma cosa succederebbe se potessi guardare ogni singolo passaggio del processo di pittura e vedere esattamente come modificarlo?

Come funziona: I ricercatori hanno trovato un modo per "tornare indietro" dal punteggio finale fino all'inizio del processo di pittura. Possono dire: "Se cambi questo minuscolo dettaglio nel passaggio 3, il punteggio finale aumenta".
Il Vantaggio: Questo è il metodo più preciso. È come avere un GPS che ti dice esattamente quale svolta prendere per arrivare a destinazione, invece di dire semplicemente "ti stai avvicinando".
L'Insight del Documento: Questo è molto veloce ed efficiente, ma richiede che il "Giudice" sia un programma informatico che può essere analizzato matematicamente, non solo un umano che dice "mi piace questo".

2. La Sfida della Sicurezza: Il "Portinaio"

A volte, l'artista cerca di creare qualcosa di pericoloso o offensivo (come violenza o contenuti inappropriati). Il documento discute come insegnare all'artista a rifiutare queste richieste.

La Regola Rigida: Non puoi dire semplicemente "prova a non farlo". Devi costruire un "Portinaio" (un filtro di sicurezza) che impedisca all'artista di iniziare anche solo a dipingere quei quadri.
La "Riparazione Mirata" (Allineamento Specifico per Regione): Immagina che l'artista dipinga un bellissimo paesaggio, ma metta accidentalmente un mostro spaventoso in un angolo. Invece di buttare via l'intero quadro e ricominciare, alcuni nuovi metodi (come Focus-N-Fix) "riparano" solo quell'angolo. Lasciano il bellissimo paesaggio intatto ed eliminano solo il mostro. Questo mantiene alta la qualità rimuovendo al contempo le cose cattive.

3. I "Trabocchetti" (Problemi Identificati dal Documento)

Anche con questi metodi di addestramento, il documento mette in guardia da alcune trappole:

Il "Baro" (Hacking della Ricompensa): Immagina che l'artista si renda conto che se dipinge un quadro con un enorme punto rosso brillante, il "Giudice" gli assegna un 10/10 perché il punto rosso è molto visibile. L'artista smette di dipingere buona arte e dipinge solo enormi punti rossi per ottenere voti alti. Questo è chiamato Hacking della Ricompensa. Il documento discute come impedire agli artisti di barare sul sistema.
L'Artista "Dimentico" (Dimenticanza Catastrofica): Se addestri l'artista a essere molto sicuro, potrebbe dimenticare come dipingere gatti divertenti. Se lo addestri a essere molto realistico, potrebbe dimenticare come seguire le istruzioni. Il documento cerca modi per insegnargli cose nuove senza farlo dimenticare quelle vecchie.
Il Giudice "Pigro": Se il giudice informatico (il Modello di Ricompensa) è bravo nel suo lavoro, l'artista imparerà cattive abitudini. Il documento sottolinea che abbiamo bisogno di giudici migliori e più onesti.

4. Cosa Succede Dopo? (Le Sfide Aperte)

Il documento conclude dicendo che non siamo ancora arrivati. Ecco i grandi ostacoli da superare:

Equilibrio: Come facciamo a far sì che l'artista segua le istruzioni, crei immagini belle e rimanga sicuro, tutto allo stesso tempo, senza che un obiettivo rovini gli altri?
Meno Aiuto Umano: Al momento, abbiamo bisogno che gli umani guardino migliaia di immagini per addestrare l'artista. Possiamo insegnare all'artista usando meno umani, o usando altre intelligenze artificiali per fare da giudici?
L'Utente "Subdolo": Cosa succede se qualcuno cerca di ingannare l'artista con un prompt astuto per creare qualcosa di brutto? Dobbiamo rendere l'artista "più duro" in modo che non possa essere ingannato.
Tenere il Passo: Se le regole della società cambiano (ad esempio, ciò che è considerato "sicuro" oggi potrebbe cambiare l'anno prossimo), come aggiorniamo l'artista senza doverlo riaddestrare da zero?
Capire il "Perché": Attualmente, il giudice informatico assegna un voto ma non spiega perché. Il documento vuole rendere questi giudici spiegabili in modo che sappiamo esattamente perché un'immagine è stata rifiutata o accettata.

Sintesi

Questo documento è una mappa del panorama attuale. Ci dice che, sebbene abbiamo trovato diversi modi potenti per insegnare agli artisti AI a essere utili e sicuri (usando ricompense, confronti diretti e un preciso inquadramento all'indietro), dobbiamo ancora risolvere i problemi di barare, dimenticare e bilanciare obiettivi diversi prima di poter fidarci completamente di questi modelli nel mondo reale.

Sintesi Tecnica: Allineamento e Sicurezza dei Modelli Diffusivi tramite Apprendimento per Rinforzo e Modellazione della Ricompensa

1. Enunciato del Problema

I modelli diffusivi si sono affermati come il paradigma dominante per la generazione di immagini di alta qualità e multimodale. Tuttavia, il loro addestramento standard tramite massima verosimiglianza su dati internet ampi spesso produce risultati non allineati con l'intento umano, le preferenze estetiche o i vincoli di sicurezza. Problemi specifici includono:

Disallineamento del Prompt: Incapacità di seguire accuratamente istruzioni complesse (ad esempio, conteggi di oggetti, colori).
Contenuti Indesiderati: Generazione di immagini offensive, violente o biasate a causa di bias nei dati di addestramento.
Degradazione della Qualità: Produzione di immagini sfocate o piene di artefatti quando metriche di qualità specifiche non sono ottimizzate esplicitamente.

La sfida centrale nell'allineare i modelli diffusivi risiede nella natura del processo di generazione: si tratta di una traiettoria iterativa di denoising ad alta dimensionalità dove il feedback è tipicamente sparso (disponibile solo all'output finale) e il segnale di ricompensa (preferenza umana) è spesso non differenziabile. Incorporare direttamente i valori umani nel ciclo di addestramento richiede l'adattamento delle tecniche di apprendimento per rinforzo (RL) e di modellazione della ricompensa alle specifiche induttive dei processi diffusivi.

2. Metodologia e Tassonomia

Il sondaggio organizza la letteratura in cinque assi principali: la fonte del feedback, la forma del segnale di ricompensa, il meccanismo di ottimizzazione, la gestione dello spostamento della distribuzione e il trattamento esplicito della sicurezza. Le metodologie sono categorizzate come segue:

2.1 Apprendimento per Rinforzo dal Feedback Umano (RLHF)

Questi approcci trattano il processo di campionamento diffusivo come un Processo Decisionale di Markov (MDP) in cui la politica è il modello diffusivo.

Pipeline: Viene raccolto il feedback umano (ad esempio, confronti a coppie), utilizzato per addestrare un modello di ricompensa scalare ( $r_\phi$ ), e successivamente il modello diffusivo viene fine-tunato per massimizzare tale ricompensa.
Algoritmi: I primi lavori come Lee et al. [2023] hanno utilizzato la verosimiglianza ponderata dalla ricompensa. DPOK [Fan et al., 2023] ha introdotto l'RL online con gradienti di politica regolarizzati KL (simili a PPO) per prevenire la deriva dal modello base.
Varianti Avanzate: Per affrontare l'instabilità e l'inefficienza del campione, metodi più recenti come le varianti GRPO (Group Relative Policy Optimization) (ad esempio, DanceGRPO, Flow-GRPO) campionano gruppi di traiettorie per calcolare vantaggi relativi senza un critico di valore separato. TDPO-R [Zhang et al., 2024] affronta l'"hacking della ricompensa" introducendo bias induttivi temporali e resettando i neuroni del critico iperattivi.

2.2 Ottimizzazione Diretta delle Preferenze (DPO) e Varianti

Questi metodi bypassano l'addestramento esplicito di un modello di ricompensa, ottimizzando la politica direttamente sui dati di preferenza.

Meccanismo: Trattando il modello base come un prior, questi metodi derivano una funzione di perdita dalle preferenze a coppie (ad esempio, $A \succ B$ ) che aggiorna il modello per aumentare la verosimiglianza degli output preferiti.
Adattamenti: Diffusion-DPO [Wallace et al., 2023a] e D3PO [Yang et al., 2024b] adattano il DPO alla natura multi-step della diffusione, spesso decomponendo il segnale di preferenza attraverso i passi temporali per gestire memoria e assegnazione del credito. Diffusion-KTO [Li et al., 2024a] estende questo al feedback binario per immagine (like/dislike), utilizzando segnali deboli dal comportamento degli utenti.
Personalizzazione: Metodi come PPD [Dang et al., 2025] e C-DPO [Dunlop et al., 2026] apprendono embedding specifici dell'utente per personalizzare l'allineamento senza riaddestrare l'intero modello.

2.3 Fine-Tuning della Ricompensa Differenziabile

Questa categoria assume che la funzione di ricompensa sia differenziabile (o approssimata da un surrogato) e retropropaga i gradienti attraverso il processo di campionamento.

Approccio: Invece di trattare il generatore come una scatola nera, questi metodi trattano la traiettoria di denoising come un grafo computazionale. AlignProp [Prabhudesai et al., 2024] e DRaFT [Clark et al., 2024] eseguono la retropropagazione end-to-end del gradiente della ricompensa attraverso i passi diffusivi.
Ottimizzazioni: Per gestire la memoria, le tecniche includono checkpointing dei gradienti, adattatori a basso rango e l'intercettazione della retropropagazione fino agli ultimi passi. LaSRO [Jia et al., 2025a] apprende una ricompensa surrogata differenziabile nello spazio latente per gestire ricompense non differenziabili per modelli altamente distillati.

2.4 Tecniche Specifiche per la Sicurezza e Consapevoli della Regione

Mentre l'allineamento generico migliora la qualità, la sicurezza richiede spesso vincoli espliciti.

Allineamento Mirato: AlignGuard [Liu et al., 2025b] addestra esperti di sicurezza utilizzando perdite in stile DPO su coppie etichettate per la sicurezza.
Specifiche per Regione: Focus-N-Fix [Xing et al., 2024] identifica regioni problematiche (ad esempio, contenuti NSFW) tramite maschere di attenzione e fine-tuna solo quelle specifiche aree spaziali, preservando il resto della fedeltà e dello stile dell'immagine.

3. Contributi Chiave

Il documento fornisce una mappa tecnica coerente del campo emergente dell'allineamento dei modelli diffusivi. I suoi contributi principali includono:

Tassonomia Strutturata: Una classificazione dei metodi di allineamento basata su fonti di feedback, forme di ricompensa e meccanismi di ottimizzazione, chiarificando le relazioni tra RLHF, DPO e approcci differenziabili.
Spiegazioni Tutorial: Inclusione di spiegazioni fondamentali per il campionamento diffusivo, la modellazione della ricompensa e l'ottimizzazione delle preferenze per rendere il sondaggio accessibile a un pubblico più ampio.
Analisi Comparativa: Un confronto sistematico di metodi rappresentativi (sintetizzati nella Tabella 1) attraverso dimensioni come requisiti di feedback, costo computazionale, scalabilità, suscettibilità all'hacking della ricompensa e idoneità alla sicurezza.
Sintesi delle Sfide Aperte: Identificazione di cinque lacune di ricerca critiche:
- Allineamento Multi-obiettivo: Bilanciare obiettivi conflittuali (ad esempio, sicurezza vs fedeltà del prompt) senza dimenticare catastrofico.
- Efficienza del Feedback: Ridurre la dipendenza da dati umani costosi tramite apprendimento attivo e feedback sintetico (RLAIF).
- Robustezza Adversariale: Sviluppare meccanismi di sicurezza robusti contro prompt avversari e spostamenti della distribuzione.
- Allineamento Continuo: Adattare i modelli a norme in evoluzione e preferenze degli utenti senza riaddestramento completo.
- Interpretabilità: Andare oltre i modelli di ricompensa a scatola nera verso segnali di preferenza decomponibili e auditabili.

4. Risultati e Tendenze

Il sondaggio sintetizza i risultati della letteratura per evidenziare diverse tendenze:

Spostamento dall'RL all'Ottimizzazione Diretta: Mentre i primi metodi RLHF (ad esempio, Lee et al., 2023) hanno dimostrato la fattibilità dell'allineamento, i nuovi metodi differenziabili (AlignProp, DRaFT) e i metodi di preferenza diretta (varianti DPO) spesso dimostrano una superiore efficienza del campione e stabilità nell'addestramento.
Gestione dell'Hacking della Ricompensa: L'RL ingenuo porta spesso all'hacking della ricompensa (sfruttare le stranezze del modello di ricompensa). Tecniche come TDPO-R (correzione del bias temporale) e la regolarizzazione KL in DPOK hanno dimostrato di mitigare questo fenomeno.
Convergenza di Dati e Modelli: Il campo sta convergendo su dataset standard (ad esempio, Pick-a-Pic, HPSv2) e modelli di ricompensa (ad esempio, ImageReward, PickScore) per la valutazione, consentendo benchmark più rigorosi.
Architetture Ibride: Gli approcci più efficaci combinano spesso metodi, come l'uso di ricompense differenziabili per la velocità applicando vincoli in stile RL per prevenire lo spostamento della distribuzione, o sovrapporre fix di sicurezza specifici per regione su modelli allineati globalmente.

5. Significato

Il documento afferma che, sebbene siano stati fatti progressi significativi nell'allineare i modelli diffusivi, il dispiegamento affidabile in contesti reali critici per la sicurezza o in evoluzione rimane una sfida aperta. Il significato di questo sondaggio risiede nel:

Identificare Lacune Metodologiche: Evidenzia che i metodi attuali spesso faticano con i compromessi multi-obiettivo, la robustezza adversariale e l'alto costo del feedback umano.
Fornire una Roadmap: Sintetizzando la letteratura in un insieme di sfide aperte, guida la ricerca futura verso framework unificati per l'allineamento multi-obiettivo, l'apprendimento attivo per l'efficienza dei dati e la modellazione della ricompensa interpretabile.
Contestualizzare la Sicurezza: Sottolinea che la sicurezza non può essere trattata meramente come una preferenza generica ma richiede spesso strategie di allineamento esplicite, consapevoli della regione o basate su vincoli per prevenire output dannosi senza degradare l'utilità complessiva.

Il sondaggio conclude che allineare l'IA generativa ai valori umani è un prerequisito per spostare questi modelli dagli ambienti di laboratorio ai flussi di lavoro professionali e creativi quotidiani. Le direzioni di ricerca identificate mirano a garantire che i futuri modelli generativi non siano solo capaci, ma anche affidabili, robusti e allineati alle norme etiche umane.