🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

Questo articolo introduce multi-axis max@K, un obiettivo di apprendimento per rinforzo basato su gruppi che migliora la diversità e l'equità demografica della generazione di testo-immagine assegnando credito ai campioni solo quando migliorano in modo unico la copertura di specifici modi semantici all'interno di un batch, ottenendo così punteggi di equità più elevati senza compromettere la qualità delle immagini o l'allineamento con il prompt.

Autori originali: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Pubblicato 2026-07-17

📖 9 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in un enorme e magico studio d'arte dove un robot artista può dipingere istantaneamente qualsiasi immagine tu possa descrivere. Dici, "Disegna un detective," e puff! Appare un detective. Lo dici di nuovo e appare un altro detective. Ma ecco il trucco: ogni volta che lo chiedi, il robot dipinge esattamente lo stesso tipo di detective — magari sempre un uomo alto con un trench. È come se il robot avesse un vestito preferito e si rifiutasse di provare qualsiasi altra cosa. Questo è un problema comune con i moderni modelli "text-to-image". Sebbene questi robot siano incredibilmente bravi a creare immagini che sembrano reali e corrispondono alle tue parole, spesso rimangono intrappolati in un vicolo cieco, producendo le stesse poche variazioni continuamente. Questo è un problema importante perché se chiedi un "medico" o un "leader", e il robot ti mostra sempre un tipo specifico di persona, ciò rinforza una visione del mondo ristretta e ingiusta. Gli scienziati chiamano questa mancanza di "diversità".

Per risolvere questo problema, i ricercatori di solito provano a dire al robot, "Fallo sembrare diverso!" Ma spesso, quando costringono il robot a essere diverso, le immagini iniziano a sembrare strane, sfocate o semplicemente sbagliate. Il robot si confonde e smette di ascoltare le tue istruzioni. Questo articolo introduce un nuovo modo intelligente per insegnare al robot di essere diversificato senza perdere la calma. Gli autori propongono un metodo chiamato "Multi-Axis Max@K". Immaginalo come un talent show dove non scegli solo il singolo cantante migliore; invece, guardi un intero gruppo di concorrenti e dici: "Ok, questo è il miglior cantante, questo è il miglior ballerino e questo è il miglior mago". L'obiettivo non è che una singola persona faccia tutto perfettamente; l'obiettivo è che l'intero gruppo copra tutte le basi. I ricercatori hanno testato questa idea e hanno scoperto che aiuta l'IA a generare una varietà molto più ampia di persone e colori, rendendo i risultati più equi e interessanti, mantenendo al contempo le immagini nitide e fedeli alla tua descrizione.

Il Problema: Il Vestito "Preferito" del Robot

Immagina di avere un amico che ama disegnare. Chiedi loro di disegnare un "gatto". Disegnano un gatto soriano arancione e soffice. Chiedi di nuovo, e disegnano esattamente lo stesso gatto soriano arancione. Chiedi una terza volta, ed è ancora lo stesso gatto soriano arancione. Il tuo amico non è un cattivo disegnatore; è solo bloccato in un ciclo. Ha una "modalità preferita" di disegnare gatti, e continua a colpire quella.

Nel mondo dell'Intelligenza Artificiale (IA), specificamente nei modelli "Text-to-Image", questo accade continuamente. Questi modelli sono addestrati su miliardi di immagini prese da internet. Se internet ha più immagini di uomini bianchi come medici rispetto a donne o persone di altre razze, l'IA impara che "medico" equivale a "uomo bianco". Quando chiedi un medico, l'IA attinge da quella memoria ristretta.

La soluzione abituale è dire all'IA, "Sii diversificata!" Ma se urli solo "sii diversificata!", l'IA potrebbe confondersi. Potrebbe iniziare a disegnare un medico che sembra una patata o un gatto con uno stetoscopio. L'IA cerca di essere diversa, ma dimentica come essere brava a seguire le tue istruzioni. I ricercatori volevano un modo per far sì che l'IA mostri un intero gruppo di diverse opzioni — alcuni medici che sono donne, alcuni che sono uomini, alcuni che sono neri, altri che sono asiatici — senza che le immagini diventino brutte.

La Soluzione: Il Talent Show del "Meglio del Gruppo"

Gli autori di questo articolo hanno ideato una nuova regola per come l'IA impara. La chiamano Multi-Axis Max@K. Sembra complicato, ma scomponiamolo con una semplice storia.

Immagina di essere un insegnante che valuta una classe di studenti. Hai una lista di "abilità" che vuoi vedere: Matematica, Arte, Musica e Sport.

Il Vecchio Modo (Scalar Reward): Guardi ogni studente individualmente. "Lo Studente A è bravissimo in Matematica ma scarso in tutto il resto. Lo Studente B è bravissimo in Arte ma scarso in tutto il resto." Se sommi semplicemente i loro punteggi, potresti finire per scegliere lo studente che è "discreto" in tutto ma eccezionale in nulla. Oppure, potresti scegliere il genio della Matematica e ignorare il fatto che la classe non ha musicisti.
Il Nuovo Modo (Multi-Axis Max@K): Guardi l'intera classe come un gruppo. Chiedi: "Chi è il miglior studente di Matematica in questo gruppo?" Scegli lo Studente A. "Chi è il miglior studente di Musica?" Scegli lo Studente B. "Chi è il miglior studente di Sport?" Scegli lo Studente C.

La magia avviene qui: il gruppo ottiene un punteggio alto proprio perché ha un genio della Matematica, un genio della Musica e un genio dello Sport, anche se nessun singolo studente è bravo in tutte e tre le cose. L'IA impara che non deve creare un'immagine perfetta che faccia tutto, ma impara che un "batch" (un gruppo) di immagini è di successo se immagini diverse in quel gruppo rappresentano cose diverse.

La parte "Max" significa che l'IA cerca il miglior esempio di ogni categoria nel gruppo. La parte "K" significa che guarda un gruppo di K immagini (come un lotto di 7 o 10). La parte "Multi-Axis" significa che controlla molte diverse categorie contemporaneamente (come diversi toni della pelle, generi o colori).

Come l'hanno testato: Dai Pixel alle Persone

I ricercatori non si sono limitati a ipotizzare che questo funzionasse; lo hanno testato in tre modi diversi, aumentando la complessità ogni volta.

1. Il Gioco dei Colori (Test Sintetico)
Per prima cosa, hanno giocato con un semplice programma per computer. Hanno detto al programma di generare immagini che fossero o Rosse, Verdi, Blu o altri colori. Hanno stabilito una regola secondo cui il programma otteneva punti se il gruppo di immagini prodotte copriva tutti i colori.

Cosa è successo: Quando hanno usato il vecchio metodo a "punteggio singolo", il programma diventava pigro e creava un sacco di immagini Rosse perché era il modo più facile per ottenere punti. Ma quando hanno usato il nuovo metodo "Multi-Axis Max@K", il programma ha capito che doveva creare un'immagine Rossa, un'immagine Verde e un'immagine Blu per vincere. Ha iniziato a diversificare le sue scommesse e a creare un mix colorato.

2. Il Puzzle dei Pixel (Test basato su regole)
Successivamente, hanno usato un vero generatore di immagini chiamato SD3.5-M (un popolare modello di arte IA). Questa volta, non hanno usato un essere umano per giudicare le immagini. Invece, hanno usato un programma per computer che guardava i pixel e contava i colori. Hanno chiesto all'IA di creare immagini con temi cromatici specifici (come "colori caldi" o "colori scuri").

Il Risultato: L'IA ha imparato a produrre un batch in cui un'immagine era luminosa e calda, un'altra era fresca e blu, e un'altra era scura. Ha coperto con successo tutti gli "assi" del colore senza che un essere umano dovesse dirle cosa fosse giusto.

3. Il Test di Equità (Aspetto Percepito)
Infine, hanno affrontato il grande problema del mondo reale: la Equità (Fairness). Hanno chiesto all'IA di generare immagini di persone con diversi lavori (come "medico", "artista", "scienziato"). Volevano vedere se l'IA avrebbe mostrato un mix diversificato di razze e generi.

La Configurazione: Hanno usato strumenti automatici per "indovinare" la razza e il genere delle persone nelle immagini generate. Hanno definito dei "target mode" come "Donna nera", "Uomo asiatico", "Donna latina", ecc.
L'Esito: Quando hanno usato il nuovo metodo, l'IA ha iniziato a generare un gruppo molto più equilibrato.
- Prima della correzione, un batch di 16 immagini di un "medico" poteva avere 13 uomini bianchi e 3 persone di altri background.
- Dopo la correzione, un batch di 16 immagini poteva avere 4 uomini bianchi, 3 persone nere, 4 persone asiatiche, 2 persone indiane e 3 persone latine.
- I ricercatori hanno misurato questo usando un "Punteggio di Equità". Il loro nuovo metodo ha migliorato il punteggio di 0,23 - 0,36 rispetto al modello base. È un salto enorme! E la cosa migliore? Le immagini erano ancora belle. L'allineamento con il testo (quanto bene l'immagine corrispondeva alla parola "medico") è rimasto alto e la qualità dell'immagine non è diminuita.

Cosa significa questo (e cosa non significa)

L'articolo mostra che cambiando il modo in cui premiamo l'IA, possiamo far sì che sia naturalmente diversificata. Invece di forzarla a essere diversa (il che la rende strana), premiamo il gruppo per avere rappresentanti diversi.

Tuttamente, gli autori sono cauti nel dire cosa questo non faccia.

Non crea nuove persone dal nulla. Se l'IA non ha mai visto l'immagine di un certo tipo di persona, non può inventarla magicamente. Può solo distribuire le persone che già sa come disegnare.
Dipende dallo "score" (punteggio) che l'IA riceve. Se lo strumento usato per giudicare le immagini (l' "evaluator") è influenzato da pregiudizi, l'IA potrebbe imparare la lezione sbagliata. I ricercatori hanno usato strumenti automatici per giudicare le immagini e, sebbene abbiano controllato il loro lavoro con diversi strumenti per garantire la coerenza, ammettono che l'occhio umano sarebbe il test definitivo.
Funziona meglio quando si ha una lista chiara di cosa sia la "diversità" (come una lista di specifiche razze o colori). È uno strumento per aiutare l'IA a coprire un insieme specifico di obiettivi, non una bacchetta magica che risolve ogni problema di equità nel mondo.

Il Punto Fondamentale

Questo articolo è come dare al robot artista un nuovo libro di regole. Invece di dire, "Devi fare un'immagine perfetta", dice, "Fai un intero gruppo di immagini, e ti darò una stella d'oro se il gruppo contiene un po' di tutto".

Il risultato? L'IA diventa meno noiosa e più equa. Smette di mostrarci sempre la stessa persona "predefinita" e inizia a mostrarci la ricca e colorata varietà del mondo reale. E lo fa senza rendere le immagini un disastro di glitch. È un piccolo cambiamento nella matematica, ma potrebbe portare a un cambiamento molto più grande nel modo in cui vediamo noi stessi nell'arte che creiamo con le macchine.

Problematica

I modelli text-to-image (T2I), in particolare i generatori basati sulla diffusione, producono spesso campioni per un singolo prompt che coprono solo un sottoinsieme ristretto di modalità visivamente distinte. Sebbene questi modelli sintetizzino immagini realistiche, spesso mancano di diversità rappresentativa. Questa limitazione è critica quando l'obiettivo è fornire un insieme diversificato di alternative piuttosto che una singola immagine plausibile. Nei prompt incentrati sulle persone, questa concentrazione può riflettere o amplificare i pregiudizi demografici (ad esempio, riguardo a razza o genere), poiché il modello non riesce a generare rappresentanti forti per le categorie sottorappresentate.

Gli interventi sulla diversità esistenti spesso riducono la qualità delle immagini, e gli approcci standard di Reinforcement Learning (RL) che utilizzano ricompense scalari sono inadatti a questo problema. Le ricompense scalari aggregano i punteggi all'interno di una singola immagine prima di confrontare i campioni, il che fallisce quando l'obiettivo è coprire diverse categorie target mutuamente esclusive (ad esempio, diversi modi di colore o etichette demografiche) attraverso un gruppo di campioni. Una singola immagine non può simultaneamente rappresentare tutte le modalità mutuamente esclusive; pertanto, un gruppo generato dovrebbe essere preferito se campioni diversi all'interno di esso servono come forti rappresentanti per diverse modalità.

Metodologia: Multi-Axis Max@K

Gli autori formalizzano il problema come copertura delle modalità target e propongono il multi-axis max@k, un obiettivo di reinforcement learning basato su gruppi progettato per i modelli di diffusione.

1. Formulazione dell'obiettivo:
Invece di aggregare prima le dimensioni della ricompensa all'interno di un'immagine, il metodo aggrega prima tra i campioni. Per un prompt $c$ , viene generato un insieme di $k$ campioni $S_k(c)$ . Dato un insieme di $D$ modalità target predefinite (assi) e un punteggio $r_d(x, c) \in [0, 1]$ per ogni modalità $d$ restituito da un valutatore fisso, l'obiettivo $G_k$ è definito come:
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
In questa struttura, il punteggio massimo viene selezionato per asse attraverso l'insieme campionato, e questi massimi vengono poi sommati. Questa struttura assicura che un campione riceva credito per una specifica categoria solo se migliora il punteggio massimo del gruppo per quella categoria, permettendo a diversi campioni di contribuire a diverse categorie.

2. Meccanismo di assegnazione del credito:
Per ottimizzare questo obiettivo a livello di set, gli autori derivano uno stimatore del gradiente della policy.

Contributo marginale Leave-One-Out (L2O): Per un campione $x_i$ e un asse $d$ , il credito è determinato dal fatto che la rimozione di $x_i$ diminuisca il punteggio massimo del gruppo per quell'asse.
Expected Improvement (EI) + L2O: In pratica, dove la dimensione del batch di addestramento $m$ può differire dalla finestra dell'obiettivo $k$ , gli autori utilizzano uno stimatore di Expected Improvement con un baseline leave-two-out. Questo stima il vantaggio per campione mediando i miglioramenti su tutti i possibili sottoinsiemi di dimensione $k$ estratti dai $m$ candidati.
Aggregazione preservante l'asse: Gli advantage sono calcolati indipendentemente per ogni asse e poi sommati per formare un singolo peso della policy per il campione. Ciò preserva la separazione degli assi di ricompensa fino allo step finale di aggregazione.

3. Ciclo di addestramento:
Il metodo impiega un aggiornamento standard in stile GRPO (Group Relative Policy Optimization) per i modelli di diffusione.

Genera un gruppo on-policy di $m$ candidati per un prompt.
Valuta tutti i candidati su $D$ assi di ricompensa.
Calcola i crediti rappresentativi per asse (max@K) e converte in advantage per campione.
Aggiorna la policy utilizzando questi advantage con regolarizzazione KL rispetto al modello base.

Contributi Chiave

Formalizzazione della Diversità Rappresentativa: Il paper definisce la diversità rappresentativa come copertura delle modalità target, inquadrandola come un obiettivo a livello di set piuttosto che come una proprietà della singola immagine.
Algoritmo Multi-Axis Max@K: Introducono un obiettivo di RL specifico che esegue la selezione del massimo per asse di ricompensa prima dell'aggregazione. Questo è presentato come un caso specializzato dell'obiettivo ReMax, adattato alla modellazione generativa dove le modalità sono mutuamente esclusive.
Assegnazione del Credito Preservante l'Asse: Il metodo implementa un algoritmo di RL per la diffusione basato su gruppi che assegna il credito ai campioni in base alla loro capacità di essere il "miglior rappresentante" per una specifica modalità, impedendo il collasso della massa di probabilità su un singolo modo.
Validazione Completa: Il metodo è validato in tre distinti setting:
- Un mix sintetico controllato di modalità Gaussiane.
- Un setting di ricompensa del colore deterministico e basato su regole su Stable Diffusion 3.5 Medium (SD3.5-M).
- Un setting di equità dell'aspetto percepito (razza e genere) su SD3.5-M.

Risultati Sperimentali

1. Esperimenti su Modalità Sintetiche e del Colore:

In un setting sintetico con nove modalità Gaussiane mutuamente esclusive, il multi-axis max@k ha riesposto con successo la massa di probabilità per coprire tutte le modalità target. Al contrario, le ricompense scalari a modulo singolo hanno fatto collassare la distribuzione su un singolo modo preferito.
Su SD3.5-M utilizzando sette assi di colore basati su regole (ad esempio, rosso, verde, caldo, freddo), il metodo ha migliorato significativamente la copertura a livello di batch. Con una finestra di addestramento $k=7$ , il modello ha ottenuto un incremento del 57% nella copertura del massimo del batch ( $C_{pix}$ ) rispetto al modello base, mentre un baseline $k=1$ (standard single-image GRPO) non ha mostrato alcun miglioramento.

2. Equità dell'Aspetto Percepito:
Il metodo è stato applicato per migliorare l'equità nei prompt incentrati sulle persone utilizzando la razza percepita (5 categorie) e il genere percepito (2 categorie) come modalità target.

Miglioramento dell'Equità: Il multi-axis max@k ha migliorato il Fairness Score (che misura la vicinanza a una distribuzione uniforme) di 0,23–0,36 rispetto al modello base SD3.5-M attraverso tre valutatori automatici (CLIP, VLM e FairFace).
Confronto con i Baseline: Il metodo ha superato i baseline RL corrispondenti che utilizzano il credito basato sul conteggio (Fair-GRPO) e le interazioni al tempo di inferenza (FairImagen, Weak Guidance). Notevolmente, mentre altri metodi hanno migliorato l'equità a scapito dell'allineamento testuale (i punteggi CLIP-T sono scesi), il multi-axis max@k ha mantenuto o leggermente migliorato la qualità delle immagini e i parametri di allineamento testuale.
Spostamento Qualitativo: L'ispezione visiva dei batch generati ha mostrato uno spostamento dal dominio di una singola categoria (ad esempio, "Bianco") verso una distribuzione equilibrata tra tutte le cinque categorie di razza percepita all'interno del batch di un singolo prompt.

3. Studi di Ablazione:

Dimensione della Finestra ( $k$ ): L'iperparametro $k$ (il numero di campioni considerati per la selezione del massimo) è critico. Il Fairness Score è migliorato drasticamente all'aumentare di $k$ da 1 a 5 (corrispondente al numero di categorie di razza), saturando successivamente. Un setting $k=1$ (senza credito a livello di set) non ha prodotto miglioramenti nella diversità.
Meccanismo di Credito: Il metodo ha superato i baseline di assegnazione del conteggio tramite hard-assignment, ciò che gli autori attribuiscono alla capacità dei punteggi "soft" di catturare evidenze sotto la soglia per le categorie rare e al credito esplicito dato al "miglior disponibile" per asse.

Significato e Rivendicazioni

Il paper sostiene che il multi-axis max@k fornisce un meccanismo generale per migliorare la diversità nella modellazione generativa trattando la diversità come un problema di copertura su un insieme predefinito di modalità.

Validità del Meccanismo: Il contributo centrale è la regola di assegnazione del credito che permette a diversi campioni in un batch di specializzarsi in diversi assi di ricompensa, risolvendo efficacementmente il problema dei "modi mutuamente esclusivi" che le ricompense scalari non riescono a gestire.
Impatto Pratico: Il metodo dimostra che è possibile migliorare significativamente l'equità demografica nella generazione T2I senza sacrificare la qualità dell'immagine o l'allineamento testuale, un compromesso spesso osservato nelle precedenti interazioni sulla fairness.
Limitazioni e Ambito: Gli autori notano con modestia che il metodo richiede punteggi misurabili per le modalità target e può solo dare credito alle modalità che il generatore è già capace di campionare; non crea modalità assenti dal nulla. Inoltre, i risultati dipendono da valutatori automatici, e la scelta degli assi target (ad esempio, specifiche categorie di razza/genere) è una decisione di design a livello di task che determina quale diversità viene ottenuta. Il metodo è presentato come un primitivo di allineamento a livello di set applicabile a vari domini in cui i set di candidati devono coprire specifici assi.