Riepilogo Tecnico: MIRO (Pre-addestramento Condizionato a Multi-Ricompensa)

1. Enunciato del Problema

Le pipeline attuali di generazione da testo a immagine (T2I) seguono tipicamente un paradigma a tre stadi: (1) pre-addestramento su dati web rumorosi per apprendere la struttura dell'immagine, (2) affinamento supervisionato su sottoinsiemi curati per restringere la distribuzione e (3) Apprendimento per Rinforzo da Feedback Umano (RLHF) per allinearsi alle preferenze degli utenti. Gli autori sostengono che questo paradigma soffre di tre inefficienze critiche:

• Scarto dei Dati: L'affinamento scarta i dati "di bassa qualità", perdendo i segnali strutturali presenti nell'intera distribuzione dei dati.
• Collasso delle Modalità e Perdita di Fedeltà: L'RLHF ottimizza per un singolo reward scalare, spesso collassando la distribuzione (riducendo la diversità) e danneggiando la fedeltà semantica.
• Inflexibilità: Il compromesso del reward è bloccato al momento dell'addestramento, impedendo agli utenti di regolare le preferenze durante l'inferenza.
• Inefficienza: Il processo multistadio richiede risorse computazionali significative e sintonizzazione degli iperparametri per ogni stadio.

Il paper ipotizza che allineare più reward durante la fase di pre-addestramento stessa, piuttosto che come stadio successivo, possa preservare l'intero spettro dei dati abilitando al contempo una generazione controllabile.

2. Metodologia: MIRO

MIRO (Pre-addestramento Condizionato a Multi-Ricompensa) è un framework che integra l'allineamento direttamente nella fase di pre-addestramento condizionando il modello generativo su un vettore di punteggi di reward.

2.1. Aumento del Dataset

Invece di filtrare i dati, MIRO annota ogni immagine di addestramento $(x, c)$ con un vettore di $N$ punteggi di reward $s = [s_1, s_2, \dots, s_N]$. Gli autori utilizzano sette modelli di reward complementari:

1. Punteggio Estetico: Attrattiva visiva.
2. HPSv2 e PickScore: Allineamento alle preferenze umane.
3. ImageReward: Rispetto delle istruzioni e preferenze utente.
4. VQAScore: Comprensione visiva.
5. Punteggio JINA CLIP: Allineamento testo-immagine (ottimizzato per didascalie lunghe).
6. SciScore: Correttezza scientifica.

I punteggi grezzi vengono normalizzati e raggruppati in $B$ bin discreti per garantire una rappresentazione equilibrata attraverso i livelli di qualità e per gestire scale variabili tra i diversi modelli di reward.

2.2. Flow Matching Condizionato a Multi-Ricompensa

L'obiettivo di addestramento principale modifica la formulazione standard del Flow Matching. Il modello $v_\theta$ impara a prevedere il campo di velocità condizionato sul campione rumoroso $x_t$, sul prompt testuale $c$ e sul vettore di reward $s$:
$$\mathcal{L} = \mathbb{E}_{(x,c,s) \sim \tilde{D}, \epsilon \sim \mathcal{N}(0,I), t \sim U(0,1)} \left[ \| v_\theta(x_t, c, \hat{s}) - (\epsilon - x) \|_2^2 \right]$$
Addestrando sull'intero spettro dei livelli di reward, il modello apprende la distribuzione condizionata $p(x|c, s)$, associando caratteristiche visive specifiche a livelli di reward specifici senza scartare alcun dato.

2.3. Inferenza Guidata dal Reward

All'inferenza, MIRO abilita un controllo fine-granularità tramite Guida Classifier-Free Multi-Ricompensa (CFG). Il vettore di guida è calcolato contrastando un target di reward positivo $\hat{s}^+$ (es. reward massimi) e un target negativo $\hat{s}^-$ (es. reward minimi):
$$\hat{v}_\theta(x_t, c) = (1 + \omega)v_\theta(x_t, c, \hat{s}^+) - \omega v_\theta(x_t, c, \hat{s}^-)$$
Teoricamente, ciò corrisponde al campionamento da una distribuzione inclinata verso il reward $p_\omega(x|c) \propto p(x|c, s^+) \left( \frac{p(s^+|x, c)}{p(s^-|x, c)} \right)^\omega$. Ciò permette agli utenti di:

• Massimizzare tutti i reward simultaneamente.
• Navigare i compromessi (es. privilegiando l'estetica rispetto all'allineamento testuale) regolando componenti specifiche di $\hat{s}^+$.
• Evitare l'hacking del reward bilanciando obiettivi multipli.

3. Contributi Chiave

1. Framework MIRO: Un metodo di pre-addestramento che condiziona su un vettore di punteggi di reward, eliminando la necessità di fasi separate di filtraggio, affinamento o RLHF post-hoc.
2. Efficienza e Prestazioni: Un modello MIRO da 0,36B parametri ottiene risultati all'avanguardia su GenEval e benchmark di preferenze utente (PickScore, ImageReward, HPSv2), superando il modello FLUX-dev da 12B parametri richiedendo 370× meno compute di addestramento.
3. Velocità di Convergenza: MIRO converge fino a 19× più velocemente rispetto al pre-addestramento di base sulle metriche estetiche e di preferenza.
4. Efficienza di Inferenza: Sotto scaling basato sui campioni, MIRO ottiene prestazioni comparabili o superiori rispetto alle baseline con 3× meno compute di inferenza.
5. Garanzie Teoriche: Il paper fornisce prove che MIRO preserva l'intera distribuzione dei dati (preservazione dell'entropia) ed evita il collasso delle modalità e i conflitti di gradiente intrinseci nell'allineamento basato su RL (DDPO).

4. Risultati Sperimentali

• GenEval (Benchmark Compositivo): MIRO ottiene un punteggio complessivo di 57 (vs 52 della baseline), con guadagni significativi in compiti impegnativi come Attribuzione del Colore (+31%) e Due Oggetti (+24%). Quando combinato con didascalie sintetiche, MIRO raggiunge 68, superando FLUX-dev (67).
• Preferenze Utente: MIRO si posiziona al primo posto nei benchmark ImageReward, HPSv2 e PickScore.
• Dinamiche di Addestramento: L'analisi qualitativa mostra che MIRO genera immagini riconoscibili e di alta qualità entro 50k step, mentre le baseline richiedono 200k–400k step per una qualità simile.
• Hacking del Reward: I modelli a singolo reward (es. ottimizzati solo per il Punteggio Estetico) mostrano un grave degrado nelle metriche semantiche. Il condizionamento multi-reward di MIRO previene ciò, mantenendo prestazioni bilanciate su tutte le metriche.
• Scaling al Momento del Test: MIRO dimostra un'efficienza di campionamento superiore; per metriche come PickScore, MIRO con 4 campioni eguaglia le prestazioni della baseline con 128 campioni (un guadagno di efficienza di 32×).

5. Significato e Affermazioni

Il paper afferma che MIRO rappresenta un cambiamento di paradigma dall'"ottimizzazione per un reward" all'"apprendimento della distribuzione dei reward". Trattando i punteggi di reward come input controllabili durante il pre-addestramento, MIRO:

• Disaccoppia contenuto e qualità: Il modello impara a generare a qualsiasi livello di qualità desiderato senza ri-addestramento.
• Elimina il compromesso "Filtraggio vs Segnale": Utilizza l'intero spettro dei dati, preservando i segnali strutturali delle immagini naturali che vengono spesso scartati nei dataset curati.
• Fornisce Controllo Principiato: Gli utenti possono esplicitamente regolare i compromessi tra obiettivi concorrenti (es. estetica vs allineamento semantico) al momento dell'inferenza, una capacità non disponibile nelle pipeline RLHF standard.
• Riduce i Costi Computazionali: Il metodo ottiene risultati all'avanguardia con modelli significativamente più piccoli e meno compute, affrontando le preoccupazioni di efficienza e ambientali legate allo scaling dei modelli T2I.

Gli autori concludono che questo approccio apre nuove direzioni di ricerca per il pre-addestramento consapevole dei reward, offrendo un'alternativa stabile, efficiente e controllabile alle attuali pipeline di allineamento multistadio.