Riepilogo Tecnico: Controllo delle Azioni Latenti per la Generazione Unificata di Immagini Guidata dal Ragionamento

Enunciato del Problema

I modelli multimodali unificati hanno integrato con successo la comprensione visiva e la generazione di immagini all'interno di back-end condivisi. Tuttavia, persiste un persistente "divario comprensione-generazione": i modelli possono inferire correttamente oggetti, relazioni o vincoli durante la fase di comprensione, ma falliscono nell'istruirli fedelmente nell'immagine generata. Gli approcci esistenti per colmare questo divario esternalizzano tipicamente il ragionamento sotto forma di piani in linguaggio naturale, liste di controllo testuali o istruzioni di modifica iterative. Questi metodi trattano il ragionamento come artefatti esterni alla dinamica degli stati nascosti del generatore, richiedendo una reinterpretazione come segnali di condizionamento. In alternativa, i metodi di ragionamento latente spostano la deliberazione negli spazi continui, ma spesso non riescono a formulare questi stati come azioni esecutive specifiche per ruolo che guidino direttamente la sintesi. Di conseguenza, manca un'interfaccia di controllo per convertire i vincoli inferiti in segnali di condizionamento al momento della generazione prima dell'inizio della sintesi visiva.

Metodologia: Controllo delle Azioni Latenti (LAC)

Gli autori propongono il Controllo delle Azioni Latenti (LAC), un framework che trasforma il ragionamento in un'interfaccia di controllo interna per la generazione unificata di immagini. Invece di decodificare il ragionamento in testo, LAC emette azioni latenti continue che vengono riscritte nel flusso nascosto del modello per condizionare il processo di generazione.

1. Controllo delle Azioni Latenti Strutturato per Ruolo

LAC opera sviluppando una traiettoria di azioni latenti $Z$ organizzata in quattro ruoli distinti e ordinati:

• Piano: Pianificazione dell'intento globale.
• Bozza: Formazione di un'ipotesi visiva interna (passo singolo, nessuna immagine intermedia emessa).
• Diagnosi: Diagnosi degli errori.
• Raffinamento: Raffinamento mirato.

Queste azioni sono vettori continui ($z \in \mathbb{R}^d$) iniettati nel flusso nascosto di un generatore unificato (istanziato su BAGEL-7B-MoT). La lunghezza della traiettoria è variabile, determinata da un testata di arresto appresa, e il processo si conclude con un token sentinella. Il modello condiziona la successiva generazione di immagini basata sul flusso sugli stati nascosti risultanti da questa espansione latente.

2. Allineamento Variazionale delle Azioni Latenti Guidato da Prior

Poiché le traiettorie di azioni ground-truth non sono disponibili, LAC impiega una strategia di allineamento variazionale delle azioni latenti guidato da prior durante l'addestramento:

• Segnali Insegnanti: I record strutturati degli insegnanti (per piano, diagnosi, raffinamento) sono resi come immagini compatte in stile documento e codificati come embedding target densi. Per il ruolo "bozza", i target sono derivati dalle caratteristiche visive di immagini candidate imperfette.
• Obiettivo Variazionale: Il modello impara una politica autoregressiva $q_\theta$ per campionare le azioni. Viene costruito un prior Gaussiano a varianza fissa dai segnali insegnanti ($E$). La politica viene addestrata ad allineare la sua espansione campionata a questi prior utilizzando una perdita variazionale ($L_{var}$), garantendo che le azioni siano eseguibili senza iniettare direttamente i segnali insegnanti come input durante l'inferenza.
• Fine-Tuning Supervisionato (SFT): L'obiettivo totale combina l'allineamento variazionale, una perdita di ancoraggio lessicale (per ancorare gli stati latenti alla semantica), una perdita di arresto supervisionata e una perdita di adattamento del flusso delle immagini.

3. GRPO Latente-Flusso Allineato al Risultato (LF-GRPO)

Per ottimizzare le azioni latenti basandosi sulla qualità finale dell'immagine piuttosto che solo sui prior locali degli insegnanti, gli autori introducono il GRPO Latente-Flusso (LF-GRPO).

• Meccanismo: Per un dato prompt, viene campionata una serie di espansioni. Ogni espansione consiste in una traiettoria di azioni latenti e una traiettoria di generazione del flusso.
• Ricompensa: Viene calcolata una ricompensa per l'immagine terminale per l'immagine generata finale.
• Assegnazione del Credito: Utilizzando il Vantaggio Relativo di Gruppo (GRPO), la ricompensa terminale viene assegnata come segnale di vantaggio condiviso sia alle azioni latenti continue che alle transizioni di generazione del flusso. Ciò consente al feedback a livello di immagine di plasmare la traiettoria di azioni nascosta, allineando i passaggi di pianificazione, bozza, diagnosi e raffinamento con il risultato visivo finale.

Contributi Chiave

1. Formulazione del Ragionamento come Controllo: Il documento formula il ragionamento nella generazione unificata di immagini come Controllo delle Azioni Latenti, dove azioni continue specifiche per ruolo convertono i vincoli inferiti in segnali di condizionamento al momento della generazione, mantenendo la deliberazione all'interno dello spazio continuo nascosto.
2. Allineamento Guidato da Prior e LAC-15K: Gli autori introducono una metodologia di addestramento che utilizza l'allineamento variazionale guidato da prior e costruiscono LAC-15K, un dataset strutturato per ruoli che fornisce prior semantici renderizzati, target di bozza visiva e segnali di arresto supervisionati.
3. Obiettivo LF-GRPO: Un obiettivo innovativo a livello di risultato che ottimizza congiuntamente le azioni latenti nascoste e le transizioni di generazione del flusso sotto ricompense terminali condivise per le immagini, consentendo al generatore di imparare come utilizzare il ragionamento latente per migliorare la sintesi.

Risultati Sperimentali

Il metodo è stato valutato su GenEval (generazione compositiva) e WISE (generazione basata su conoscenza del mondo), utilizzando BAGEL-7B-MoT come base.

• GenEval: LAC ha migliorato il punteggio complessivo da 0,77 (baseline BAGEL) a 0,82. I guadagni sono stati più significativi nelle categorie sensibili ai vincoli: Posizione (+0,11), Colori (+0,13) e Attributo di Colore (+0,05). Con prompt riscritti da LLM, il punteggio ha raggiunto 0,90.
• WISE: LAC ha migliorato il punteggio ponderato complessivo da 0,49 a 0,54, con guadagni notevoli in Biologia (+0,18) e Chimica (+0,07).
• Studi di Ablazione:
  • Percorso di Addestramento: La rimozione dei prior semantici renderizzati o dell'ancoraggio visivo della bozza (Latent-SFTNR) non ha portato a miglioramenti rispetto alla baseline, confermando che la natura specifica dei prior è cruciale.
  • Intervento Latente: Sostituire le azioni latenti apprese con vettori nulli o vettori casuali ha causato cali significativi delle prestazioni (ad esempio, -7,92 su GenEval), dimostrando che il generatore consuma attivamente queste azioni. Anche mescolare l'ordine dei ruoli ha degradato le prestazioni, validando la necessità funzionale della struttura piano-bozza-diagnosi-raffinamento.
  • Rimozione del Ruolo: La rimozione del ruolo "bozza" ha causato il calo più grande, evidenziando l'importanza delle ipotesi visive interne per il vincolo degli attributi e il tracciamento degli oggetti.

Significato e Affermazioni

Il documento afferma che la generazione unificata di immagini trae beneficio significativo quando la comprensione non è semplicemente codificata ma resa azionabile durante il processo di generazione. Convertendo i vincoli inferiti in una traiettoria di azioni nascoste e ordinate, LAC fornisce un percorso di controllo diretto dal ragionamento alla sintesi. I risultati suggeriscono che il "divario comprensione-generazione" può essere ridotto trattando il ragionamento come un'interfaccia di controllo interna ed eseguibile piuttosto che come un artefatto testuale esterno. Gli autori notano che, sebbene l'approccio mostri guadagni coerenti, attualmente dipende da prior derivati dagli insegnanti e richiede ulteriori lavori per ridurre la dipendenza dagli insegnanti e migliorare l'efficienza dell'apprendimento per rinforzo.