🤖 machine learning

Follow the Mean: Reference-Guided Flow Matching

Questo articolo introduce "Follow the Mean", un framework di flow matching guidato da riferimenti che abilita la generazione controllata di immagini adattando modelli preaddestrati tramite spostamenti della media degli endpoint basati su esempi, offrendo sia metodi senza addestramento che semi-parametrici per orientare gli output senza fine-tuning o ricerca al momento del test.

Autori originali: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Pubblicato 2026-05-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Pedro M. P. Curvo, Maksim Zhdanov, Floor Eijkelboom, Jan-Willem van de Meent

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un artista molto talentuoso che ha passato anni a imparare a dipingere da una vasta biblioteca di fotografie. Questo artista è così bravo da poter dipingere qualsiasi cosa tu descriva, come "un elefante nella giungla". Tuttavia, una volta addestrato, l'artista è "congelato". Non puoi facilmente insegnargli nuovi trucchi senza fargli dimenticare le sue abilità precedenti o senza trascorrere mesi a riaddestrarlo.

Di solito, se vuoi che questo artista dipinga un elefante rosa invece che grigio, devi oppure:

Riaddestrarlo: Mostrargli migliaia di elefanti rosa e sperare che impari (costoso e lento).
Aggiungere un supervisore: Assumere un critico che sgrida l'artista ogni volta che dipinge un elefante grigio, costringendolo a riprovare (lento e computazionalmente pesante).
Cercare tra le bozze: Dipingere 100 versioni e scegliere quella migliore (sprecone).

Questo articolo introduce un modo molto più semplice: Corrispondenza del Flusso Guidata da Riferimento.

L'Idea di Base: "Segui la Folla"

Gli autori hanno scoperto un trucco intelligente. Invece di cambiare il cervello dell'artista (i pesi del modello), cambi semplicemente chi l'artista sta guardando mentre dipinge.

Pensa al processo di pittura come a una barca che naviga su un fiume (il "flusso"). La barca vuole raggiungere una destinazione specifica (l'immagine finale).

Pittura Standard: La barca segue una mappa basata sull'addestramento dell'artista. Se chiedi un elefante, la mappa porta a un elefante grigio.
Il Nuovo Trucco: Gli autori hanno realizzato che se mostri alla barca un insieme di riferimento di foto (ad esempio, 20 immagini di elefanti rosa) subito prima che inizi, la destinazione della barca si sposta. La "corrente" del fiume cambia direzione per indirizzarsi verso gli elefanti rosa.

Non hai bisogno di insegnare nulla di nuovo all'artista. Gli consegni semplicemente una nuova pila di foto di riferimento, e la matematica del fiume spinge naturalmente l'immagine finale verso lo stile, il colore o la forma di quelle foto.

Due Modi per Farlo

L'articolo propone due versioni di questa "Guida di Riferimento":

1. La "Guida Istantanea" (Guidance basata sulla Media di Riferimento)

Questa è la versione "senza addestramento".

Come funziona: Prendi un modello pre-addestrato e congelato (come il modello FLUX.2 menzionato nell'articolo). Quando vuoi generare un'immagine, gli fornisci il tuo prompt e una piccola banca di immagini di riferimento (ad esempio, 20 elefanti rosa).
La Magia: Il modello non guarda solo il testo; calcola una "media" (una media) di dove puntano le foto di riferimento. Quindi spinge delicatamente il processo di pittura verso quella media.
Risultato: Ottieni un elefante rosa, una casa in stile Van Gogh o un gesto specifico della mano, tutto senza cambiare una singola riga del codice del modello o riaddestrarlo. È come dare all'artista una nuova bacheca di ispirazione subito prima che inizi a dipingere.

2. L'"Assistente Intelligente" (Guidance Semi-Parametrica)

Questa versione è per i modelli costruiti per imparare dai riferimenti fin dall'inizio.

Come funziona: Immagina che l'artista abbia un "assistente intelligente" in piedi accanto a lui. Questo assistente guarda le foto di riferimento e dice: "Ehi, la media di queste foto è un gatto con una coda folta".
Il Rifinimento: L'artista dipinge poi basandosi su quella media, ma aggiunge il proprio "residuo" (il proprio tocco creativo) per correggere eventuali dettagli strani.
Risultato: Questo permette al modello di imparare a usare i riferimenti in modo efficiente. Può passare dalla generazione di gatti a quella di cani semplicemente scambiando la banca di riferimento, senza bisogno di riaddestrare l'intero sistema. Mantiene l'alta qualità del modello originale ma aggiunge la capacità di adattarsi istantaneamente.

Perché Questo È Importante (Secondo l'Articolo)

L'articolo afferma che questo approccio è superiore perché:

È Veloce: Non devi aspettare ore di riaddestramento o eseguire ricerche complesse. Semplicemente scambi le immagini di riferimento.
È Flessibile: Puoi controllare colore, stile, identità dell'oggetto e persino strutture complesse (come la forma di una mano o di un buco della serratura) semplicemente mostrando esempi al modello.
È Semplice: Si basa su un principio matematico: se sposti la "destinazione" (la media del punto finale) del flusso, l'intero viaggio cambia.

Un'Analogia del Mondo Reale

Immagina di guidare un'auto con un GPS molto rigido (il modello di IA).

Vecchio Metodo: Per cambiare destinazione, devi riprogrammare l'intero sistema di navigazione dell'auto (Fine-tuning) o chiedere a un passeggero di urlare costantemente "Gira a sinistra!" (Guidance/Classificatori).
Metodo di Questo Articolo: Metti semplicemente una pila di foto della tua destinazione desiderata sul cruscotto. Il sistema di navigazione dell'auto è abbastanza intelligente da guardare quelle foto, rendersi conto "Oh, vogliono andare là," e reindirizzare automaticamente l'auto. Non hai cambiato l'auto; hai semplicemente cambiato il punto di riferimento.

Cosa Ha Dimostrato l'Articolo

Gli autori hanno testato questo su:

Colori: Trasformare elefanti grigi in rosa.
Stili: Trasformare foto in schizzi o dipinti di Van Gogh.
Strutture: Correggere la forma di una mano o di un buco della serratura.
Composizione: Assicurarsi che due oggetti appaiano nei punti giusti l'uno rispetto all'altro.

In ogni caso, semplicemente scambiando l'"Insieme di Riferimento" (la pila di foto), sono riusciti a indirizzare il modello di IA congelato a produrre esattamente ciò che volevano, dimostrando che i dati (le foto di riferimento) possono controllare il modello meglio che cambiare il modello stesso.

Riepilogo Tecnico: Seguire la Media: Flussi di Corrispondenza Guidati da Riferimento

Enunciato del Problema

Il controllo delle uscite dei modelli generativi preaddestrati (ad esempio, l'imposizione di attributi, stili o strutture specifici) rimane una sfida significativa. Gli approcci esistenti rientrano tipicamente in tre categorie, ciascuna con limitazioni distinte:

Fine-tuning e Adattatori: Richiedono la modifica dei parametri del modello per ogni nuovo target, risultando computazionalmente costosi e poco flessibili per cambiamenti dinamici.
Metodi di Guida: Lasciano il generatore congelato ma si affidano a classificatori ausiliari, modelli di ricompensa o segnali di ricompensa, introducendo un sovraccarico computazionale aggiuntivo e una dipendenza da reti esterne.
Metodi Basati sulla Ricerca: Evitano il riaddestramento ma sostengono costi di inferenza elevati attraverso campionamento ripetuto, filtraggio o ottimizzazione per prompt.

Nessuno di questi approcci evita contemporaneamente l'addestramento aggiuntivo, le reti ausiliarie e la ricerca al momento del test, mantenendo al contempo una generazione di alta qualità. Questo articolo propone una formulazione alternativa: Flussi Guidati da Riferimento, che controlla la generazione adattando il modello attraverso esempi di dati anziché aggiornamenti dei parametri o segnali di ricompensa esterni.

Metodologia

L'idea centrale dell'articolo è che nella Corrispondenza di Flusso (FM), il campo di velocità $u_t(x)$ è governato esclusivamente dalla media del punto finale condizionata $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$ . Per un interpolante lineare, la velocità è data da:
$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$
Di conseguenza, spostare la media del punto finale sposta l'intera traiettoria del flusso. Gli autori propongono che questa media possa essere spostata condizionando su un insieme di riferimento $R$ di immagini, guidando efficacemente il modello verso la distribuzione indotta da $R$ senza alterare i pesi del modello.

L'articolo istanzia questo principio in due forme:

1. Guida alla Media di Riferimento (RMG)

La RMG è un metodo senza addestramento per il controllo di modelli preaddestrati congelati.

Meccanismo: Calcola una correzione in forma chiusa al campo di velocità basata sulla differenza tra la media del punto finale dell'insieme di riferimento ( $\hat{\mu}^\rho_t$ ) e la media del punto finale del modello preaddestrato ( $\mu^\theta_t$ ).
Formula: La velocità guidata è definita come:
$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$
dove $\beta_t$ è un programma di guida e $\hat{\mu}^\rho_t(x)$ è la media ponderata empirica dell'insieme di riferimento (calcolata tramite un softmax sulle immagini di riferimento).
Proprietà: Non richiede calcoli di gradiente, reti ausiliarie o valutazioni aggiuntive del modello oltre al modello di base. L'insieme di riferimento può essere scambiato al momento dell'inferenza per cambiare colore, identità, stile o struttura.

2. Guida Semi-Parametrica (SPG)

La SPG è un'architettura apprendibile che ammortizza il concetto di guida alla media di riferimento.

Architettura: Il modello $\mu^\theta_t(x_t, R)$ condiziona esplicitamente su un insieme di riferimento $R$ durante l'addestramento. Utilizza un meccanismo di attenzione incrociata per calcolare un "ancora" $\bar{x}$ (analoga alla media in forma chiusa) e un affinatore di residuo appreso $f^\theta$ per correggere le correlazioni spurie (ad esempio, sfondi condivisi) che l'ancora potrebbe copiare involontariamente.
Addestramento: Il modello è addestrato con un obiettivo leave-one-out per impedire all'ancora di attendere al proprio punto finale, combinato con una perdita di residuo per insegnare all'affinatore a catturare dettagli oltre l'ancora.
Proprietà: La SPG corrisponde alla qualità di generazione incondizionata dei modelli standard (ad esempio, DiT-B/4) consentendo al contempo il controllo al momento dell'inferenza tramite sostituzione dell'insieme di riferimento.

Contributi Chiave

Spostamento della Media come Guida: Gli autori definiscono la guida come un'interpolazione geometrica tra il percorso di probabilità del set di addestramento e quello di un insieme di riferimento. Dimostrano che il termine di guida risultante dipende solo dalla differenza tra le medie dei punti finali delle due distribuzioni.
Guida alla Media di Riferimento (RMG): Un metodo senza addestramento che calcola lo spostamento di velocità in forma chiusa utilizzando un archivio di riferimento. Consente il controllo su modelli congelati (dimostrato su FLUX.2-klein) senza gradienti, classificatori o modelli di ricompensa.
Guida Semi-Parametrica (SPG): Un'architettura controllabile che impara ad approssimare l'ancora della media di riferimento e una correzione di residuo. Preserva la qualità di generazione incondizionata consentendo lo scambio dell'insieme di riferimento al momento dell'inferenza, sopprimendo efficacemente correlazioni spurie come sfondi condivisi.

Risultati

L'articolo convalida l'approccio attraverso un'analisi meccanicistica ed esperimenti estesi:

Convalida Meccanicistica: Sulla distribuzione a due lune e su MNIST, gli autori dimostrano che cambiare la composizione dell'insieme di riferimento sposta direttamente il campo di flusso e l'attrattore finale, isolando il ruolo causale della media posteriore.
Controllo Senza Addestramento (RMG): Applicato a un modello congelato FLUX.2-klein (4B), la RMG guida con successo la generazione per colore (elefanti rosa/blu), identità (giraffe/zebre), stile (Van Gogh/schizzi) e struttura (forme a buco della serratura, pose delle mani).
- Benchmark GenEval: La RMG supera le linee di base basate sulla ricerca (Best-of-4, SMC) e basate sul gradiente (ReNO) su compiti di testo-immagine composizionali (ad esempio, posizione, generazione di due oggetti) utilizzando una singola traiettoria di campionamento e nessun modello ausiliario. Raggiunge un punteggio medio di 91,17 rispetto ai 80,10 della linea di base, con un tempo di inferenza significativamente inferiore e senza chiamate a modelli esterni.
Guida Semi-Parametrica (SPG): Addestrata su AFHQv2, la SPG corrisponde alla qualità incondizionata di una linea di base DiT-B/4 (FID 23,26 vs. 23,11).
- Controllo: Sostituendo l'insieme di riferimento (ad esempio, solo gatti vs. solo cani) si sposta sistematicamente la distribuzione di output. Le proporzioni delle classi generate seguono da vicino la composizione dell'insieme di riferimento.
- Soppressione di Artefatti: A differenza della RMG, che può trasferire correlazioni spurie (ad esempio, uno sfondo bianco da tutte le immagini di riferimento), l'affinatore di residuo della SPG preserva con successo la guida a livello di oggetto sopprimendo tali artefatti.

Significato e Affermazioni

L'articolo sostiene che i modelli generativi possono essere adattati attraverso i dati anziché attraverso aggiornamenti dei parametri. Inquadrando il controllo come un problema di spostamento delle medie dei punti finali, gli autori forniscono un'alternativa semplice e principiata al fine-tuning, alla guida ausiliaria o alla ricerca.

Per Modelli Congelati: La RMG dimostra che un modello preaddestrato può essere guidato efficacemente cambiando l'insieme di riferimento che segue implicitamente, offrendo un paradigma "guida con esempi, non con ricompense".
Per Modelli Apprendibili: La SPG mostra che questo meccanismo può essere ammortizzato in un'architettura apprendibile che mantiene un'alta qualità di generazione consentendo al contempo un controllo flessibile al momento dell'inferenza.
Direzione Più Ampia: Il lavoro suggerisce una strada verso modelli generativi che si adattano dinamicamente attraverso riferimenti di dati, riducendo la necessità di riaddestramento o ingegneria complessa delle ricompense per la generazione controllabile.

Gli autori riconoscono le limitazioni, notando che la RMG eredita la qualità del proprio insieme di riferimento (riferimenti rumorosi introducono artefatti) e che il calcolo delle medie su grandi insiemi può essere costoso, sebbene il sottocampionamento offra rimedi. Sottolineano la necessità di una curatela responsabile degli insiemi di riferimento per prevenire abusi.