Sintesi Tecnica: La Lotteria del FID: Quantificare la Randomicità Nascosta nella Valutazione dei Modelli Generativi

Problema

La Fréchet Inception Distance (FID) funge da standard de facto per la valutazione dei modelli di generazione di immagini. Tuttavia, la comunità riporta tipicamente un singolo numero FID derivato da un singolo modello addestrato utilizzando un singolo seed di campionamento. Questo articolo sostiene che la segnalazione di un singolo numero occulta un significativo "gap di riproducibilità" causato dalla randomicità inerente nelle pipeline di addestramento e generazione.

Gli autori identificano due "lotterie" distinte che introducono varianza nei punteggi FID:

1. La Lotteria dell'Addestramento: Si verifica una sola volta per sessione di addestramento, guidata dall'inizializzazione casuale dei pesi, dall'ordinamento dei dati (shuffling dei minibatch), dal rumore gaussiano iniettato per step dalla perdita di flow-matching e dal non-determinismo dell'hardware (drift bitwise nell'esecuzione multi-GPU).
2. La Lotteria della Generazione: Si verifica durante il campionamento, guidata dal rumore iniziale casuale ($x_T \sim \mathcal{N}(0, I)$) estratto per ogni immagine generata.

La pratica convenzionale spesso mitiga la lotteria della generazione mediando su più seed di campionamento, ma ignora la lotteria dell'addestramento. L'articolo postula che la varianza introdotta dal ri-addestramento di un modello (anche con la stessa ricetta) sia significativamente maggiore della varianza introdotta dal ri-campionamento da un modello fisso, rendendo potenzialmente inconcludenti le affermazioni basate su un singolo seed FID.

Metodologia

Gli autori trattano la FID come una variabile casuale definita su un pannello a due assi di $N$ seed di addestramento indipendenti e $K$ seed di campionamento.

• Configurazione Sperimentale: Lo studio utilizza Scalable Interpolant Transformers (SiT) addestrati su ImageNet (256×256) condizionale tramite conditional flow matching.
• Scala: Gli esperimenti coprono diverse centinaia di reti SiT attraverso quattro dimensioni di modello (S, B, L, XL) e budget di addestramento fino a 2 milioni di step.
• Decomposizione della Varianza: Gli autori isolano sistematicamente le fonti di randomicità creando condizioni controllate in cui varia solo una fonte alla volta (ad esempio, variando solo l'inizializzazione, solo l'ordine dei dati o solo il rumore di addestramento per step) mantenendo costanti gli altri fattori.
• Metriche:
  • $\sigma_{within}$: Varianza tra i seed di campionamento per un modello addestrato fisso.
  • $\sigma_{between}$: Varianza tra le medie di diversi seed di addestramento.
  • Coefficiente di Variazione (CoV): $\sigma/\mu$, utilizzato per normalizzare la varianza attraverso diverse grandezze di FID (ad esempio, guidato vs non guidato).
  • Protocollo GS-FID: Gli autori introducono un protocollo "Golden-Section FID" in cui le scale di Classifier-Free Guidance (CFG) sono ottimizzate individualmente per ogni coppia (seed di addestramento, seed di campionamento) utilizzando la ricerca della sezione aurea per minimizzare la FID per cella.

Risultati Chiave

1. La Variabilità dell'Addestramento Domina la Variabilità della Valutazione

Ri-addestrare un modello con un seed diverso sposta il punteggio FID 3,2 volte più di quanto faccia il ridisegno di campioni da una rete fissa.

• In un esperimento SiT-B/2, la deviazione standard tra i seed ($\sigma_{between} \approx 0,44$) era 3,2 volte superiore alla deviazione standard entro il seed ($\sigma_{within} \approx 0,14$).
• Il CoV per i seed di addestramento è circa l'1,3%, mentre il CoV per i seed di campionamento è solo lo ~0,4%.
• Aumentare il budget di campionamento (più $K$) riduce il jitter entro il seed, ma lascia intatto l'involucro dominante tra i seed.

2. Fonti di Varianza dell'Addestramento

La lotteria dell'addestramento è guidata da tre fattori primari, ordinati per contributo alla varianza:

1. Rumore di Addestramento per Step: Il nuovo rumore gaussiano iniettato ad ogni step di gradiente dalla perdita di flow-matching è il principale contributore (riproducendo il 77% della varianza di base).
2. Inizializzazione Casuale: Contribuisce significativamente (67% della base).
3. Ordinamento dei Dati: Contribuisce meno, ma introduce una distribuzione distinta (un nucleo stretto con una lunga coda superiore), suggerendo occasionali "run cattive" piuttosto che una varianza continua.

• Non-Determinismo dell'Hardware: Il drift bitwise nell'esecuzione multi-GPU è stato trovato trascurabile, contribuendo meno della varianza della lotteria di campionamento.

3. Il Floor del CoV 1–2% è Invariante alla Scala

L'aumento del calcolo (step di addestramento) o della dimensione del modello (da S a XL) non elimina la varianza.

• Il CoV rimane stabile in una banda del 1–2% (mediana 1,30%) attraverso tutte le dimensioni del modello e i checkpoint di addestramento.
• Modelli più grandi non producono spread di FID proporzionalmente più stretti; il rumore relativo di fondo è una proprietà della metrica e della funzione di perdita, non della scala.
• La stabilità del ranking (correlazione dei ranking dei seed nel tempo) è debole prima di ~1M di step, il che significa che i ranking dei checkpoint precoci sono scarsi predittori delle prestazioni finali.

4. L'Impatto della Classifier-Free Guidance (CFG)

• GS-FID: Ottimizzando il CFG individualmente per ogni coppia di seed (GS-FID), la dispersione relativa si dimezza (il CoV scende dall'1,26% allo 0,67%).
• Rimescolamento del Ranking: Tuttavia, questa ottimizzazione rimescola quali seed performano meglio. La correlazione di Spearman tra i ranking non guidati e quelli guidati è solo 0,73. Un seed selezionato come "migliore" tramite FID non guidato non è affidabilmente il migliore sotto guida ottimizzata.
• Finestre di Learning Rate (LR): Sotto GS-FID, l'LR ottimale non è un singolo punto ma una finestra piatta (circa 1,7× più ampia) dove LR adiacenti producono punteggi FID indistinguibili.

5. La "Fortuna del Caso"

La scelta del seed di addestramento impatta significativamente l'efficienza. Un seed "fortunato" può raggiungere lo stesso target di FID di un seed "sfortunato" con fino a 2× meno calcolo (ad esempio, raggiungendo a 1M di step ciò che un seed sfortunato raggiunge solo a 2M). Ciò implica che articoli basati su un singolo seed che dichiarano accelerazioni potrebbero semplicemente beneficiare di un seed favorevole piuttosto che di miglioramenti architettonici.

Significato e Raccomandazioni

L'articolo conclude che la pratica attuale di riportare un singolo numero FID è insufficiente per una valutazione rigorosa. Gli autori propongono un nuovo protocollo di valutazione:

1. Riportare Error Bars: Inve invece di un singolo numero, riportare la FID su diversi seed di addestramento (ad esempio, 5–10) per catturare la lotteria dell'addestramento.
2. Soglie Inconcludenti: Trattare qualsiasi gap di FID inferiore al CoV misurato empiricamente di ~1,3% (o ~2% per sicurezza) come inconcludente. Le affermazioni di miglioramento devono superare questo livello di rumore per essere considerate reali.
3. Ottimizzazione Per-Cella: Quando si usa il CFG, impiegare la guida ottimale per cella (GS-FID) invece di un valore globale fisso, riconoscendo che questo cambia il ranking dei seed.
4. Evitare il Cherry-Picking: Riconoscere che selezionare il singolo miglior seed da un grande pool può fabbricare miglioramenti sensazionali che sono meri artefatti statistici della lotteria dei seed.

Gli autori sottolineano che queste scoperte sono specifiche per la combinazione SiT/Flow-Matching/ImageNet/Inception-V3, ma suggeriscono che il "floor 1–2%" possa essere una caratteristica generale delle moderne metriche di valutazione generativa, esortando la comunità ad adottare standard di reporting statistico più robusti.