Evaluating Generative Models via One-Dimensional Code Distributions

Il paper propone una nuova metodologia di valutazione per i modelli generativi basata su metriche nello spazio dei token visivi discreti, introducendo CHD e CMMS, e presenta il benchmark VisForm per dimostrare che questi approcci superano le metriche tradizionali raggiungendo una correlazione superiore con i giudizi umani.

L'essenziale

Immagina di dover giudicare la qualità di un quadro dipinto da un'intelligenza artificiale. Fino a oggi, gli scienziati usavano un "metro" molto strano: invece di guardare il quadro con i propri occhi, lo trasformavano in una lista di numeri astratti (chiamati "feature") pensati per riconoscere cosa c'è nel quadro (es. "c'è un cane", "c'è un albero"), ma ignorando completamente come è fatto (es. "la pelliccia è morbida", "i colori sono vivaci").

È come se volessi giudicare la qualità di una torta chiedendo a un robot di contare solo gli ingredienti (farina, uova, zucchero) e ignorando se la torta è bruciata, secca o ha un sapore terribile. Se il robot vede gli ingredienti giusti, dice "Torta perfetta!", anche se in realtà è un blocco di cemento.

Questo articolo propone un modo nuovo e molto più intelligente per giudicare le immagini generate dall'IA.

1. Il Cambio di Paradigma: Dalle "Feature" ai "Mattoncini Lego"

Gli autori dicono: "Smettiamola di guardare i numeri astratti e guardiamo i mattoncini".

Immagina che ogni immagine digitale sia costruita con un set di mattoncini Lego (chiamati "token"). Un'immagine perfetta è costruita con mattoncini che si incastrano perfettamente secondo le regole della natura. Un'immagine fatta male dall'IA ha mattoncini sbagliati, incastrati nel modo sbagliato, o pezzi che non esistono nel set originale.

Invece di analizzare l'immagine come un'onda di colori complessa, il nuovo metodo la scompone in una semplice lista di mattoncini (un codice a 1D). È come passare da un'analisi chimica complessa del cibo a un semplice conteggio degli ingredienti e di come sono mescolati.

2. I Due Nuovi "Giudici"

Per misurare la qualità, gli autori hanno creato due nuovi strumenti:

• CHD (La "Lista della Spesa" e la "Grammatica"):
  Questo strumento controlla due cose:

  1. La Lista della Spesa (Unigram): L'IA sta usando i mattoncini giusti? Se un'immagine di un gatto usa mattoncini che di solito si usano per le auto, c'è un problema.
  2. La Grammatica (Co-occorrenza): I mattoncini sono messi nella posizione giusta? Se metti un mattoncino "cielo" sotto un mattoncino "terra", la grammatica è rotta.
  • Analogia: È come un ispettore che controlla se hai comprato gli ingredienti giusti per una ricetta (CHD-1D) e se li hai mescolati nel modo corretto (CHD-2D). Non serve addestrare questo ispettore con esempi umani, basta che conosca le regole dei mattoncini.

• CMMS (Il "Giudice Esperto" che impara dagli errori):
  Questo è un sistema che impara a giudicare la qualità di una singola immagine senza bisogno di confrontarla con un originale perfetto.

  • Come funziona? Immagina di prendere migliaia di foto belle e di rovinarle artificialmente in modi diversi (aggiungi rumore, sfocatura, pezzi mancanti). Poi addestri il sistema a dire: "Questa foto rovinata al 10% è bella, questa al 50% è brutta".
  • Il trucco: Invece di rovinare la foto nei pixel (i puntini colorati), il sistema la rovina nei mattoncini. Se un mattoncino "viso" viene sostituito da un mattoncino "casuale", il sistema capisce subito che la qualità è crollata.
  • Vantaggio: Non ha bisogno di milioni di umani che votano le foto. Impara da solo guardando come si comportano i mattoncini quando le cose vanno storte.

3. Il Grande Esame: VisForm

Per testare questi nuovi giudici, gli autori hanno creato un enorme banco di prova chiamato VisForm.
Immagina una fiera con 210.000 immagini che coprono 62 mondi diversi: foto realistiche, dipinti a olio, fumetti, diagrammi scientifici, rendering 3D, ecc.
I vecchi metodi (come il FID) funzionavano bene solo per le foto realistiche e fallivano miseramente con l'arte o i diagrammi. I nuovi metodi, basati sui mattoncini, hanno funzionato bene in tutti questi mondi, dimostrando di essere molto più flessibili e umani nel giudizio.

Perché è importante?

Fino a oggi, confrontare due intelligenze artificiali che generano immagini era come misurare la distanza tra due città usando solo la latitudine, ignorando la longitudine: potevi sbagliare tutto.

Con questo nuovo approccio:

1. È più veloce: Non serve addestrare modelli enormi con dati umani costosi.
2. È più preciso: Cattura i dettagli che agli umani piacciono (texture, stile, coerenza) che i vecchi metodi ignoravano.
3. È universale: Funziona sia per le foto di un gatto che per un'opera d'arte astratta.

In sintesi, gli autori hanno detto: "Invece di cercare di capire l'immagine come un computer che deve riconoscere oggetti, guardiamola come un bambino che gioca con i Lego: conta i pezzi e controlla se sono messi al posto giusto". E sembra che questo sia il modo più vicino a come noi umani giudichiamo la bellezza di un'immagine.

Sommario tecnico

1. Il Problema: Limiti delle Metriche di Valutazione Attuali

L'articolo identifica una fondamentale discrepanza tra il progresso dei modelli generativi (GAN, Diffusion, ecc.) e le metodologie di valutazione esistenti.

• Dipendenza da Feature Continue: Le metriche standard come il FID (Fréchet Inception Distance) operano nello spazio delle feature continue estratte da reti pre-addestrate per il riconoscimento (es. Inception-V3, CLIP, DINO).
• Invarianza Indesiderata: Queste feature sono ottimizzate per essere invarianti alle variazioni di aspetto (texture, nitidezza, coerenza locale) per migliorare il riconoscimento semantico. Di conseguenza, scartano informazioni critiche per la qualità percettiva.
• Assunzioni Statistiche Errate: Metriche come il FID assumono che le distribuzioni delle feature seguano una distribuzione Gaussiana, un'ipotesi spesso falsa per dati complessi e multimodali (es. immagini artistiche o mediche).
• Perdita di Struttura Spaziale: L'uso del pooling globale nelle feature riduce le immagini a singoli vettori, perdendo la coerenza locale e la struttura spaziale necessaria per rilevare artefatti.
• Limiti delle Metriche Apprese: Gli approcci basati su preferenze umane (es. HPS, PickScore) richiedono annotazioni su larga scala, costose e spesso soffrono di domain shift quando applicati a nuovi stili.

2. Metodologia: Il Paradigma dei Token Discreti

Gli autori propongono di spostare la valutazione dallo spazio delle feature continue a quello dei token visivi discreti, utilizzando tokenizer moderni (come TiTok) che codificano l'immagine in una sequenza compatta di indici di un codebook.

A. Codebook Histogram Distance (CHD)

Una metrica senza addestramento (training-free) che misura la fedeltà della distribuzione tra immagini reali e generate.

• Tokenizzazione: Le immagini (256x256) vengono convertite in sequenze di 128 token discreti da un vocabolario di 4096 elementi.
• Statistiche Unigram (CHD-1D): Calcola l'istogramma delle frequenze dei singoli token per verificare se il modello ha appreso il corretto "vocabolario" visivo.
• Statistiche di Co-occorrenza Spaziale (CHD-2D): Analizza le coppie di token adiacenti (in senso spaziale, non solo sequenziale) per catturare la "grammatica" locale e la coerenza strutturale.
• Distanza: La metrica finale è la media della Distanza di Hellinger tra gli istogrammi delle immagini reali e generate per entrambe le statistiche. Questo approccio è non parametrico e non assume distribuzioni Gaussiane.

B. Code Mixture Model Score (CMMS)

Una metrica di qualità senza riferimento (no-reference) appresa, ma supervisionata in modo auto-supervisionato.

• Idea: Invece di imparare dalle preferenze umane, il modello impara a riconoscere la degradazione.
• Generazione Sintetica: Si crea un modello di degradazione sintetica che applica:
  1. Corruzione dei Token: Sostituzione di token con valori uniformi casuali (simulando artefatti locali).
  2. Scambio di Frammenti Semantici: Scambio di blocchi spaziali tra immagini (simulando incoerenze strutturali).
  3. Degradazione nello Spazio dei Pixel: Blur, rumore, compressione JPEG, ecc., prima della tokenizzazione.
• Addestramento: Un regressore leggero (Transformer + MLP) mappa le sequenze di token corrotti a un punteggio di qualità continuo, basato sulla severità della corruzione ($p$) tramite una funzione esponenziale $q(p) = \exp(-20p)$.
• Vantaggio: Non richiede etichette umane per l'addestramento, rendendolo scalabile e privo di bias di dataset specifici.

C. VisForm Benchmark

Per testare la robustezza delle metriche, gli autori introducono VisForm, un benchmark su larga scala:

• Dati: 210.000 immagini generate da 12 modelli diversi.
• Diversità: Copre 62 forme visive (fotorealismo, arte, rendering 3D, diagrammi scientifici, UI, ecc.).
• Annotazioni: Ogni immagine è valutata da esperti su 14 dimensioni percettive (qualità generale, coerenza semantica, armonia cromatica, ecc.), fornendo un ground truth umano robusto.

3. Risultati Sperimentali

Le sperimentazioni sono state condotte su AGIQA, HPDv2, HPDv3 e il nuovo benchmark VisForm.

• Correlazione con il Giudizio Umano:
  • CHD supera tutte le metriche basate su feature (FID, KID, CLIP-FID, DINO-FID, CMMD) raggiungendo una correlazione di Spearman di 0.829 su AGIQA e 0.867 su HPDv3.
  • CMMS ottiene risultati ancora migliori, con una correlazione di 0.943 su AGIQA e 0.872 su HPDv3, superando anche le metriche state-of-the-art apprese (MUSIQ, CLIP-IQA, DEQA).
• Predizione delle Preferenze: CMMS raggiunge la massima accuratezza nella predizione binaria delle preferenze umane su tutti i benchmark (es. 71.5% su AGIQA, 74.9% su HPDv2).
• Robustezza e Generalizzazione:
  • Su VisForm, CHD e CMMS mantengono alte correlazioni su domini non fotorealistici (schizzi, collage, arte astratta), dove le metriche tradizionali come FID falliscono drasticamente.
  • Le metriche basate sui token catturano strutture agnostiche al dominio, non dipendenti dalla semantica specifica.
• Efficienza dei Campioni: CHD si stabilizza con circa 1.000 immagini, mentre il FID richiede oltre 10.000 campioni per convergere, rendendo l'approccio proposto molto più efficiente per modelli costosi o dataset piccoli.

4. Contributi Chiave

1. Cambio di Paradigma: Proposta di valutare i modelli generativi nello spazio dei token discreti invece che nelle feature continue, trattando le statistiche del codebook come dominio di valutazione primario.
2. Nuove Metriche: Introduzione di CHD (distribuzione training-free) e CMMS (qualità no-reference auto-supervisionata), entrambe con allineamento superiore al giudizio umano.
3. VisForm Benchmark: Creazione e rilascio di un dataset diversificato (210k immagini, 62 domini) con annotazioni esperte per testare la generalizzazione delle metriche di qualità.
4. Rilascio Open Source: Tutte le code, i modelli e i dati sono stati resi disponibili per la ricerca futura.

5. Significato e Impatto

Questo lavoro sfida l'assunzione consolidata secondo cui le feature per il riconoscimento sono il miglior proxy per la qualità visiva. Dimostrando che le statistiche dei token discreti catturano meglio sia il contenuto semantico che i dettagli percettivi (texture, stile, artefatti), il paper offre un framework unificato, scalabile e interpretabile per la valutazione.
L'approccio è particolarmente significativo perché:

• Elimina la necessità di costose annotazioni umane per l'addestramento delle metriche di qualità.
• Risolve il problema del domain shift, funzionando bene su stili artistici e domini specializzati dove le metriche tradizionali falliscono.
• Fornisce uno strumento pratico ed efficiente per lo sviluppo e il debug di modelli generativi di nuova generazione.