Sintesi Tecnica: EMoE – Disaccordo tra Esperti per l'Incertezza nel Text-to-Image Diffusion senza Addestramento

Problema

I grandi modelli di diffusione text-to-image, nonostante i rapidi progressi in fedeltà e velocità, rimangono opachi per quanto riguarda la loro incertezza. Essi mancano di segnali affidabili per indicare quando un prompt è probabile che produca generazioni scarsamente allineate o inaffidabili, specialmente quando i dati di addestramento sono non dichiarati o incompleti. Sebbene l'incertezza epistemica (l'incertezza derivante da dati di addestramento insufficienti o non rappresentativi) offra un modo rigoroso per identificare questi modi di fallimento, stimarla in contesti generativi ad alta dimensionalità è complesso. Gli approoli standard basati su ensemble sono computazionalmente proibitivi e i metodi esistenti spesso richiedono un addestramento aggiuntivo o reti ausiliarie, il che è impraticabile per modelli pre-addestrati su larga scala.

Metodologia: EMoE

Gli autori introducono EMoE (Epistemic Mixture of Experts), un framework zero-shot, privo di addestramento, progettato per stimare l'incertezza epistemica nello spazio latente di modelli di diffusione Mixture-of-Experts (MoE) pre-addestrati.

Meccanismo Centrale

EMoE sfrutta la struttura intrinseca delle architetture sparse MoE, dove esistono molteplici componenti "esperte" specializzate all'interno di un singolo modello. Invece di aggregare gli output degli esperti come fanno i normali strati MoE, EMoE separa i percorsi di computazione specifici degli esperti al primo strato sparse MoE (situato nel primo strato di cross-attention del primo blocco di downsampling).

1. Separazione dei Percorsi: Per un dato prompt $y$ e un rumore iniziale $z_T$, il modello elabora l'input attraverso $M$ distinti percorsi di esperti in modo indipendente.
2. Controllo del Rumore: Fondamentalmente, EMoE utilizza lo stesso rumore iniziale $z_T$ attraverso tutti i percorsi degli esperti. Ciò isola la varianza nell'output alle differenze nelle rappresentazioni apprese dagli esperti (disaccordo epistemico) piuttosto che al rumore di campionamento stocastico (incertezza aleatoria).
3. Stima Precoce: Il metodo estrae le rappresentazioni latenti ($m_{post}^T$) dal mid-block della U-Net dopo il primo step di denoising.
4. Metrica di Incertezza: L'incertezza epistemica $EU(y)$ è calcolata come la traccia normalizzata della covarianza di queste rappresentazioni latenti condizionate dagli esperti:
   $$EU(y) = \frac{1}{D_{mid}} \sum_{d=1}^{D_{mid}} \text{Var}_{i=1,...,M} (m_{post}^T{}_{i,d})$$
   Questo misura efficacemente il disaccordo quadratico medio tra i percorsi degli esperti.

Dettagli di Implementazione

• Zero-Shot: EMoE non richiede addestramento aggiuntivo. Utilizza checkpoint MoE pre-addestrati assemblati da repository pubblici (es. Hugging Face, Civit AI).
• Routing Dinamico: Per selezionare gli esperti senza addestrare un modulo di gating, il metodo inferisce i pesi confrontando la rappresentazione del prompt con descrittori positivi e negativi predefiniti per ogni esperto.
• Efficienza: Stimando l'incertezza dopo un singolo step, EMoE consente un filtraggio precoce o l'astensione prima della generazione completa dell'immagine, evitando il costo di generare molteplici immagini complete.

Contributi Chiave

1. Introduzione del Framework: EMoE è presentato come un framework zero-shot per stimare l'incertezza epistemica nei modelli di diffusione text-to-image disaccoppiando le rappresentazioni MoE nello spazio latente.
2. Allineamento con le Metriche di Qualità: Gli autori dimostrano che le stime di incertezza di EMoE si allineano con le metriche di qualità dell'allineamento testo-immagine (CLIP score, Aesthetic Score, Image Reward) sui dataset COCO e CC3M.
3. Diagnostica Multilingue: Il metodo viene applicato a prompt in 25 lingue, rivelando lacune di affidabilità sistematiche e dipendenti dalla lingua. Identifica con successo input linguistici sottorappresentati (es. finlandese rispetto all'inglese) ed effetti lessicali più fini (es. termini del vocabolario condiviso come "pizza" che riducono l'incertezza).
4. Validazione della Robustezza: Gli studi di ablazione confermano la robustezza del metodo rispetto alla dimensione dell'ensemble, alla selezione dello step di denoising, alla scelta dello spazio latente e all'architettura del modello (testato su SegMoE e Runway ML MoE).

Risultati

• Performance In-Distribution: Su 40.000 prompt inglesi COCO, EMoE produce una relazione monotona in cui una minore incertezza correla con CLIP score, Aesthetic scores e Image Reward più elevati. Questa tendenza non è stata osservata con i baseline come DECU o Gating Entropy.
• Rilevamento Out-of-Distribution: Applicato a prompt in finlandese (trattati come out-of-distribution), EMoE ha rilevato un'incertezza significativamente maggiore rispetto ai prompt in inglese. Ha raggiunto un AUROC di 0,739 nel distinguere il finlandese dall'inglese, superando DECU (0,571) e Gating Entropy (0,543).
• Sensibilità Lessicale: Il metodo ha catturato effetti sfumati; i prompt in finlandese contenenti la parola dal vocabolario condiviso "pizza" esibivano un'incertezza inferiore (46,67% nel quartile più basso) rispetto ai prompt casuali in finlandese (21,54%), suggerendo sensibilità a specifiche capacità di grounding.
• Correlazione Multilingue: Attraverso 25 lingue, è stata trovata una forte correlazione negativa ($r = -0,79$) tra l'incertezza media di EMOE e il CLIP score medio. Le lingue con popolazioni di madrelingua più ampie hanno generalmente mostrato un'incertezza inferiore e una qualità di generazione superiore.

Significato e Rivendicazioni

Il paper posiziona EMoE come uno strumento diagnostico pratico per:

• Valutazione del Rischio del Prompt: Identificare prompt che probabilmente produrranno generazioni inaffidabili prima dell'intera computazione.
• Analisi della Copertura del Modello: Diagnosticare le lacune nella copertura dei dati di addestramento, in particolare tra le diverse lingue.
• Rilevamento dei Bias: Scoprire bias sistematici legati alla rappresentazione linguistica e al vocabolario.

Gli autori sottolineano che EMoE fornisce questi insight senza richiedere l'accesso ai dati di addestramento, reti ausiliarie o il costo computazionale dell'addestramento di ensemble di diffusione da zero. Notano le limitazioni, tra cui la necessità di un modello MoE pre-addestrato con componenti esperte diverse e il fatto che stima l'incertezza nello spazio latente piuttosto che fornire una decomposizione completa nello spazio dell'immagine dell'incertezza aleatoria ed epistemica. Il lavoro suggerisce che il disaccordo tra esperti nello spazio latente sia un segnale vitale ed efficiente per l'incertezza epistemica nelle moderne architetture di diffusione.