Technische Samenvatting: EMoE – Training-vrije Expert-discrepantie voor Onzekerheidsbewuste Tekst-naar-Beeld Diffusie

Probleemstelling

Grote tekst-naar-beeld diffusiemodellen, ondanks hun snelle vooruitgang in getrouwheid en snelheid, blijven opaak met betrekking tot hun onzekerheid. Ze missen betrouwbare signalen om aan te geven wanneer een prompt waarschijnlijk tot slecht uitgelijnde of onbetrouwbare generaties zal leiden, met name wanneer de trainingsdata niet openbaar is of incompleet is. Terwijl epistemische onzekerheid (onzekerheid voortvloeiend uit onvoldoende of niet-representatieve trainingsdata) een fundamentele manier biedt om deze faalmodi te identificeren, is het schatten van deze onzekerheid in hoogdimensionale generatieve settings een uitdaging. Standaard ensemble-gebaseerde benaderingen zijn computationeel te kostbaar, en bestaande methoden vereisen vaak extra training of hulpnetwerken, wat onpraktisch is voor grootschalige, vooraf getrainde modellen.

Methodologie: EMoE

De auteurs introduceren EMoE (Epistemic Mixture of Experts), een zero-shot, training-vrij framework ontworpen om epistemische onzekerheid te schatten binnen de latente ruimte van vooraf getrainde Mixture-of-Experts (MoE) diffusiemodellen.

Kernmechanisme

EMoE maakt gebruik van de inherente structuur van ijle (sparse) MoE-architecturen, waarbij meerdere gespecialiseerde "expert"-componenten binnen één enkel model bestaan. In plaats van de expert-outputs te aggregeren zoals standaard MoE-lagen dat doen, scheidt EMoE de expert-specifieke computationele paden bij de eerste ijle MoE-laag (gelegen in de eerste cross-attention laag van de eerste downsampling block).

1. Pad-scheiding: Voor een gegeven prompt $y$ en initiële ruis $z_T$, verwerkt het model de input via $M$ afzonderlijke expert-paden onafhankelijk van elkaar.
2. Ruiscontrole: Cruciaal is dat EMoE de zelfde initiële ruis $z_T$ gebruikt over alle expert-paden heen. Dit isoleert de variantie in de output tot de verschillen in de geleerde expert-representaties (epistemische discrepantie) in plaats van stochastische sampling-ruis (aleatorische onzekerheid).
3. Vroege Schatting: De methode extraheert de latente representaties ($m_{post}^T$) uit de mid-block van de U-Net na slechts de eerste denoising-stap.
4. Onzekerheidsmetriek: Epistemische onzekerheid $EU(y)$ wordt berekend als de genormaliseerde trace-covariantie van deze expert-geconditioneerde latente representaties:
   $$EU(y) = \frac{1}{D_{mid}} \sum_{d=1}^{D_{mid}} \text{Var}_{i=1,...,M} (m_{post}^T{}_{i,d})$$
   Dit meet effectief de gemiddelde gepaarde gekwadrateerde discrepantie tussen de expert-paden.

Implementatie details

• Zero-Shot: EMoE vereist geen extra training. Het maakt gebruik van vooraf getrainde MoE-checkpoints die afkomstig zijn van publieke repositories (bijv. Hugks Face, Civit AI).
• Dynamische Routing: Om experts te selecteren zonder een gating-module te trainen, leidt de methode gewichten af door de prompt-representatie te vergelijken met vooraf gedefinieerde positieve en negatieve descriptoren voor elke expert.
• Efficiëntie: Door de onzekerheid na een enkele stap te schatten, maakt EMoE vroege filtering of afzien (abstention) mogelijk vóór de volledige beeldgeneratie, waardoor de kosten van het genereren van meerdere volledige afbeeldingen worden vermeden.

Belangrijkste Bijdragen

1. Introductie van het Framework: EMoE wordt gepresenteerd als een zero-shot framework voor het schatten van epistemische onzekerheid in tekst-naar-beeld diffusiemodellen door MoE-representaties in de latente ruimte te ontkoppelen.
2. Afstemming met Kwaliteitsmetrieken: De auteurs demonstreren dat de onzekerheidsschattingen van EMoE overeenkomen met downstream tekst-beeld uitlijningskwaliteit (CLIP score, Aesthetic Score, Image Reward) op de COCO en CC3M datasets.
3. Meertalige Diagnostiek: De methode wordt toegepast op prompts in 25 talen, waarbij systematische, taalafhankelijke betrouwbaarheidsverschillen aan het licht komen. Het identificeert succesvol ondervertegenwoordigde taalinputs (bijv. Fins versus Engels) en fijnere lexicale effecten (bijv. termen met een gedeelde vocabulaire zoals "pizza" die de onzekerheid verminderen).
4. Robuustheid Validatie: Ablatie-studies bevestigen de robuustheid van de methode met betrekking tot ensemble-grootte, denoising-stap selectie, keuze van de latente ruimte en modelarchitectuur (getest op SegMoE en Runway ML MoE).

Resultaten

• In-distributie Prestaties: Op 40.000 Engelse COCO-prompts produceert EMoE een monotone relatie waarbij lagere onzekerheid correleert met hogere CLIP-scores, Aesthetic scores en Image Reward. Deze trend werd niet waargenomen bij baselines zoals DECU of Gating Entropy.
• Out-of-Distribution Detectie: Wanneer toegepast op Finse prompts (behandeld als out-of-distribution), detecteerde EMoE significant hogere onzekerheid vergeleken met Engelse prompts. Het behaalde een AUROC van 0.739 voor het onderscheiden van Fins van Engels, waarmee het DECU (0.571) en Gating Entropy (0.543) overtrof.
• Lexicale Sensitiviteit: De methode ving genuanceerde effecten op; Finse prompts die het gedeelde vocabulaire woord "pizza" bevatten, vertoonden een lagere onzekerheid (46,67% in het laagste kwartiel) vergeleken met willekeurige Finse prompts (21,54%), wat wijst op gevoeligheid voor specifieke gronding-capaciteiten.
• Meertalige Correlatie: Over 25 talen werd een sterke negatieve correlatie ($r = -0,79$) gevonden tussen de gemiddelde EMoE-onzekerheid en de gemiddelde CLIP-score. Talen met grotere inheemse populaties vertoonden over het algemeen lagere onzekerheid en hogere generatiekwaliteit.

Betekenis en Claims

Het artikel positioneert EMoE als een praktisch diagnostisch instrument voor:

• Prompt Risico-analyse: Het identificeren van prompts die waarschijnlijk onbetrouwbare generaties zullen opleveren vóór de volledige berekening.
• Model Dekking Analyse: Het diagnosticeren van gaten in de trainingsdata-dekking, met name over verschillende talen heen.
• Bias Detectie: Het blootleggen van systematische biases gerelateerd aan taalrepresentatie en vocabulaire.

De auteurs benadrukken dat EMoE deze inzichten biedt zonder toegang nodig te hebben tot trainingsdata, hulpnetwerken, of de computationele kosten van het vanaf nul trainen van diffusie-ensembles. Zij merken beperkingen op, waaronder de vereiste van een vooraf getraind MoE-model met diverse expert-componenten en het feit dat het onzekerheid schat in de latente ruimte in plaats van een volledige decompositie van aleatorische en epistemische onzekerheid in de beeldruimte te bieden. Het werk suggereert dat latent-ruimte expert-discrepantie een levensvatbaar en efficiënt signaal is voor epistemische onzekerheid in moderne diffusie-architecturen.