Technische Samenvatting: APEX (Assumption-free Projection-based Embedding eXamination)

1. Probleemstelling

De evaluatie van generatieve modellen heeft een kritiek punt bereikt waar traditionele metrieken moeite hebben om gelijke tred te houden met de ongekende visuele fideliteit van moderne synthese. Huidige gouden standaarden, zoals de Fréchet Inception Distance (FID) en Kernel Inception Distance (KID), staan voor twee fundamentele beperkingen:

1. Closed-Vocabulary Bottleneck: Deze metrieken vertrouwen op feature-extractoren (bijv. Inception-v3) die uitsluitend zijn getraind op ImageNet. Bijgevolg missen ze de semantische rijkdom en open-wereld-uitlijning die nodig zijn om moderne multimodale modellen of diverse domeinen zoals medische beeldvorming en remote sensing te evalueren.
2. Assumptive Bias: Bestaande metrieken zijn afhankelijk van rigide statistische formuleringen. FID gaat ervan uit dat echte en synthetische embeddings Gaussische verdelingen volgen – een hypothese die empirisch onjuist is gebleken voor hoogdimensionale, multimodale latente ruimtes. KID vertrouwt op Maximum Mean Discrepancy (MMD) met polynomiale kernels, wat een extreme gevoeligheid introduceert voor de selectie van kernel-hyperparameters.

Hoewel recente alternatieven Inception-v3 hebben vervangen door foundation modellen (bijv. CLIP, DINOv2) om de feature-bottleneck aan te pakken, behouden ze vaak de problematische statistische aannames (bijv. CMMD gebruikt nog steeds MMD), waardoor het veld zonder een robuust, aannames-vrij evaluatiekader blijft.

2. Methodologie

De auteurs stellen APEX (Assumption-free Projection-based Embedding eXamination) voor, een kader dat is ontworpen om beeldkwaliteit te meten door verdelingen van embeddings te vergelijken zonder te vertrouwen op parametrische aannames of kernel-tuning.

Kerncomponenten

• Feature Extractie: APEX is embedding-agnostisch, maar maakt primair gebruik van twee state-of-the-art foundation modellen:
  • CLIP (Contrastive Language–Image Pretraining): Biedt hoog-niveau semantische uitlijning met natuurlijke taal.
  • DINOv2 (Knowledge DIstillation with NO labels): Biedt fijnmazige visuele structuur (textuur, vorm, ruimtelijke lay-out) via zelftoezichtend leren.
  • Implementatie: APEX-CLIP gebruikt 768-dimensionale [CLS]-tokens. APEX-DINO concateneert [CLS]-tokens uit lagen 6, 12 en 23 van DINOv2 ViT-L/14 om een 3.072-dimensionale representatie te vormen, wat multi-schaal visuele abstracties vastlegt.
• Afstandsmetriek (Sliced Wasserstein Distance - SWD): In plaats van parametrische verdelingen te fitten of kernel-methoden te gebruiken, berekent APEX de SWD.
  • Mechanisme: SWD benadert de 2-Wasserstein-afstand door hoogdimensionale verdelingen te projecteren op willekeurige 1D-lijnen (richtingen $\theta$) en de Wasserstein-afstand op deze projecties te berekenen.
  • Voordelen: Het is wiskundig onderbouwd, aannames-vrij (geen Gaussische of kernel-aannames) en computationeel efficiënt ($O(N \log N)$) in vergelijking met de kwadratische kosten van MMD.
• Monte Carlo-benadering: De integraal over de eenheidssfeer wordt benaderd door het gemiddelde van $L$ willekeurige projecties. De auteurs bepalen theoretisch en empirisch dat $L=500$ een stabiel compromis biedt tussen schattingsnauwkeurigheid en computationele kosten.

Theoretische Garanties

Het artikel biedt een theoretische grens (Stelling 1) die bewijst dat de schattingsfout van de gekwadrateerde SWD wordt gecontroleerd door het aantal projecties $L$. De grens hangt af van de intrinsieke dimensie $k$ van het manifold waar embeddings in verblijven en de diameter $D$ van het manifold, maar is onafhankelijk van de omringende dimensie $d$. Dit rechtvaardigt de schaalbaarheid van SWD in hoogdimensionale ruimtes.

3. Belangrijkste Bijdragen

1. Audit van Bestaande Metrieken: Een systematische analyse van faalmodi in huidige metrieken, met de nadruk op hun gevoeligheid voor backbone-keuzes, distributie-aannames, kernel-configuraties en cross-domein verschuivingen.
2. APEX Kader: Introductie van een projectie-gebaseerd evaluatiekader dat foundation modellen (CLIP/DINOv2) combineert met SWD om rigide parametrische aannames en afhankelijkheden van kernel-hyperparameters te elimineren.
3. Stabiliteitsanalyse: Theoretisch en empirisch onderzoek naar het aantal projecties dat nodig is voor een stabiele SWD-schatting, waarbij $L=500$ wordt geïdentificeerd als het optimale punt voor convergentie.
4. Uitgebreide Benchmarking: Een uitgebreid evaluatieprotocol dat vijf heterogene domeinen bestrijkt (natuurlijke beelden, gezichten, dermoscopie, radiografie, remote sensing), waarbij robuustheid wordt getest tegen pixel/latent-degradaties, eindige-steekproefstabiliteit en generatieve verfijning.
5. Menselijke Uitlijning: Een toegewijd perceptueel onderzoek dat aantoont dat APEX sterk correleert met menselijke oordelen, concurrerend met de sterkste baselines.

4. Experimentele Resultaten

De evaluatie vergelijkt APEX met FID, KID, CMMD en DINO+MMD over meerdere criteria:

• Intra- en Cross-Dataset Stabiliteit:
  • Intra-dataset: APEX-varianten vertonen een lage bias bij eindige steekproeven en een lage variatiecoëfficiënt (CV $\le$ 0,06), en presteren beter dan KID en DINO+MMD (die lijden onder hoge variantie ondanks onbevooroordeelde gemiddelden) en FID (dat vertrouwt op gladde Gaussische fits).
  • Cross-dataset: APEX bereikt de laagste cross-domein consistentiefout ($\Lambda$), wat aangeeft dat zijn degradatiesignalen consistenter zijn over diverse domeinen (bijv. medisch versus natuurlijke beelden) in vergelijking met foundation-model-gebaseerde baselines zoals CMMD.
• Degradatiegevoeligheid: APEX toont monotoon gevoeligheid voor progressieve verstoringen (ruis, wazigheid, compressie, latent vervormingen) over alle domeinen. In tegenstelling hiermee vertonen baselines vaak niet-monotone fluctuaties of domeinspecifieke falen.
• Generatieve Verfijning: Tijdens het denoisen-proces van Stable Diffusion vertoont APEX-CLIP de meest significante daling in afstandsscores tijdens de laatste verfijningsstappen, wat wijst op een hogere gevoeligheid voor subtiele perceptuele verbeteringen dan FID of KID.
• Menselijke Correlatie: In een studie met 10.850 geannoteerde beelden behaalde APEX-CLIP een Spearman $\rho$ van 0,844, wat bijna gelijkstaat aan FID (0,847) en aanzienlijk beter presteert dan CMMD (0,813) en DINO+MMD (0,651). Dit suggereert dat de projectie-gebaseerde aanpak meer perceptueel relevante informatie uit dezelfde embedding-ruimte haalt.
• Efficiëntie: Hoewel feature-extractie de runtime domineert, schaalt de afstandsberekening voor APEX als $O(N \log N)$, waardoor de prohibitieve $O(N^2)$-overhead van op MMD gebaseerde methoden wordt omzeild.

5. Betekenis en Claims

Het artikel beweert dat APEX de "closed-vocabulary"- en "assumptive bias"-bottlenecks aanpakt die de huidige beeldkwaliteitsbeoordeling belemmeren. Door gebruik te maken van de Sliced Wasserstein Distance binnen de latente ruimtes van foundation modellen, biedt APEX:

• Robuustheid: Superieure stabiliteit over diverse domeinen en onder verschillende beelddegradaties.
• Betrouwbaarheid: Hoge correlatie met menselijke perceptie zonder rigide statistische aannames.
• Schaalbaarheid: Efficiële berekening geschikt voor hoogdimensionale embedding-ruimtes.

De auteurs positioneren APEX niet als vervanging voor alle bestaande metrieken, maar als een principieel, aannames-vrij alternatief dat een stabielere en flexibeler basislijn biedt voor het evalueren van de volgende generatie generatieve modellen. Ze erkennen beperkingen, met name dat de prestaties nog steeds afhankelijk zijn van de kwaliteit van de onderliggende embedding-ruimte en dat de totale kosten worden gedomineerd door feature-extractie, met name voor de hoogdimensionale APEX-DINO-variant. Voor toekomstig werk wordt voorgesteld om adaptieve projectiestrategieën en uitbreidingen naar bredere multimodale modellen te verkennen.