Technische Samenvatting: GICDM – Hubness Mitigeren voor Betrouwbare Afstandsgedreven Evaluatie van Generatieve Modellen

1. Probleemstelling

De evaluatie van generatieve modellen vertrouwt vaak op hoogdimensionale inbeddingsruimten (bijv. InceptionV3, DINOv2, CLAP) om afstanden tussen echte en synthetische samples te berekenen. Deze hoogdimensionale ruimten zijn echter vatbaar voor het hubness-fenomeen, een gevolg van de vloek van de dimensionaliteit.

In hoge dimensies worden nabijheidsrelaties sterk asymmetrisch. Bepaalde punten, hubs genoemd, verschijnen onevenredig vaak als de dichtstbijzijnde buren van andere punten, zelfs wanneer ze semantisch niet gerelateerd zijn. Omgekeerd verschijnen veel punten, antihubs genoemd, nooit als dichtstbijzijnde buren. Deze vervorming maakt de aanname ongeldig dat nabijheid semantische gelijkenis impliceert.

Het artikel toont aan dat hubness standaard afstandsgebaseerde betrouwbaarheids- en dekkingmetrieken (bijv. Precision, Recall, Density, Coverage) ernstig beïnvloedt. Specifiek:

• Valse Betrouwbaarheid: gegenereerde "hub"-punten lijken kunstmatig dicht bij veel echte punten, waardoor betrouwbaarheidsscores worden opgeblazen.
• Valse Dekking: Echte punten in "antihub"-regio's fungeren als blinde vlekken en ontvangen nul betrouwbaarheidsscores van gegenereerde samples.
• Mislukking van Metrieken: In scenario's waar de verdelingen van echte en gegenereerde data disjunct zijn (bijv. mengsels van hypersferen met verwisselde stralen), leveren standaard metrieken in hoge dimensies onterecht niet-nul scores op, waardoor het gebrek aan overlap niet wordt gedetecteerd.

Bestaande metrieken gaan vaak uit van normaliteit of vertrouwen op eenvoudige verdelingsbenaderingen die deze structurele vervormingen in de inbeddingsruimte niet in aanmerking nemen.

2. Methodologie: GICDM

De auteurs stellen Generative ICDM (GICDM) voor, een methode die specifiek is ontworpen om hubness te mitigeren voor de evaluatie van generatieve modellen. GICDM breidt de klassieke Iterative Contextual Dissimilarity Measure (ICDM) (Jégou et al., 2010) uit, die eerder werd verworpen voor generatieve evaluatie vanwege computatiedemands en gebrek aan behandeling van out-of-sample data.

GICDM werkt volgens drie kernvereisten:

1. Uniformiseren van de Dichtheid van Echte Data: Hubness in de echte dataset verminderen zodat nabijheidsrelaties betekenisvol en symmetrisch zijn.
2. Behoud van Relatieve Positie: De ware lokale geometrische structuur tussen gegenereerde punten en het manifold van de echte data behouden.
3. Conditionele Onafhankelijkheid: Zorgen dat de evaluatie van een gegenereerd punt uitsluitend afhangt van zijn relatie tot de echte set, en niet van andere gegenereerde punten.

Algorithmische Stappen

1. ICDM op Echte Data: Het ICDM-algoritme wordt iteratief toegepast op de set van echte datapunten $\{x^r_i\}$. Dit proces berekent schalingsfactoren $\{\delta^r_i\}$ die de lokale dichtheid van het manifold van de echte data effectief afvlakken. De updateregel schaalt iteratief afstanden om de gemiddelde buurafstand voor alle punten te egaliseren, convergerend naar een toestand waar lokale dichtheidsschattingen uniform zijn.
2. Out-of-Sample Schalingsfactor voor Gegenereerde Punten: Voor elk gegenereerd punt $x^g_j$ wordt onafhankelijk een schalingsfactor $\delta^g_j$ berekend. Dit wordt afgeleid door te eisen dat de gemiddelde buurafstand van het gegenereerde punt (relatief tot de geschaalde echte buren) overeenkomt met de evenwichtsgemiddelde afstand van de echte data.
   $$\delta^g_j = \frac{\mu_{r,eq}}{\frac{1}{K+1} \sum_{k=1}^{K+1} \delta^r_{NN^{eq}_k(x^g_j)} d(x^g_j, NN^{eq}_k(x^g_j))}$$
   Hierbij wordt $K+1$ gebruikt in plaats van $K$ om rekening te houden met het feit dat het gegenereerde punt geen deel uitmaakt van de echte set.
3. Multischaal Filtering: Om overcorrectie te voorkomen, hanteert de methode een filterstrategie. Als de berekende schalingsfactor $\delta^g_j$ van een gegenereerd punt significant afwijkt van de gemiddelde schaling van zijn echte buren, wordt het gemarkeerd als buiten het manifold van de echte data vallend.
   • De filtering wordt uitgevoerd op meerdere schalen (met twee verschillende buurgroottes, bijv. $K_1$ en $K_2$). Dit adresseert het "crossover-regime" waar, in specifieke dimensies en dichtheden, punten buiten het manifold per ongeluk afstanden kunnen hebben die lijken op die van punten binnen het manifold.
   • Punten die het filter niet halen, krijgen een betrouwbaarheid van nul en dragen niet bij aan de dekking.

De uiteindelijke dissimilariteit tussen een echt punt $x^r_i$ en een gegenereerd punt $x^g_j$ wordt gedefinieerd als:
$$\text{GICDM}(x^r_i, x^g_j) = d(x^r_i, x^g_j) \cdot \delta^r_i \cdot \delta^g_j$$

3. Belangrijkste Bijdragen

• Aantonen van Hubness in Inbeddings: Het artikel toont empirisch aan dat veelgebruikte inbeddingsruimten voor evaluatie van generatieve modellen (VGG16, InceptionV3, DINOv2, DINOv3, CLAP) aanzienlijke hubness vertonen, waarbij de top 1% van de punten 4–16 keer vaker als buren verschijnt dan gemiddeld, en 10–30% van de punten fungeert als antihubs.
• Heropleving van ICDM: De auteurs tonen aan dat de Iterative Contextual Dissimilarity Measure (ICDM), die eerder werd genegeerd ten gunste van de niet-iteratieve NICDM, consequent beter presteert dan andere hubness-reductiemethoden (inclusief CSLS, DSL en Sferische projectie) over 17 dataset-inbeddingscombinaties.
• GICDM Framework: De introductie van een op maat gemaakt algoritme dat ICDM toepast op echte data, terwijl het out-of-sample gegenereerde punten behandelt via onafhankelijke schaling en multischaal filtering.
• Validatie via Benchmark: Uitgebreide tests op synthetische benchmarks (Räsä et al., 2025) en real-world datasets (CIFAR-10, ImageNet, LSUN, FFHQ) tonen aan dat GICDM metriekmislukkingen veroorzaakt door hubness oplost.

4. Experimentele Resultaten

• Synthetische Benchmarks: Op de benchmark voorgesteld door Räsä et al. (2025) verbeterde GICDM de prestaties van standaard metrieken aanzienlijk. Bijvoorbeeld: Clipped Density slaagde voor 23 criteria (een stijging van 18) en Clipped Coverage slaagde voor 22 (een stijging van 18). Cruciaal corrigeerde GICDM de "Hypersphere Test", waarbij disjuncte verdelingen eerder door hubness niet-nul scores opleverden; met GICDM bleven de scores correct op nul.
• Menselijke Correlatie: Bij evaluatie tegen menselijke foutpercentages (discriminatie van echte versus gegenereerde afbeeldingen) behield of verbeterde GICDM de Pearson-correlatie van Clipped Density (de best presterende metriek). Deze verbetering was het meest uitgesproken voor DINOv3-inbeddings, die zwaar worden beïnvloed door hubness.
• Classifier-Free Guidance: In experimenten met DiT-XL-2 op ImageNet suggereerden standaard metrieken onterecht dat classifier-free guidance zowel de betrouwbaarheid als de dekking verhoogde. GICDM corrigeerde dit, door een toename in betrouwbaarheid maar een afname in dekking te tonen, wat overeenkomt met theoretische verwachtingen.
• Kwalitatieve Analyse: Visualisaties van LSUN Bedroom-data toonden aan dat de meest frequente gegenereerde hub voor correctie in 64 echte buurwijken voorkwam, wat daalde naar 4 na GICDM. De resterende buren waren semantisch meer vergelijkbaar met de hub, wat wijst op een herstelde buurstructuur.

5. Betekenis en Beperkingen

Het artikel stelt dat GICDM een betrouwbaardere en meer betrouwbare evaluatie van generatieve modellen in hoogdimensionale ruimten mogelijk maakt door mislukkingen veroorzaakt door het hubness-fenomeen op te lossen. Het herstelt de geldigheid van afstandsgebaseerde metrieken, zodat deze beter overeenkomen met menselijke beoordeling en theoretische verwachtingen.

Bescheiden Claims en Beperkingen:

• Afhankelijkheid van Robuustheid: De auteurs stellen expliciet dat de effectiviteit van GICDM afhankelijk is van de onderliggende metriek die robuust is tegen echte outliers. Metrieken zoals Clipped Density en Clipped Coverage, die de invloed van individuele punten beperken, profiteren het meest. Niet-robuste metrieken (bijv. standaard Precision, Density) verbeteren mogelijk niet of kunnen zelfs verslechteren in correlatie met menselijke scores wanneer GICDM wordt toegepast.
• Geen Afstandsmetriek: GICDM is een dissimilariteitsmaat die de driehoeksongelijkheid niet volgt. De auteurs betogen echter dat dit acceptabel is voor generatieve evaluatie, die primair vereist dat buren worden gerangschikt en dat lidmaatschap van buurwijken wordt bepaald, operaties die de driehoeksongelijkheid niet strikt vereisen.
• Berekeningskosten: Hoewel GICDM overhead toevoegt (iteratieve ICDM en schalingsberekeningen), is de complexiteit $O(N(TN + M))$, wat vergelijkbaar is met de brute-force $O(N^2)$ afstandsberekeningen die al vereist zijn voor hoogdimensionale zoekopdrachten naar dichtstbijzijnde buren.

Concluderend stelt het artikel dat hubness een fundamentele, vaak over het hoofd geziene oorzaak is van metriekmislukkingen bij de evaluatie van generatieve modellen en dat GICDM een noodzakelijke correctie biedt om de betrouwbaarheid van deze evaluaties te herstellen.