Résumé technique : GICDM – Atténuation de l'effet hub pour une évaluation fiable des modèles génératifs basés sur la distance

1. Énoncé du problème

L'évaluation des modèles génératifs repose fréquemment sur des espaces d'encodage de haute dimension (par exemple, InceptionV3, DINOv2, CLAP) pour calculer les distances entre les échantillons réels et synthétiques. Cependant, ces espaces de haute dimension sont vulnérables au phénomène de hubness, une conséquence de la malédiction de la dimensionnalité.

Dans les hautes dimensions, les relations de plus proches voisins deviennent hautement asymétriques. Certains points, appelés hubs, apparaissent de manière disproportionnée comme les plus proches voisins d'autres points, même lorsqu'ils ne sont pas sémantiquement liés. À l'inverse, de nombreux points, appelés anti-hubs, n'apparaissent jamais comme plus proches voisins. Cette distorsion invalide l'hypothèse selon laquelle la proximité implique une similarité sémantique.

L'article démontre que le hubness biaise sévèrement les métriques de fidélité et de couverture standard basées sur la distance (par exemple, Précision, Rappel, Densité, Couverture). Plus précisément :

• Fausse fidélité : Les points « hubs » générés apparaissent artificiellement proches de nombreux points réels, gonflant les scores de fidélité.
• Fausse couverture : Les points réels situés dans des régions « anti-hub » agissent comme des angles morts, recevant des scores de fidélité nuls de la part des échantillons générés.
• Échec des métriques : Dans des scénarios où les distributions réelles et générées sont disjointes (par exemple, des mélanges d'hypersphères avec des rayons échangés), les métriques standard produisent incorrectement des scores non nuls en haute dimension, échouant à détecter l'absence de chevauchement.

Les métriques existantes supposent souvent une normalité ou reposent sur des approximations distributionnelles simples qui ne tiennent pas compte de ces distorsions structurelles dans l'espace d'encodage.

2. Méthodologie : GICDM

Les auteurs proposent le GICDM (Generative ICDM), une méthode conçue pour atténuer le hubness spécifiquement pour l'évaluation des modèles génératifs. Le GICDM étend la mesure de dissimilarité contextuelle itérative classique (ICDM) (Jégou et al., 2010), qui avait précédemment été écartée pour l'évaluation générative en raison de préoccupations computationnelles et de l'absence de gestion des points hors échantillon.

Le GICDM opère selon trois desiderata clés :

1. Uniformiser la densité des données réelles : Réduire le hubness dans l'ensemble de données réel afin que les relations de plus proches voisins soient significatives et symétriques.
2. Préserver le positionnement relatif : Maintenir la structure géométrique locale réelle entre les points générés et la variété des données réelles.
3. Indépendance conditionnelle : Garantir que l'évaluation d'un point généré dépend uniquement de sa relation avec l'ensemble réel, et non d'autres points générés.

Étapes algorithmiques

1. ICDM sur les données réelles : L'algorithme ICDM est appliqué itérativement à l'ensemble des points de données réels $\{x^r_i\}$. Ce processus calcule des facteurs d'échelle $\{\delta^r_i\}$ qui aplatisent efficacement la densité locale de la variété des données réelles. La règle de mise à jour met à l'échelle itérativement les distances pour égaliser la distance moyenne aux voisins pour tous les points, convergeant vers un état où les estimations de densité locale sont uniformes.
2. Mise à l'échelle hors échantillon pour les points générés : Pour chaque point généré $x^g_j$, un facteur d'échelle $\delta^g_j$ est calculé indépendamment. Cela est dérivé en imposant que la distance moyenne aux voisins du point généré (par rapport aux voisins réels mis à l'échelle) corresponde à la distance moyenne d'équilibre des données réelles.
   $$\delta^g_j = \frac{\mu_{r,eq}}{\frac{1}{K+1} \sum_{k=1}^{K+1} \delta^r_{NN^{eq}_k(x^g_j)} d(x^g_j, NN^{eq}_k(x^g_j))}$$
   Ici, $K+1$ est utilisé au lieu de $K$ pour tenir compte du fait que le point généré ne fait pas partie de l'ensemble réel.
3. Filtrage multi-échelle : Pour prévenir une surcorrection, la méthode emploie une stratégie de filtrage. Si le facteur d'échelle calculé $\delta^g_j$ d'un point généré s'écarte significativement de la mise à l'échelle moyenne de ses voisins réels, il est signalé comme étant en dehors de la variété des données réelles.
   • Le filtrage est effectué à plusieurs échelles (en utilisant deux tailles de voisinage différentes, par exemple $K_1$ et $K_2$). Cela aborde le « régime de croisement » où, dans des dimensions et densités spécifiques, des points hors variété peuvent coïncider avoir des distances similaires à celles des points dans la variété.
   • Les points échouant le filtre se voient attribuer une fidélité nulle et ne contribuent pas à la couverture.

La dissimilarité finale entre un point réel $x^r_i$ et un point généré $x^g_j$ est définie comme suit :
$$\text{GICDM}(x^r_i, x^g_j) = d(x^r_i, x^g_j) \cdot \delta^r_i \cdot \delta^g_j$$

3. Contributions clés

• Démonstration du hubness dans les encodages : L'article montre empiriquement que les espaces d'encodage couramment utilisés pour l'évaluation des modèles génératifs (VGG16, InceptionV3, DINOv2, DINOv3, CLAP) présentent un hubness significatif, les 1 % supérieurs des points apparaissant 4 à 16 fois plus fréquemment comme voisins que la moyenne, et 10 à 30 % des points agissant comme anti-hubs.
• Renaissance de l'ICDM : Les auteurs démontrent que la mesure de dissimilarité contextuelle itérative (ICDM), précédemment négligée au profit du NICDM non itératif, surpasse systématiquement les autres méthodes de réduction du hubness (y compris CSLS, DSL et la projection sphérique) sur 17 combinaisons d'ensembles de données et d'encodages.
• Cadre GICDM : L'introduction d'une méthode sur mesure qui applique l'ICDM aux données réelles tout en gérant les points générés hors échantillon via une mise à l'échelle indépendante et un filtrage multi-échelle.
• Validation par des benchmarks : Tests extensifs sur des benchmarks synthétiques (Räsä et al., 2025) et des ensembles de données réels (CIFAR-10, ImageNet, LSUN, FFHQ) montrant que le GICDM résout les échecs de métriques causés par le hubness.

4. Résultats expérimentaux

• Benchmarks synthétiques : Sur le benchmark proposé par Räsä et al. (2025), le GICDM a considérablement amélioré les performances des métriques standard. Par exemple, la Densité tronquée a satisfait 23 critères (contre 18 précédemment) et la Couverture tronquée en a satisfait 22 (contre 18). Crucialement, le GICDM a corrigé le « Test d'hypersphère », où des distributions disjointes produisaient précédemment des scores non nuls en raison du hubness ; avec le GICDM, les scores sont correctement restés à zéro.
• Corrélation humaine : Lorsqu'évalué contre les taux d'erreur humains (discrimination d'images réelles vs générées), le GICDM a maintenu ou amélioré la corrélation de Pearson de la Densité tronquée (la métrique la mieux performante). Cette amélioration était la plus prononcée pour les encodages DINOv3, qui sont fortement affectés par le hubness.
• Guidage sans classifieur : Dans des expériences avec DiT-XL-2 sur ImageNet, les métriques standard suggéraient incorrectement que le guidage sans classifieur augmentait à la fois la fidélité et la couverture. Le GICDM a corrigé cela, montrant une fidélité accrue mais une couverture diminuée, s'alignant avec les attentes théoriques.
• Analyse qualitative : Les visualisations des données LSUN Bedroom ont montré que le hub généré le plus fréquent apparaissait dans 64 voisinages réels avant correction, chutant à 4 après le GICDM. Les voisins restants étaient sémantiquement plus similaires au hub, indiquant une structure de voisinage restaurée.

5. Importance et limites

L'article affirme que le GICDM permet une évaluation plus fiable et digne de confiance des modèles génératifs dans les espaces de haute dimension en résolvant les échecs induits par le phénomène de hubness. Il restaure la validité des métriques basées sur la distance, garantissant qu'elles s'alignent mieux avec l'évaluation humaine et les attentes théoriques.

Affirmations modestes et limites :

• Dépendance à la robustesse : Les auteurs déclarent explicitement que l'efficacité du GICDM dépend de la robustesse de la métrique sous-jacente aux valeurs aberrantes réelles. Les métriques comme la Densité tronquée et la Couverture tronquée, qui limitent l'influence des points individuels, bénéficient le plus. Les métriques non robustes (par exemple, Précision standard, Densité) peuvent ne pas s'améliorer ou même voir leur corrélation avec les scores humains se dégrader lorsque le GICDM est appliqué.
• Pas une métrique de distance : Le GICDM est une mesure de dissimilarité qui ne respecte pas l'inégalité triangulaire. Cependant, les auteurs soutiennent que cela est acceptable pour l'évaluation générative, qui nécessite principalement le classement des voisins et la détermination de l'appartenance au voisinage, des opérations qui n'exigent pas strictement l'inégalité triangulaire.
• Coût computationnel : Bien que le GICDM ajoute une surcharge (ICDM itératif et calculs de mise à l'échelle), la complexité est $O(N(TN + M))$, ce qui est comparable aux calculs de distance par force brute $O(N^2)$ déjà requis pour les recherches de plus proches voisins en haute dimension.

En conclusion, l'article postule que le hubness est une cause fondamentale, souvent négligée, d'échec des métriques dans l'évaluation des modèles génératifs et que le GICDM fournit une correction nécessaire pour restaurer la fiabilité de ces évaluations.