🤖 AI

APEX: Assumption-free Projection-based Embedding eXamination Metric for Image Quality Assessment

APEX est un cadre d'évaluation de la qualité d'image novateur et sans hypothèses qui exploite la distance de Wasserstein tranchée avec des modèles de base à vocabulaire ouvert (CLIP et DINOv2) pour surmonter les limites des métriques traditionnelles de distribution de caractéristiques, offrant une robustesse et une stabilité supérieures sur des ensembles de données diversifiés.

Auteurs originaux : Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un juge dans un concours de cuisine. Les chefs (les modèles d'IA générative) créent de nouveaux plats incroyables (des images) qui ressemblent presque à s'y méprendre à de la vraie nourriture. Votre travail consiste à les goûter et à décider : « Ce plat est-il bon ? Est-il meilleur que le précédent ? »

Pendant longtemps, les juges ont utilisé une vieille liste de contrôle rigide pour noter ces plats. Ils examinaient les ingrédients (les pixels) et vérifiaient s'ils correspondaient à une recette spécifique d'un livre de cuisine des années 1990 (Inception-v3 entraîné sur ImageNet).

Le Problème :
L'article soutient que cette vieille liste de contrôle présente deux défauts majeurs :

Le problème du « Menu Fermé » : L'ancienne liste de contrôle ne connaît que les ingrédients trouvés dans son livre de cuisine spécifique des années 1990. Si un chef prépare un plat futuriste avec des ingrédients que l'ancien livre n'a jamais vus, la liste de contrôle se trompe ou attribue une mauvaise note, même si le plat est délicieux.
Le problème de la « Mathématique Rigide » : L'ancienne liste de contrôle suppose que tous les plats suivent une forme parfaite et prévisible de courbe en cloche. Mais la vraie cuisine (et les vraies images générées par l'IA) est désordonnée et complexe. Forcer une réalité désordonnée dans une forme rigide conduit à de mauvaises notes.

Récemment, certains juges ont essayé d'utiliser un livre de cuisine plus récent et plus sophistiqué (des Modèles Fondationnels comme CLIP et DINOv2) pour comprendre les ingrédients modernes. Mais ils ont continué à utiliser la même mathématique rigide pour les noter. C'est comme avoir un menu moderne mais continuer à utiliser une règle des années 1990 qui se plie dans le mauvais sens.

La Solution : APEX

Les auteurs présentent APEX (Assumption-free Projection-based Embedding eXamination). Imaginez APEX comme un nouveau système de jugement ultra-intelligent doté de deux super-pouvoirs principaux :

1. L'astuce du « Ombre chinoise » (Basée sur la projection)
Au lieu d'essayer de mesurer toute la forme 3D d'un plat d'un coup (ce qui est difficile et nécessite des hypothèses rigides), APEX utilise une astuce ingénieuse. Imaginez projeter la lumière sur une sculpture complexe pour en faire l'ombre sur un mur.

APEX projette la lumière sous des milliers d'angles différents (projections).
Il mesure l'ombre (la tranche 1D) à chaque fois.
Il moyenne toutes ces ombres pour obtenir une vraie idée de la forme.
Pourquoi cela compte : Cette méthode ne suppose pas que la sculpture est une sphère ou un cube parfait. Elle mesure simplement la forme telle qu'elle est réellement, peu importe son étrangeté ou sa complexité. Elle est « sans hypothèses ».

2. Le « Traducteur Universel » (Modèles Fondationnels)
Au lieu d'utiliser l'ancien livre de cuisine des années 1990, APEX utilise deux traducteurs modernes et ultra-intelligents :

CLIP : Un traducteur qui comprend comment les images se rapportent au langage (excellent pour « Est-ce que cela ressemble à un chat ? »).
DINOv2 : Un traducteur qui comprend les textures, les formes et les détails fins (excellent pour « Est-ce que cette fourrure semble réaliste ? »).
APEX utilise ces traducteurs pour comprendre la « saveur » de l'image, puis utilise l'astuce de l'« Ombre chinoise » pour comparer l'image générée aux images réelles.

Ce que l'article a découvert (Le test de goût)

Les auteurs ont soumis APEX à l'épreuve face aux anciens juges (FID, KID) et aux juges plus récents mais toujours rigides (CMMD). Ils les ont testés sur :

Des photos naturelles (comme un parc).
Des visages (comme une célébrité).
Des scanners médicaux (comme une radiographie).
Des photos satellites (comme une vue d'une ville depuis l'espace).

Les Résultats :

Stabilité : Les anciens juges étaient comme une main tremblante ; si vous leur montriez la même image deux fois avec un tout petit changement, ils pouvaient donner des notes radicalement différentes. APEX était stable et constant, comme un roc.
Équité entre les domaines : Les anciens juges étaient excellents pour noter les visages mais terribles pour noter les radiographies ou les photos satellites. APEX était également bon pour juger tous ces types d'images. Il ne se perdait pas avec le changement de sujet.
Sensibilité : Lorsque les chefs de l'IA amélioraient lentement leurs plats (ajoutant plus de détails étape par étape), APEX était le seul à remarquer les améliorations minuscules et subtiles à la toute fin. Les anciens juges restaient souvent bloqués ou pensaient même que le plat s'était détérioré alors qu'il s'était amélioré.
Accord humain : Lorsque de vrais humains notaient les images, les scores d'APEX correspondaient presque parfaitement aux opinions humaines, souvent mieux que la « norme d'or » établie (FID).

La Conclusion

L'article affirme que APEX est une meilleure façon de noter les images générées par l'IA car il cesse de forcer les images dans d'anciennes boîtes rigides. Au lieu de cela, il utilise des outils modernes et flexibles pour examiner les images sous tous les angles possibles, garantissant que la note reflète ce que l'image ressemble réellement, qu'il s'agisse d'un visage, d'une tumeur ou d'une vue satellite. C'est un juge plus honnête, plus stable et mieux aligné avec l'humain pour l'avenir de l'art généré par l'IA.

Résumé Technique : APEX (Examen d'Encapsulations par Projection sans Hypothèse)

1. Énoncé du Problème

L'évaluation des modèles génératifs a atteint un tournant critique où les métriques traditionnelles peinent à suivre le rythme de la fidélité visuelle sans précédent de la synthèse moderne. Les références actuelles, telles que la distance Fréchet Inception (FID) et la distance Inception par noyau (KID), font face à deux limitations fondamentales :

Goulot d'étranglement du vocabulaire fermé : Ces métriques reposent sur des extracteurs de caractéristiques (par exemple, Inception-v3) entraînés exclusivement sur ImageNet. Par conséquent, elles manquent de la richesse sémantique et de l'alignement avec le monde ouvert nécessaires pour évaluer les modèles multimodaux modernes ou des domaines diversifiés tels que l'imagerie médicale et la télédétection.
Biais assumptif : Les métriques existantes dépendent de formulations statistiques rigides. La FID suppose que les encapsulations réelles et synthétiques suivent des distributions gaussiennes — une hypothèse empiriquement prouvée incorrecte pour les espaces latents de haute dimension et multimodaux. La KID repose sur la divergence maximale de moyenne (MMD) avec des noyaux polynomiaux, ce qui introduit une sensibilité extrême au choix des hyperparamètres du noyau.

Bien que des alternatives récentes aient remplacé Inception-v3 par des modèles de fondation (par exemple, CLIP, DINOv2) pour résoudre le goulot d'étranglement des caractéristiques, elles conservent souvent les hypothèses statistiques problématiques (par exemple, la CMMD utilise toujours la MMD), laissant le domaine sans cadre d'évaluation robuste et sans hypothèse.

2. Méthodologie

Les auteurs proposent APEX (Examen d'Encapsulations par Projection sans Hypothèse), un cadre conçu pour mesurer la qualité des images en comparant des distributions d'encapsulations sans s'appuyer sur des hypothèses paramétriques ou sur un réglage de noyaux.

Composants Principaux

Extraction de Caractéristiques : APEX est agnostique aux encapsulations mais utilise principalement deux modèles de fondation de pointe :
- CLIP (Pré-entraînement Contraste Texte-Image) : Fournit un alignement sémantique de haut niveau avec le langage naturel.
- DINOv2 (Distillation de Connaissance Sans Labels) : Offre une structure visuelle fine (texture, forme, agencement spatial) via un apprentissage auto-supervisé.
- Implémentation : APEX-CLIP utilise des jetons [CLS] de 768 dimensions. APEX-DINO concatène les jetons [CLS] des couches 6, 12 et 23 de DINOv2 ViT-L/14 pour former une représentation de 3 072 dimensions, capturant des abstractions visuelles multi-échelles.
Métrique de Distance (Distance de Wasserstein Tranchée - SWD) : Au lieu d'ajuster des distributions paramétriques ou d'utiliser des méthodes par noyaux, APEX calcule la SWD.
- Mécanisme : La SWD approxime la distance de Wasserstein 2 en projetant des distributions de haute dimension sur des lignes aléatoires 1D (directions $\theta$ ) et en calculant la distance de Wasserstein sur ces projections.
- Avantages : Elle est mathématiquement fondée, sans hypothèse (aucune hypothèse gaussienne ou de noyau) et computationnellement efficace ( $O(N \log N)$ ) par rapport au coût quadratique de la MMD.
Approximation de Monte Carlo : L'intégrale sur la sphère unité est approximée en moyennant $L$ projections aléatoires. Les auteurs déterminent théoriquement et empiriquement que $L=500$ offre un compromis stable entre précision de l'estimation et coût computationnel.

Garanties Théoriques

L'article fournit une borne théorique (Théorème 1) prouvant que l'erreur d'estimation de la SWD au carré est contrôlée par le nombre de projections $L$ . La borne dépend de la dimension intrinsèque $k$ de la variété où résident les encapsulations et du diamètre $D$ de la variété, mais est indépendante de la dimension ambiante $d$ . Cela justifie l'évolutivité de la SWD dans les espaces de haute dimension.

3. Contributions Clés

Audit des Métriques Existantes : Une analyse systématique des modes de défaillance des métriques actuelles, mettant en évidence leur sensibilité aux choix de modèles de base, aux hypothèses de distribution, aux configurations de noyaux et aux décalages inter-domaines.
Cadre APEX : Introduction d'un cadre d'évaluation par projection combinant des modèles de fondation (CLIP/DINOv2) avec la SWD pour éliminer les hypothèses paramétriques rigides et les dépendances aux hyperparamètres de noyaux.
Analyse de Stabilité : Investigation théorique et empirique du nombre de projections requis pour une estimation stable de la SWD, identifiant $L=500$ comme le point optimal pour la convergence.
Évaluation Complète : Un protocole d'évaluation extensif couvrant cinq domaines hétérogènes (images naturelles, visages, dermoscopie, radiographie, télédétection), testant la robustesse face aux dégradations de pixels/latentes, la stabilité des échantillons finis et le raffinement génératif.
Alignement Humain : Une étude perceptuelle dédiée démontrant que APEX corrèle fortement avec les jugements humains, se montrant compétitif par rapport aux meilleures références.

4. Résultats Expérimentaux

L'évaluation compare APEX à la FID, la KID, la CMMD et DINO+MMD selon plusieurs critères :

Stabilité Intra- et Inter-Ensemble de Données :
- Intra-ensemble : Les variantes d'APEX présentent un faible biais d'échantillon fini et un faible coefficient de variation (CV $\le$ 0,06), surpassant la KID et DINO+MMD (qui souffrent d'une variance élevée malgré des moyennes non biaisées) et la FID (qui repose sur des ajustements gaussiens lisses).
- Inter-ensemble : APEX atteint l'erreur de cohérence inter-domaine la plus faible ( $\Lambda$ ), indiquant que ses signaux de dégradation sont plus cohérents à travers des domaines divers (par exemple, images médicales vs images naturelles) par rapport aux références basées sur des modèles de fondation comme la CMMD.
Sensibilité à la Dégradation : APEX démontre une sensibilité monotone aux perturbations progressives (bruit, flou, compression, distorsions latentes) sur tous les domaines. En revanche, les références montrent souvent des fluctuations non monotones ou des défaillances spécifiques à un domaine.
Raffinement Génératif : Au cours du processus de débruitage de Stable Diffusion, APEX-CLIP montre la baisse la plus significative des scores de distance lors des étapes finales de raffinement, indiquant une sensibilité supérieure aux améliorations perceptuelles subtiles par rapport à la FID ou la KID.
Corrélation Humaine : Dans une étude portant sur 10 850 images annotées, APEX-CLIP a atteint un $\rho$ de Spearman de 0,844, égalant presque la FID (0,847) et surpassant significativement la CMMD (0,813) et DINO+MMD (0,651). Cela suggère que l'approche par projection extrait plus d'informations perceptuellement pertinentes du même espace d'encapsulation.
Efficacité : Bien que l'extraction de caractéristiques domine le temps d'exécution, le calcul de la distance pour APEX s'échelonne à $O(N \log N)$ , contournant la surcharge prohibitive de $O(N^2)$ des méthodes basées sur la MMD.

5. Importance et Revendications

L'article revendique que APEX répond aux goulots d'étranglement « vocabulaire fermé » et « biais assumptif » qui entravent l'évaluation actuelle de la qualité des images. En exploitant la Distance de Wasserstein Tranchée au sein des espaces latents des modèles de fondation, APEX fournit :

Robustesse : Une stabilité supérieure à travers des domaines divers et sous diverses dégradations d'images.
Fiabilité : Une forte corrélation avec la perception humaine sans nécessiter d'hypothèses statistiques rigides.
Évolutivité : Un calcul efficace adapté aux espaces d'encapsulation de haute dimension.

Les auteurs positionnent APEX non pas comme un remplacement de toutes les métriques existantes, mais comme une alternative fondée sur des principes et sans hypothèse, offrant une base plus stable et flexible pour évaluer la prochaine génération de modèles génératifs. Ils reconnaissent les limites, notant que la performance dépend toujours de la qualité de l'espace d'encapsulation sous-jacent et que le coût global est dominé par l'extraction de caractéristiques, en particulier pour la variante APEX-DINO de haute dimension. Des travaux futurs sont suggérés pour explorer des stratégies de projection adaptatives et des extensions à des modèles multimodaux plus larges.