📊 statistics

Learning a distance measure from the information-estimation geometry of data

Cet article introduit la métrique d'estimation de l'information (IEM), une nouvelle fonction de distance dérivée de la relation entre les théories de l'information et de l'estimation qui exploite des débruiteurs appris pour s'adapter aux géométries de données complexes et atteindre des performances de pointe dans la prédiction de la qualité perceptuelle d'images humaines.

Auteurs originaux : Guy Ohayon, Pierre-Etienne H. Fiquet, Florentin Guth, Jona Ballé, Eero P. Simoncelli

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guy Ohayon, Pierre-Etienne H. Fiquet, Florentin Guth, Jona Ballé, Eero P. Simoncelli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de mesurer la « distance » entre deux choses. Dans le monde physique, vous pourriez utiliser une règle pour mesurer la distance entre deux villes. Mais que se passe-t-il si vous voulez mesurer la distance entre deux idées, deux images ou deux sons ? Comment décidez-vous si deux photos de chat sont « proches » l'une de l'autre, ou si une photo de chat et une photo de grille-pain sont « éloignées » ?

Habituellement, les ordinateurs se contentent de compter les différences de pixels (comme compter combien de briques diffèrent entre deux murs). Mais les humains ne voient pas les choses ainsi. Nous pourrions penser que deux photos légèrement floues d'un chat sont très similaires, alors que deux photos nettes d'un chat et d'un grille-pain sont très différentes, même si le nombre de pixels suggère le contraire.

Ce document présente une nouvelle façon pour les ordinateurs de mesurer cette « distance perceptuelle », appelée la Métrique d'Estimation de l'Information (IEM). Voici comment cela fonctionne, expliqué simplement :

1. Le détective du « débruitage »

Imaginez que vous avez une photo très claire d'un paysage. Maintenant, imaginez que quelqu'un jette un seau de neige sur l'image, rendant l'image floue.

L'ancienne méthode : Une métrique informatique standard regarde simplement la photo floue et la photo claire, puis compte les différences de pixels.
La méthode IEM : L'IEM pose une question différente : « Si je te donne cette photo floue, à quel point peux-tu deviner à quoi ressemblait l'originale et nette ? »

Les auteurs utilisent une IA spéciale (un « débruiteur ») entraînée sur des millions d'images pour agir comme ce détective. L'IA essaie de nettoyer la photo floue.

Si l'IA est confiante et la nettoie parfaitement, la distance est petite.
Si l'IA est confuse et fait une mauvaise supposition, la distance est grande.

2. L'analogie de la tempête de neige

Le papier ne teste pas l'IA avec un seul niveau de flou. Il la teste avec toute une gamme de « tempêtes de neige », allant d'un léger saupoudrage à un blizzard intense.

Le concept : L'IEM mesure la distance entre deux images en comparant comment la « stratégie de devinette » de l'IA change à mesure que la neige s'intensifie.
La métaphore : Imaginez deux personnes debout dans un champ brumeux.
- Si elles se trouvent sur un chemin solide et familier (une image commune, comme un ciel bleu clair), la brume ne les confond pas beaucoup. Elles savent où elles sont.
- Si elles se trouvent dans un endroit étrange et déroutant (une image rare ou bizarre), la brume les rend très incertaines.
- L'IEM mesure la distance entre deux personnes en observant comment leur « incertitude » change à mesure que la brume arrive et repart. Si leurs schémas d'incertitude sont similaires, elles sont « proches ». Si leur confusion est totalement différente, elles sont « éloignées ».

3. Pourquoi est-ce spécial (la « forme » des données)

Le papier affirme que cette méthode apprend la forme du monde sans avoir besoin d'un enseignant.

Apprentissage supervisé (l'ancienne méthode) : Pour apprendre à un ordinateur ce que les humains considèrent comme « similaire », vous avez généralement besoin de milliers d'humains qui étiquettent des photos (ex : « ces deux-là se ressemblent », « ces deux-là sont différents »). C'est coûteux et sujet aux erreurs.
La méthode IEM (non supervisée) : L'IEM apprend purement en observant les images elles-mêmes. Il comprend que les « chats » ont généralement une certaine apparence et que les « nuages » en ont une autre. Il construit une carte de ce qui est « normal » et de ce qui est « bizarre » simplement en étudiant les données.

Les auteurs ont prouvé mathématiquement que cela crée une « distance » valide (cela suit les règles de la géométrie) et que pour des données simples, cela agit comme une règle standard. Mais pour des données complexes (comme des photos réelles), cela se courbe et s'étire pour épouser la forme des données, tout comme une règle flexible qui s'adapte au terrain.

4. Est-ce que cela fonctionne ?

Les chercheurs ont testé leur nouvelle « règle flexible » sur une base de données d'images (ImageNet) et l'ont comparée à la façon dont les humains jugent la qualité d'une image.

Le résultat : Même si l'IEM n'a jamais vu un seul label humain disant « ceci est de bonne qualité » ou « ceci est de mauvaise qualité », il a prédit les opinions humaines aussi bien, voire mieux, que les programmes informatiques les plus avancés qui ont été entraînés avec des labels humains.
Le test de « différenciation maximale » : Ils ont tenté de piéger le système. Ils ont pris une photo, y ont ajouté du bruit, puis ont demandé à l'ordinateur de modifier ce bruit pour rendre l'image aussi différente que possible de l'originale, tout en gardant le même « nombre de pixels » (PSNR).
- Les autres métriques ont produit des images qui ressemblaient à de l'art abstrait ou à du non-sens.
- L'IEM a produit des images qui ressemblaient toujours à la photo originale, mais avec un bruit différent. Cela suggère que l'IEM comprend mieux la « structure » de l'image que les autres.

Résumé

La Métrique d'Estimation de l'Information est un nouvel outil qui mesure à quelle distance se trouvent deux images en observant la difficulté qu'une IA intelligente éprouve à les nettoyer. Au lieu de compter les pixels, elle observe l'« incertitude » de l'IA. Elle apprend la forme du monde par elle-même, sans avoir besoin que des humains corrigent ses devoirs, et il s'avère qu'elle est étonnamment douée pour imiter la façon dont les humains perçoivent la similitude.

Résumé Technique : Apprentissage d'une mesure de distance à partir de la géométrie de l'estimation de l'information des données

Énoncé du Problème

Les fonctions de distance sont fondamentales pour l'organisation et l'interprétation des données, pourtant dériver une métrique de distance significative pour les signaux naturels (par exemple, les images) qui s'aligne sur la perception humaine reste un défi majeur. Les approches existantes reposent souvent sur l'apprentissage supervisé utilisant des bases de données étiquetées par l'humain, lesquelles sont coûteuses à annoter, bruitées et difficiles à interpréter mathématiquement. Inversement, les méthodes purement non supervisées basées sur la théorie de l'information (par exemple, l'information mutuelle) sont souvent agnostiques à la structure géométrique de la distribution des données. Le problème central abordé est de savoir comment dériver une fonction de distance globale et une métrique de Riemann locale uniquement à partir de la géométrie d'une densité de probabilité continue $p_x$ sur un domaine de signal, sans recourir aux étiquettes humaines.

Méthodologie : La Métrique d'Estimation de l'Information (IEM)

Les auteurs introduisent la Métrique d'Estimation de l'Information (IEM), une fonction de distance dérivée de la relation entre la théorie de l'information et la théorie de l'estimation. La méthodologie repose sur la formule de Tweedie–Miyasawa, qui lie la fonction de score (le gradient du logarithme de la densité) d'un signal flouté à l'erreur d'un débruiteur optimal.

Construction Théorique

Canal d'Observation : Les auteurs définissent un canal d'observation gaussien $y_\gamma = \gamma x + w_\gamma$ , où $w_\gamma$ est un bruit gaussien additif. À mesure que le rapport signal sur bruit (SNR) $\gamma$ augmente, la distribution $p_{y_\gamma}$ effectue un « zoom » sur la densité originale $p_x$ .
I-MMSE Ponctuelle : S'appuyant sur la relation I-MMSE, le logarithme de la probabilité d'un signal est décomposé en une intégrale des erreurs de débruitage (ou équivalemment, des vecteurs de score) à travers tous les niveaux de SNR.
Définition de la Métrique : L'IEM entre deux signaux $x_1$ et $x_2$ est définie comme la racine carrée de la variation quadratique attendue du processus de rapport de log-probabilité. Plus précisément, il s'agit de l'erreur quadratique moyenne (MSE) intégrée entre les champs de vecteurs de score de la densité floutée autour de $x_1$ et $x_2$ sur une plage de niveaux de SNR $[0, \Gamma]$ :
$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$
Généralisation : Les auteurs proposent une IEM Généralisée ( $\text{IEM}_f$ ) en appliquant une fonction scalaire $f$ au processus de rapport de log-probabilité avant de calculer la variation quadratique, permettant ainsi une flexibilité dans la pondération de différents aspects de la distribution.

Géométrie Locale

L'article dérive une approximation locale de second ordre du carré de l'IEM, produisant une métrique de Riemann $G(x, \Gamma)$ . Cette métrique locale est montrée comme étant :

Proportionnelle à l'espérance du carré de la Hessienne du log-densité (courbure locale).
Liée à la covariance a posteriori du signal compte tenu des observations bruitées.
La plus sensible dans les régions de haute courbure de log-densité et aux perturbations induisant des changements importants de la probabilité du signal.

Implémentation

Pour calculer l'IEM en pratique, les auteurs entraînent un débruiteur neuronal (spécifiquement un Transformer de Diffusion en forme de sablier / Hourglass Diffusion Transformer) sur le jeu de données ImageNet. Ce débruiteur approxime l'estimateur MMSE $E[x|y_\gamma]$ , ce qui est équivalent au vecteur de score via la formule de Tweedie–Miyasawa. La distance est ensuite calculée par intégration numérique de la différence au carré des sorties du débruiteur (ou des scores dérivés) à travers les niveaux de bruit.

Contributions Clés

Nouvelle Définition de Métrique : L'introduction de l'IEM, une métrique de distance globale valide dérivée purement de la géométrie d'une densité de probabilité, prouvée pour satisfaire la symétrie, la non-négativité, l'identité des indiscernables et l'inégalité triangulaire.
Unification Théorique : L'article prouve que pour les distributions gaussiennes, l'IEM coïncide avec la distance de Mahalanobis. Pour les distributions non gaussiennes, elle s'adapte localement et globalement au « support des données », se comportant comme une distance de Mahalanisme localement adaptative.
Apprentissage Non Supervisé : Le cadre permet l'apprentissage d'une métrique de distance perceptuelle à partir de données non étiquetées en entraînant un débruiteur, contournant ainsi le besoin d'étiquettes perceptuelles humaines lors de la phase de définition de la métrique.
Cadre Généralisé : La proposition de $\text{IEM}_f$ permet d'adapter la métrique à différents types de données humaines en apprenant une fonction $f$ sur la métrique de base non supervisée.

Résultats Expérimentaux

Les auteurs ont évalué l'IEM sur des benchmarks standards d'évaluation de la qualité d'image avec référence complète (TID2013, LIVE, CSIQ) et un ensemble de données spécifique aux textures (TQD).

Performance sur les Images Naturelles : L'IEM non supervisée (avec $\Gamma=1/4$ ) a obtenu des coefficients de corrélation de rang de Spearman (SRCC) compétitifs avec les métriques supervisées de pointe (ex: LPIPS, DISTS, PieAPP) sur TID2013, LIVE et CSIQ, malgré un entraînement sans étiquettes humaines.
Sensibilité aux Textures : La variante $\text{IEM}_{sq}$ (utilisant une fonction $f$ quadratique) a surpassé la plupart des méthodes sur le jeu de données de texture TQD, un domaine où beaucoup de métriques standards peinent.
Performance Unifiée : Une variante supervisée, $\text{IEM}_{f_\omega}$ , qui apprend uniquement la fonction $f$ sur le débruiteur pré-entraîné, a obtenu des performances solides sur tous les jeux de données simultanément, démontant la flexibilité du cadre.
Compétition de Différenciation Maximale : Dans les expériences minimisant la distance perceptuelle sous une contrainte de PSNR fixe, la minimisation de l'IEM a produit des images qui préservaient la structure géométrique et paraissaient naturellement perceptuelles, tandis que la minimisation d'autres métriques (comme DISTS) a produit des artefacts non naturels. La maximisation de l'IEM a correctement identifié le bruit non structuré comme la distorsion la plus dommageable sur le plan perceptuel.

Signification et Revendications

L'article affirme que l'IEM fournit une approche fondée sur des principes et mathématiquement rigoureuse pour dériver des distances perceptuelles à partir de la géométrie statistique des données. Sa signification réside dans :

Interprétabilité : Contrairement aux métriques supervisées de type « boîte noire », l'IEM est dérivée de relations fondamentales entre probabilité, information et estimation, offrant une explication mathématique plus claire des jugements perceptuels.
Efficacité des Données : Elle démontre qu'on peut apprendre des métriques perceptuelles de haute qualité à partir de données non étiquetées, réduisant la dépendance vis-à-vis de l'annotation humaine coûteuse et bruitée.
Robustesse : La capacité de la métrique à s'adapter tant aux images naturelles qu'aux textures, ainsi que sa performance dans les tâches d'optimisation (problèmes inverses), suggère qu'elle capture le « support des données » plus efficacement que les alternatives euclidiennes ou supervisées existantes.

Les auteurs reconnaissent des limites, principalement le coût computationnel de l'intégration numérique par rapport aux métriques standard à propagation directe (feed-forward), et la nécessité d'un principe systématique pour choisir l'hyperparamètre $\Gamma$ et la fonction $f$ . Ils suggèrent que les travaux futurs pourraient porter sur l'application de ces principes à d'autres types de signaux (ex: l'audio) et sur l'utilisation de cette métrique pour le clustering non supervisé et l'évaluation de modèles génératifs.