📊 statistics

Group invariance of $f$ -divergences and the Fisher--Rao distance

Cet article démontre que les $f$ -divergences et la distance de Fisher--Rao sont invariantes sous les actions de groupe dans les modèles de transformation, réduisant ainsi leur dépendance aux paires de paramètres à des invariants maximaux tels que les doubles cosets, particulièrement au sein des familles de localisation-échelle multidimensionnelles.

Auteurs originaux : Frank Nielsen, Kazuki Okamura

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Frank Nielsen, Kazuki Okamura

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef essayant de comparer deux soupes différentes. L'une est un petit bol de soupe à la tomate épicée, et l'autre est une marmite géante de soupe à la tomate douce.

Si vous regardez simplement les bols, ils ont l'air totalement différents. Mais si vous connaissez la « recette » (le modèle statistique), vous réalisez que les seules vraies différences sont combien vous avez étiré la marmite (l'échelle) et où vous l'avez déplacée sur le comptoir (la localisation). Si vous ignorez la taille de la marmite et la position sur le comptoir, les soupes ont essentiellement le même « profil de saveur ».

Ce document traite de la recherche d'un moyen mathématique d'ignorer ces différences non pertinentes (comme la taille de la marmite et la position sur le comptoir) afin de mesurer la véritable différence entre deux distributions (comme deux soupes) de manière équitable.

Voici une décomposition des idées principales du document en utilisant des analogies simples :

1. Le Problème : Trop de façons de décrire la même chose

En statistiques, nous décrivons souvent des données à l'aide de paramètres (comme une moyenne et une variance). Mais la nature possède des « symétries ».

Translation (Localisation) : Si vous déplacez l'ensemble d'un jeu de données de 5 pas vers la droite, la relation entre deux points de ces données ne devrait pas changer.
Étirement (Échelle) : Si vous zoomez ou dézoomez sur un jeu de données, la forme de la relation ne devrait pas changer.

Les auteurs se demandent : Si nous avons un outil mathématique pour mesurer la « distance » ou la « différence » entre deux distributions, cet outil respecte-t-il ces symétries ? En d'autres termes, si nous étirons et déplaçons les deux distributions de la même manière, la distance entre elles doit-elle rester la même ?

2. La Grande Découverte : La magie du « Groupe »

Le document prouve qu'une immense famille de ces outils de mesure de distance, appelés f-divergences (qui incluent des mesures célèbres comme la divergence de Kullback-Leibler), respectent automatiquement ces symétries.

L'analogie : Imaginez que vous avez une feuille de caoutchouc sur laquelle deux points sont dessinés.

Si vous étirez toute la feuille (échelle) ou si vous la faites glisser sur la table (localisation), la distance entre les deux points sur la feuille ne change pas.
Le document montre que pour ces outils statistiques spécifiques, la « distance » est comme la mesure sur la feuille de caoutchouc, et non la mesure sur la table. Elle est invariante.

3. La Solution : L'« Invariant Maximal » (La carte d'identité ultime)

Savoir que la distance ne change pas quand on étire ou qu'on déplace les choses est une bonne chose, mais cela ne suffit pas. Nous voulons savoir : Qu'est-ce qui détermine exactement la distance ?

Les auteurs introduisent le concept d'Invariant Maximal. Considérez cela comme une « Carte d'identité ultime » pour une paire de distributions.

Si vous avez deux paires de distributions, et qu'elles ont la même « Carte d'identité ultime », alors la distance entre elles est identique.
Si elles ont des cartes d'identité différentes, la distance peut être différente.

Cette carte d'identité élimine tout le « bruit » (l'étirement et le déplacement) et ne laisse que l'information relative.

Localisation Relative : À quelle distance se trouvent les centres ?
Échelle Relative : À quel point l'une est-elle plus grande que l'autre ?

4. Le « Double Coset » : Un raccourci géométrique

Lorsque les auteurs examinent des données complexes et multidimensionnelles (comme des formes en 3D plutôt que de simples lignes en 1D), ils découvrent que cette « Carte d'identité ultime » possède une forme géométrique spécifique appelée Double Coset.

L'analogie : Imaginez que vous essayez de décrire la position de deux personnes dans une pièce par rapport l'une à l'autre, mais que la pièce tourne et que les personnes se déplacent.

Au lieu de suivre leurs coordonnées absolues (qui changent constamment), vous suivez leur pose relative.
Le « Double Coset » est le nom mathématique de cette pose relative. Il vous dit tout ce que vous avez besoin de savoir sur la façon dont les deux distributions sont positionnées les unes par rapport aux autres, en ignorant le fait que l'univers entier pourrait être en train de pivoter.

5. Application aux modèles réels (Familles de Localisation-Échelle)

Le document applique cela aux familles de Localisation-Échelle (des distributions définies par un centre et une dispersion).

Ils montrent que pour ces modèles, la « Carte d'identité ultime » est composée de deux éléments :
1. Valeurs Singulières : Ce sont comme les « facteurs d'étirement » dans différentes directions.
2. Normes de Bloc : Elles mesurent le « décalage relatif » des centres, mais uniquement dans les directions où l'étirement a eu lieu.

Cela signifie que vous n'avez pas besoin de calculer une formule complexe pour chaque rotation ou déplacement possible. Vous avez juste besoin de calculer ces nombres spécifiques (valeurs singulières et normes de bloc), et c'est toute l'information dont vous avez besoin pour connaître la distance.

6. La Distance de Fisher-Rao (La distance « courbe »)

Enfin, le document examine la distance de Fisher-Rao, qui est un type spécial de distance utilisé en géométrie de l'information. C'est comme mesurer la distance entre deux points sur une surface courbe (une géodésique) plutôt que sur une carte plate.

Les auteurs prouvent que cette distance courbe suit également les mêmes règles. Même si les mathématiques sont plus difficiles, le résultat est le même : la distance entre deux distributions dépend uniquement de leur position et de leur échelle relatives (la « Carte d'identité ultime »), et non de l'endroit où elles se trouvent dans l'univers.

Résumé

Ce document est un guide pour simplifier les comparaisons complexes.

La symétrie existe : Déplacer ou étirer des données ne change pas la différence intrinsèque entre deux distributions.
Les outils respectent la symétrie : Les outils de distance statistique courants (f-divergences) ignorent naturellement ces mouvements.
La « Carte d'identité » : Nous pouvons remplacer des paramètres complexes par un ensemble plus simple de nombres (valeurs singulières et décalages relatifs) qui capturent la seule chose qui compte : la relation relative entre les deux distributions.
Application universelle : Cela fonctionne aussi bien pour les mesures de distance standard que pour la distance plus complexe et courbe de Fisher-Rao.

En bref : Pour comparer deux choses équitablement, ignorez où elles sont et quelle est leur taille ; regardez seulement comment elles se rapportent l'une à l'autre. Le document donne la recette mathématique pour faire exactement cela.

Résumé technique : Invariance de groupe des $f$ -divergences et la distance de Fisher–Rao

Énoncé du problème
De nombreux modèles statistiques possèdent des symétries naturelles décrites par des actions de groupes, où les transformations de l'espace échantillon et de l'espace des paramètres ne doivent pas altérer la comparaison intrinsèque entre deux distributions. Bien qu'il soit intuitif que les divergences et les distances statistiques respectent ces symétries, une caractérisation rigoureuse de la manière dont une telle invariance contraint la forme fonctionnelle de ces mesures est nécessaire. Plus précisément, l'article traite de la manière dont les $f$ -divergences et la distance de Fisher–Rao se comportent sous des modèles de transformation où un groupe agit sur les espaces échantillon et paramétrique avec un multiplicateur spécifique. Le problème central est de réduire la dépendance de ces mesures de l'espace paramétrique complet vers un ensemble minimal de variables invariantes (invariants maximaux) qui capturent la position relative de deux distributions.

Méthodologie
Les auteurs s'appuient sur le cadre des modèles de transformation et des statistiques invariantes, en s'appuyant sur les résultats classiques d'Eaton et de Wijsman. La méthodologie se déroule en trois étapes :

Preuve d'invariance générale : L'article établit un modèle de transformation général où un groupe topologique $G$ agit sur un espace de mesure $(X, \mathcal{B}, \lambda)$ et un espace de paramètres $\Theta$ . Les densités se transforment avec un multiplicateur $\chi(g)$ tel que $\chi(g)p(gx|g\theta) = p(x|\theta)$ . Sous ces conditions, les auteurs prouvent que toute $f$ -divergence est invariante sous l'action diagonale du groupe sur les paires de paramètres.
Réduction par l'invariant maximal : Les auteurs démontrent que, puisque la divergence est invariante, elle doit être une fonction d'un invariant maximal de la paire de paramètres. Pour les espaces paramétriques transitifs (espaces homogènes $\Theta \cong G/H$ ), ils caractérisent cet invariant maximal à l'aide de l'espace des doubles cosets $H \backslash G / H$ . Cela fournit une interprétation géométrique où la divergence dépend uniquement de la position relative de deux points dans l'espace homogène.
Construction explicite pour les familles de localisation-échelle : La théorie est appliquée aux familles de localisation-échelle multidimensionnelles. Les auteurs construisent des invariants maximaux explicites en modifiant l'espace paramétrique pour assurer l'identifiabilité (en quotientant par les rotations orthogonales). Ils utilisent la décomposition en valeurs singulières (SVD) pour paramétrer le double coset, réduisant la divergence à une fonction des valeurs singulières et des normes de blocs de la localisation relative transformée.
Extension à la distance de Fisher–Rao : Les mêmes principes d'invariance sont appliqués à la distance de Fisher–Rao (la distance géodésique de la métrique de Fisher). Les auteurs montrent que l'invariance affine de la métrique de Fisher permet une réduction similaire, projetant la distance entre deux distributions arbitraires vers la distance par rapport à une distribution de base canonique.

Contributions clés et résultats

Théorème d'invariance générale (Théorème 2.1) : L'article prouve que dans un modèle de transformation satisfaisant la condition de multiplicateur, toute $f$ -divergence $D_f(\theta_1 : \theta_2)$ est invariante sous l'action du groupe : $D_f(g\theta_1 : g\theta_2) = D_f(\theta_1 : \theta_2)$ .
Caractérisation de l'invariant maximal (Théorèmes 2.2 & 2.3) : Il est démontré que toute divergence invariante est une fonction d'un invariant maximal $m(\theta_1, \theta_2)$ . Pour les actions transitives où $\Theta = G/H$ , l'invariant maximal est le double coset $H g_1^{-1} g_2 H$ , qui décrit complètement la position relative des paramètres.
Forme canonique pour les modèles de localisation-échelle (Section 3.1) : Pour les modèles de localisation-échelle multidimensionnels avec des densités de base radiales, les auteurs dérivent un invariant maximal spécifique. En identifiant l'espace paramétrique avec $\mathbb{R}^d \times (GL(d, \mathbb{R})/O(d))$ $R^{d} \times (G L (d, R) / O (d))$ , la divergence dépend uniquement de :
- Les valeurs singulières $\tau_1, \dots, \tau_k$ de la matrice d'échelle relative $S = V_2^{-1}V_1$ et leurs multiplicités.
- Les normes de blocs $r_j$ du vecteur de localisation relative transformé $\nu = V_2^{-1}(\mu_1 - \mu_2)$ , où les blocs correspondent aux multiplicités des valeurs singulières.
Actions de groupes duales et divergences de Bregman (Section 3.2) : L'article analyse les familles d'échelle centrées en utilisant la géométrie plate duale. Il montre que si l'invariance des $f$ -divergences provient du modèle de transformation, l'invariance des divergences de Bregman/Fenchel-Young dualement plates provient de l'annulation des actions de groupes duaux. Cela unifie la nature spectrale de ces divergences (dépendance aux valeurs propres de $\Sigma_2^{-1}\Sigma_1$ ).
Réduction de Fisher–Rao (Proposition 4.2) : La distance de Fisher–Raux pour la famille de localisation-échelle est montrée comme étant invariante sous le groupe affine. Par conséquent, la distance entre deux distributions est une fonction des mêmes invariants maximaux (valeurs singulières et normes de blocs) dérivés pour les $f$ -divergences. Le problème est réduit au calcul de la distance à partir d'un point de base canonique $(0, [Id])$.

Signification et affirmations
L'article affirme fournir une « manière générale et géométrique d'exprimer les divergences invariantes » en utilisant la structure de double coset des espaces paramétriques transitifs. La principale signification réside dans le principe de réduction : au lieu de traiter les divergences comme des fonctions de tous les paramètres, on peut d'abord supprimer la symétrie de groupe pour les exprimer à travers un ensemble plus restreint de variables invariantes.

Les auteurs affirment explicitement que cette approche :

Simplifie le calcul en réduisant la dimensionnalité du problème.
Identifie les quantités pertinentes en déterminant exactement quelles variables invariantes (par exemple, valeurs singulières, normes de blocs) peuvent apparaître dans toute formule invariante.
Unifie différentes divergences : Il montre que la même réduction s'applique à la fois aux $f$ -divergences et à la distance de Fisher–Rao.

L'article reste modeste quant aux solutions sous forme fermée. Il note que bien que le principe de réduction identifie les variables correctes, il « ne donne pas de formule générale en forme fermée » pour la distance de Fisher–Rao dans les dimensions $d > 1$ , car le problème de bord aux valeurs géodésiques reste analytiquement difficile. Cependant, il établit avec succès les dépendances structurelles requises pour toute telle formule. Le travail clarifie également la relation entre la géométrie affine-invariante de Fisher–Rao et la géométrie d'espace symétrique proposée par Lovrić et al., distinguant la première comme la géométrie spécifique de la famille de localisation-échelle gaussienne et la seconde comme un analogue d'espace symétrique.