Observable Geometry of Singular Statistical Models

Cet article propose un cadre invariant basé sur des « cartes observables » pour analyser la géométrie intrinsèque des modèles statistiques singuliers, établissant un lien entre la structure géométrique du modèle et la distinguabilité statistique sans dépendre de la paramétrisation.

L'essentiel

Le Titre : La Géométrie de ce qu'on Peut Voir (et pas seulement de ce qu'on pense)

Imaginez que vous êtes un détective chargé de comprendre la structure d'un objet mystérieux. Traditionnellement, les statisticiens regardent l'objet à travers une lunette spécifique (ce qu'on appelle les "paramètres"). Mais parfois, cette lunette est défectueuse : elle vous fait croire que vous avez deux objets différents alors qu'il n'y en a qu'un, ou elle vous cache des détails cruciaux.

C'est le problème des modèles statistiques singuliers (comme les réseaux de neurones ou les mélanges de données). Dans ces cas, changer les réglages de votre lunette ne change rien à l'objet réel, mais cela rend les mathématiques classiques impossibles à utiliser.

Sean Plummer propose une nouvelle approche : arrêtez de regarder à travers la lunette. Regardez directement l'objet.

---

1. Le Problème : La Carte vs. Le Territoire

Imaginez que vous essayez de décrire une montagne.

• L'approche classique (Paramétrique) : Vous utilisez un système de coordonnées GPS (latitude, longitude, altitude). Mais imaginez que votre GPS a un bug : deux coordonnées différentes vous amènent exactement au même sommet. De plus, si vous changez de système de coordonnées (par exemple, en passant du GPS à une carte papier), votre description de la montagne change complètement. C'est confus !
• L'approche de Plummer (Observable) : Au lieu de vous fier aux coordonnées GPS, vous mesurez ce que vous pouvez voir et toucher sur la montagne : la température de l'air, la pente de la roche, la vitesse du vent. Ces mesures sont des "observables". Peu importe comment vous appelez le sommet, la température reste la même. C'est la vérité intrinsèque de la montagne.

2. La Solution : Les "Cartes Observables"

Plummer propose de construire une carte de la montagne basée uniquement sur ces mesures (les observables). Il appelle cela des "cartes observables".

• La règle d'or : Si deux points sur la carte donnent les mêmes mesures (même température, même vent), alors c'est le même endroit réel, même si vos coordonnées GPS disent le contraire.
• L'avantage : Cette carte ne dépend pas de votre système GPS défectueux. Elle décrit la forme réelle de la montagne (l'espace des modèles) directement.

3. Le Détail Caché : L'Ordre d'Observation

C'est ici que l'histoire devient fascinante. Parfois, la montagne a des zones très plates ou des creux invisibles au premier coup d'œil.

• Le niveau 1 (Premier ordre) : Vous regardez la pente. Si la pente est nulle, vous pensez que le terrain est plat. C'est ce que font les statistiques classiques (la "matrice d'information de Fisher").
• Le niveau 2 et plus (Ordre supérieur) : Mais imaginez un creux très subtil. Si vous marchez dessus, vous ne sentez pas la pente tout de suite. Il faut que vous marchiez un peu plus loin pour sentir que le sol s'enfonce.
  • Dans les modèles "singuliers", certaines directions sont invisibles au niveau 1 (la pente est nulle).
  • Plummer introduit le concept d'"ordre observable". C'est comme demander : "Combien de pas dois-je faire avant de sentir un changement ?"
  • Si vous devez faire 2 pas pour sentir le changement, l'ordre est 2. Si vous devez faire 4 pas, l'ordre est 4.

4. Le Lien Magique : La Distance et la Vitesse

Le résultat principal de l'article est une découverte géométrique étonnante :

La vitesse à laquelle vous pouvez distinguer deux points (la distance statistique) est directement liée à l'ordre auquel vous les voyez.

• Analogie : Imaginez que vous essayez de distinguer deux odeurs très similaires.
  • Si vous les sentez immédiatement (ordre 1), vous les distinguez vite.
  • Si vous devez attendre que le vent change un peu pour les sentir (ordre 2), cela prend plus de temps pour les distinguer.
  • Plummer prouve mathématiquement que si une direction est "cachée" jusqu'à l'ordre 2, la difficulté à distinguer les modèles (la divergence de Kullback-Leibler) augmente beaucoup plus vite (au carré).

En gros : Plus c'est caché, plus c'est difficile à apprendre.

5. Pourquoi est-ce utile ? (Exemples concrets)

L'auteur teste sa théorie sur deux cas célèbres :

1. Les mélanges de Gaussiennes (comme un smoothie) : Imaginez un smoothie fait de deux fruits. Si vous mettez exactement la même quantité de chaque fruit, vous ne pouvez pas dire quel fruit est quel. Les statistiques classiques paniquent. Mais avec les "observables" (goût, texture, couleur), on voit que pour distinguer les fruits, il faut regarder très finement (ordre supérieur).
2. Les réseaux de neurones : Parfois, un neurone dans une IA est "éteint" (il ne fait rien). Changer ses réglages ne change rien au résultat. C'est une zone "singulière". La méthode de Plummer permet de voir que même si le neurone est éteint, sa structure existe dans les "ordres supérieurs" (ce qui se passe si on le rallume doucement).

En Résumé

Sean Plummer nous dit : "Arrêtez de vous soucier de la façon dont vous nommez les choses (les paramètres). Regardez ce que vous pouvez réellement mesurer (les observables)."

• Si vous ne voyez rien au premier regard, ne paniquez pas.
• Regardez de plus près (deuxième ordre, troisième ordre).
• La façon dont les choses deviennent visibles vous dit exactement à quelle vitesse vous pouvez apprendre et distinguer les modèles.

C'est une nouvelle façon de faire de la géométrie des statistiques, qui fonctionne aussi bien pour les montagnes simples que pour les terrains accidentés et cachés des modèles modernes d'intelligence artificielle.

Résumé technique

1. Problématique : La limite des approches paramétriques classiques

Les modèles statistiques modernes (mélanges de Gaussiennes, réseaux de neurones, modèles à variables latentes) sont souvent singuliers. Cela signifie que des valeurs de paramètres distinctes peuvent induire la même distribution de probabilité (non-identifiabilité).

• Échec de la théorie asymptotique classique : Dans les modèles réguliers, le comportement asymptotique est gouverné par la géométrie de l'espace des paramètres (fonction de score, information de Fisher). Cependant, dans les modèles singuliers, l'information de Fisher devient dégénérée (non inversible) et la théorie classique échoue à capturer la structure intrinsèque du modèle.
• Dépendance à la paramétrisation : Les approches existantes, comme la théorie de l'apprentissage singulier (SLT), analysent la géométrie de l'espace des paramètres $\Theta$ après résolution des singularités. Ces descriptions dépendent fortement du choix de la paramétrisation et masquent la structure statistique intrinsèque, qui ne dépend que de l'ensemble des distributions réalisables (l'image du modèle $\mathcal{M}$).

L'objectif de l'article est de proposer un cadre invariant par reparamétrisation qui opère directement sur l'espace des distributions $\mathcal{M}$, plutôt que sur l'espace des paramètres $\Theta$.

2. Méthodologie : Géométrie Observable et Cartes Observables

L'auteur introduit une perspective basée sur les observables, définis comme des fonctionnelles de la distribution (espérances mathématiques) qui distinguent les modèles voisins.

A. Cartes Observables (Observable Charts)

Une carte observable est une application $\Psi : \mathcal{M} \to \mathbb{R}^m$ définie par un ensemble fini de fonctions observables $f_1, \dots, f_m$ :
$$\Psi(P) = \left( \mathbb{E}_P[f_1], \dots, \mathbb{E}_P[f_m] \right)$$
Ces cartes fournissent des coordonnées locales sur l'espace du modèle $\mathcal{M}$, indépendamment de la paramétrisation $\Phi : \Theta \to \mathcal{M}$.

B. Complétude Observable

Le concept de complétude observable caractérise la capacité d'une carte à détecter toutes les directions identifiables.

• Complétude d'ordre 1 : Une carte est complète d'ordre 1 si elle sépare les directions tangentes identifiables (celles où la dérivée directionnelle de la distribution est non nulle).
• Complétude d'ordre $k$ : Une carte est complète d'ordre $k$ si elle distingue les distributions jusqu'à l'ordre $k$ le long de courbes analytiques. Cela permet de détecter des directions invisibles aux dérivées premières.

C. Ordre Observable (Observable Order)

Pour une courbe analytique $\gamma(t)$ passant par un point de référence, l'ordre observable $o_\Psi(\gamma)$ est le plus petit entier $k$ tel que le développement de Taylor de $\Psi(\gamma(t))$ ait un terme non nul en $t^k$.

• Si $o_\Psi(\gamma) = 1$, la direction est visible à l'ordre 1 (géométrie classique).
• Si $o_\Psi(\gamma) > 1$, la direction est « cachée » aux dérivées premières et ne devient identifiable qu'à un ordre supérieur.

3. Résultats Principaux

Théorème 1 : Géométrie Tangente Observable

L'article démontre que les dérivées des observables récupèrent exactement l'espace tangent identifiable classique. Si l'ensemble des observables est suffisamment riche (dense dans $L^2$), les directions où toutes les dérivées observables s'annulent correspondent exactement aux directions non identifiables (où le produit scalaire avec la fonction de score est nul).

• Conséquence : La géométrie observable d'ordre 1 est équivalente à la géométrie de Fisher classique.

Théorème 2 : Contrôle de l'Ordre KL par l'Ordre Observable

C'est le résultat central de l'article. Pour une carte observable complète d'ordre 1, l'ordre observable d'une courbe $\gamma$ fournit une borne inférieure sur la vitesse de décroissance de la divergence de Kullback-Leibler (KL) :
$$o_K(\gamma) \ge 2 \cdot o_\Psi(\gamma)$$
où $o_K(\gamma)$ est l'ordre de la divergence KL le long de la courbe.

• Interprétation : Dans les modèles réguliers, $o_\Psi=1 \implies o_K=2$ (comportement quadratique classique). Dans les modèles singuliers, si une direction n'est visible qu'à l'ordre $k$ ($o_\Psi=k$), la divergence KL décroît comme $t^{2k}$. Cela établit un lien direct entre la structure géométrique intrinsèque (détectée par les observables) et le comportement asymptotique statistique.

Construction Pratique

L'article propose une procédure itérative pour construire des cartes observables :

1. Commencer par des observables naturels (moments, cumulants).
2. Identifier les directions invisibles (noyau de la jacobienne).
3. Ajouter des observables d'ordre supérieur pour détecter ces directions cachées.
4. Répéter jusqu'à ce que toutes les directions d'intérêt soient observables.

4. Illustrations et Exemples

L'auteur applique le cadre à trois modèles canoniques :

1. Mélange de Gaussiennes : Près d'un point singulier (composantes confondues), le paramètre de mélange $\alpha$ et la séparation $\delta$ sont invisibles à l'ordre 1.

   • L'espérance (moyenne) est d'ordre 1.
   • La variance révèle $\delta$ à l'ordre 2.
   • L'asymétrie (cumulant 3) révèle l'interaction $\alpha\delta$ à l'ordre 3.
   • La carte observable $(m_1, \kappa_2, \kappa_3)$ capture la structure singulière.

2. Réseau de neurones à une unité : Au point singulier où le poids de sortie $a=0$, les paramètres de l'unité cachée ($w, b$) sont invisibles à l'ordre 1. Ils n'apparaissent qu'à travers des termes croisés d'ordre 2 dans le développement des observables.

3. Régression à rang réduit : Pour une matrice $B$ de rang $r$, la contrainte de rang est invisible aux dérivées premières au point $B=0$. La relation quadratique (déterminant nul) n'apparaît qu'à l'ordre 2. L'ordre observable est 2, et l'ordre KL est 4, confirmant la relation $o_K = 2 o_\Psi$.

5. Signification et Contributions

• Unification : Ce cadre unifie les modèles réguliers et singuliers en traitant la géométrie classique comme un cas particulier (ordre 1) d'une géométrie observable plus large.
• Invariance : Il offre un langage invariant par reparamétrisation pour étudier les singularités, se concentrant sur l'image du modèle $\mathcal{M}$ plutôt que sur l'espace des paramètres $\Theta$.
• Interprétation géométrique des invariants : L'« ordre observable » suggère une reformulation intrinsèque d'invariants de la théorie de l'apprentissage singulier, tels que le seuil canonique log réel (RLCT), en termes de développements d'observables.
• Applications potentielles :
  • Conception de diagnostics pour la non-identifiabilité.
  • Construction de représentations réduites de modèles complexes.
  • Amélioration des méthodes d'approximation bayésienne (WAIC, WBIC) en tenant compte de la géométrie d'ordre supérieur.

En conclusion, l'article démontre que la structure locale des modèles statistiques, même singuliers, peut être entièrement décrite par une hiérarchie de fonctionnelles observables, offrant une alternative constructive et géométrique aux approches algébriques traditionnelles de la théorie de l'apprentissage singulier.