Data-Driven Energy-Based Learning via Gibbs Measures on Hierarchical Structures

Résumé Technique : Apprentissage Fondé sur les Données et l'Énergie via les Mesures de Gibbs sur des Structures Hiérarchiques

Énoncé du Problème
L'apprentissage automatique traditionnel est formulé comme un problème d'optimisation où un ensemble de données est utilisé pour identifier un paramètre optimal unique $\theta^*$ en minimisant une fonction de perte empirique. Bien que fructueuse, cette approche peine face aux paysages non convexes complexes, à l'incertitude et aux scénarios où plusieurs solutions concurrentes existent. Les auteurs proposent de passer d'une vision de l'apprentissage comme recherche d'un minimiseur unique à une vision de la génération d'une structure probabiliste. Le problème central abordé est la manière de construire un cadre statistique-mécanique rigoureux où le jeu de données ne se contente pas de sélectionner un paramètre, mais définit une famille entière d'états d'apprentissage d'équilibre (mesures de Gibbs) sur des structures hiérarchiques.

Méthodologie
L'article introduit une construction de mesures de Gibbs pilotée par les données sur des arbres de Cayley (réseaux hiérarchiques). La méthodologie suit les étapes suivantes :

1. Construction du Hamiltonien : La fonction de perte empirique $L_N(t, u)$ d'un problème d'apprentissage, définie sur un jeu de données $D = \{(x_i, y_i)\}$ et une fonction de prédiction $F(x; t, u)$, est interprétée comme un potentiel d'interaction. Plus précisément, la perte est mappée vers un noyau d'interaction $\xi_{tu} = L_N(t, u)$. Ce noyau définit le Hamiltonien d'un modèle basé sur l'énergie :
   $$H(\sigma, \phi) = -\sum_{\langle x,y \rangle \in L} \xi_{\sigma(x)\sigma(y)} \phi(x)\phi(y)$$
   où $\sigma(x) \in [0, 1]$ représente les paramètres locaux et $\phi(x) \in \{-1, 1\}$ représente les variables de spin.

2. Formulation de la Mesure de Gibbs : Le système d'apprentissage est décrit par la distribution de Gibbs associée à ce Hamiltonien à une température inverse $\beta$ donnée. Les objets principaux d'étude sont les mesures de Gibbs $\mu$ satisfaisant les équations DLR (Dobrushin-Lanford-Ruelle).

3. Équations de Cohérence : Les auteurs dérivent des conditions de compatibilité pour les distributions de Gibbs en volume fini sur l'arbre de Cayley. Ces conditions se réduisent à un système d'équations à points fixes intégrales non linéaires (Équation 7) pour les lois de bord $f(t, x)$ et $g(t, x)$. Pour les solutions invariantes par translation, ces équations caractérisent les états d'équilibre du système.

4. Analyse Spectrale : Pour les solutions invariantes par translation, le problème est réduit à l'analyse d'opérateurs intégraux compacts positifs induits par les noyaux dépendants des données (impliquant spécifiquement $\cosh(\beta L_N)$ et $\sinh(\beta L_N)$). L'existence, l'unicité et la multiplicité des mesures de Gibbs sont liées aux propriétés spectrales (valeurs propres et fonctions propres) de ces opérateurs.

Contributions Clés et Résultats

• Formulation Statistique-Mécanique de l'Apprentissage : L'article établit un cadre où la fonction de perte empirique définit le potentiel d'interaction d'un modèle basé sur l'énergie. Le jeu de données génère une distribution de probabilité de Gibbs sur l'espace des configurations de paramètres, plutôt qu'un point optimal unique.
• Existence et Unicité (Ordre $k=1$) : Pour les arbres de Cayley d'ordre $k=1$ (isomorphes au réseau unidimensionnel $\mathbb{Z}$), les auteurs prouvent que si la perte empirique est strictement positive, il existe une unique mesure de Gibbs positive invariante par translation. Ceci est établi en utilisant le théorème de Krein-Rutman sur le rayon spectral de l'opérateur intégral associé.
• Transitions de Phase et Multiplicité (Ordre $k=2$) : L'article démontre que pour des arbres d'ordre supérieur (spécifiquement $k=2$) et des noyaux non séparables, le système peut présenter des phénomènes de transition de phase.
  • Des résultats analytiques pour des noyaux spécifiques (par exemple, $\eta_{tu} = e^{\beta(t+u)}$) montrent qu'à mesure que la température inverse $\beta$ franchit une valeur critique $\beta_c$, le nombre de mesures de Gibbs invariantes par translation passe de un (symétrique) à trois (un symétrique et deux non symétriques).
  • Cette transition correspond à l'émergence d'états de rupture de symétrie, représentant des régimes de prédiction d'équilibre distincts.
• Expériences Numériques : Les auteurs présentent des expériences numériques utilisant des noyaux non séparables dérivés de données synthétiques gaussiennes bi-variées. Ces expériences confirment la prédiction théorique d'une transition de phase, observant un saut dans le nombre de branches de solutions de 2 à 3 à mesure que $\beta$ augmente, illustrant la coexistence de multiples états d'apprentissage induits par les données.
• Règles de Prédiction : L'article dérive des règles de prédiction basées sur les mesures de Gibbs construites. Pour les sommets non observés, les prédictions sont effectuées via des espérances conditionnelles (probabilités a posteriori) dérivées de la distribution de Gibbs. Dans le régime non symétrique, différentes mesures de Gibbs produisent différentes règles de prédiction, impliquant que le système d'apprentissage peut supporter de multiples représentations latentes concurrentes.

Signification et Revendications
L'article prétend fournir une nouvelle perspective sur l'apprentissage basé sur l'énergie où les données définissent un « paysage probabiliste » d'états d'inférence possibles plutôt qu'un modèle optimal unique.

• Pont Théorique : Il établit un lien rigoureux entre les paysages de perte empirique, l'inférence probabiliste sur les arbres et la théorie de Gibbs. Les équations de cohérence pour les mesures de Gibbs sont montrées comme étant étroitement liées aux algorithmes de passage de messages et de propagation de croyance (belief-propagation) utilisés en apprentissage automatique.
• Transitions de Phase comme Régimes d'Apprentissage : L'émergence de multiples mesures de Gibbs est interprétée comme une transition de phase dans le système d'apprentissage. Sous une température inverse critique, le système possède une représentation stable unique ; au-dessus, plusieurs régimes concurrents coexistent. Cela offre un cadre mathématique pour décrire l'apprentissage multimodal, le clustering et la rupture de symétrie dans les modèles hiérarchiques.
• Extension Probabiliste : La mesure de Gibbs sert d'extension probabiliste d'un ensemble de données fini à l'ensemble de l'arbre, permettant l'inférence sur les parties non observées du système via des distributions conditionnelles plutôt que par un vecteur de paramètres unique.

Les auteurs soulignent que ce cadre ne remplace pas l'optimisation standard, mais offre un point de vue probabiliste alternatif où la « solution » d'un problème d'apprentissage est un ensemble d'états d'équilibre gouvernés par les propriétés spectrales d'opérateurs dépendants des données.