Résumé Technique : RAMP – Reconnaissance par Paramétrage par Passage de Messages Amorti

1. Énoncé du Problème

L'apprentissage non supervisé vise à découvrir les facteurs latents qui expliquent les dépendances entre les observations. Les modèles graphiques probabilistes (MGP) sont bien adaptés à cette tâche, car ils représentent mathématiquement l'incertitude et les liens non déterministes. Cependant, un compromis fondamental existe entre expressivité et tractabilité.

• Tractabilité : L'inférence exacte dans les MGP nécessite généralement des choix de distribution restrictifs (par exemple, linéaire-gaussien) pour permettre une propagation de croyance exacte.
• Expressivité : Les dépendances non linéaires et complexes rendent souvent les intégrales nécessaires intraitables. Les méthodes d'approximation existantes (par exemple, l'inférence variationnelle, Monte Carlo) passent souvent mal à l'échelle avec la taille du modèle ou ne parviennent pas à fournir un cadre unifié intégrant les capacités d'approximation du deep learning avec une cohérence probabiliste.

Le défi central est de développer une méthode capable d'apprendre des structures latentes non linéaires et flexibles sur des données complexes et de haute dimension, tout en maintenant un cadre probabiliste rigoureux doté d'une vraisemblance bien définie.

2. Méthodologie : RAMP

Les auteurs proposent RAMP (Recognition Parametrisation by Amortised Message Passing), une méthode qui définit implicitement la structure latente en apprenant un cadre de passage de messages amorti, flexible et non linéaire. RAMP s'appuie sur le paradigme du Modèle de Reconnaissance-Paramétré (RPM) et l'adapte aux modèles graphiques de structure arborescente.

2.1 Concepts Clés

• Reconnaissance-Paramétrage : Au lieu de paramétrer le processus génératif $p(x|z)$, RAMP paramètre les facteurs de reconnaissance $f(z|x)$ qui font correspondre les observations aux croyances a posteriori. La distribution jointe est construite comme suit :
  $$p(Z, X) = p(Z) \prod_p \frac{f_p(Z|x_p)}{F_p(Z)} p_{emp}(x_p)$$
  où $F_p(Z)$ est une constante de normalisation garantissant que le modèle est correctement défini.
• Passage de Messages Amorti : Dans la propagation de croyance (BP) standard sur les arbres, les messages sont calculés via une intégration exacte. RAMP remplace ces intégrales par des transformations amorties et apprises.
  • Pour un nœud latent $z_k$ et son voisin $z_j$, la mise à jour de la croyance est définie non pas par intégration, mais par une fonctionnelle $G_{j \to k}$ :
    $$f^k_j(z_k | X^k_j) = G_{j \to k} \left( f^j_0(z_j) \prod_{l \in \partial j \setminus k} \frac{f^j_l(z_j | X^j_l)}{f^j_0(z_j)} \right)$$
  • Cela permet au réseau d'apprendre directement la transformation des croyances, contournant ainsi le besoin de facteurs génératifs explicites ou d'intégrales tractables.

2.2 Architecture du Modèle

• Structure Arborescente : RAMP opère sur des modèles graphiques non orientés de structure arborescente où les variables latentes $Z$ et les variables observées $X$ forment un arbre. Les observations sont contraintes aux nœuds feuilles.
• RPM Nodaux : Le modèle est entraîné en optimisant simultanément plusieurs RPM « nodaux », un pour chaque variable latente $z_k$. Chaque modèle nodal respecte la partition d'indépendance conditionnelle induite par $z_k$ sur les observations.
• Optimisation Conjointe : La fonction objectif est la somme des énergies libres (bornes inférieures variationnelles) à travers tous les modèles nodaux :
  $$F = \frac{1}{K} \sum_k F_k$$
  Cette optimisation conjointe garantit que le réseau de passage de messages amorti capture la structure globale de l'arbre et les indépendances conditionnelles, plutôt que de simples dépendances de sous-arbres locaux.
• Paramétrage par la Famille Exponentielle : Pour assurer la tractabilité de l'objectif d'apprentissage, les croyances sont représentées comme des membres d'une famille exponentielle (par exemple, des Gaussiennes). Le passage de messages est implémenté comme une transformation des paramètres naturels via des réseaux de neurones ($g_{j \to k}$), où le produit des distributions correspond à la somme des paramètres naturels.

2.3 Garanties Théoriques

L'article établit que si les données sont compatibles avec un modèle latent de structure arborescente satisfaisant des hypothèses d'indépendance conditionnelle spécifiques (Hypothèse 1), et si le réseau amorti optimise l'objectif conjoint, alors :

1. Chaque énergie libre nodale atteint sa valeur optimale.
2. Les croyances apprises $f^k_j$ sont des statistiques suffisantes pour les observations, récupérant efficacement la véritable structure latente.
3. La méthode récupère la structure correcte d'indépendance conditionnelle entre les variables latentes (Lemme 2).

3. Contributions Clés

1. Nouvelle Intégration du Deep Learning et des MGP : RAMP offre une approche unifiée où les réseaux de neurones sont utilisés pour amortir l'opérateur de passage de messages lui-même, plutôt que de simplement approximer la distribution a posteriori ou le modèle génératif.
2. Apprentissage Basé sur la Vraisemblance dans les Modèles Non Linéaires : Contrairement à de nombreux modèles de variables latentes profonds qui reposent sur des bornes inférieures variationnelles avec des approximations lâches, RAMP maintient une fonction de vraisemblance appropriée dérivée du cadre RPM, même avec un passage de messages non linéaire.
3. Robustesse à la Spécification Incorrecte : La méthode démontre une robustesse face à la spécification structurelle incorrecte (apprentissage des latents corrects même si la topologie de l'arbre supposée est légèrement perturbée) et la spécification distributionnelle (gestion de processus de génération de données non linéaires où les a posteriori réels sont non-gaussiens).
4. Sémantique Bidirectionnelle : Dans les applications de séries temporelles, RAMP implémente naturellement l'inférence bidirectionnelle (forward-backward) avec une sémantique probabiliste, surpassant les méthodes contrastives standards et les VAE structurés dans la récupération des états dynamiques.

4. Résultats Expérimentaux

Les auteurs ont évalué RAMP sur trois tâches distinctes :

• Arbres Linéaires/Non Linéaires Hiérarchiques :

  • Linéaire-Gaussien : RAMP a récupéré la solution exacte avec une grande fidélité, égalant les performances de l'inférence exacte.
  • Spécification Structurelle Incorrecte : Lorsqu'il était entraîné sur des structures d'arbres perturbées, RAMP a maintenu une corrélation élevée avec les latents de vérité terrain pour les nœuds où la partition locale restait correcte, démontant que les signaux d'apprentissage sont locaux à la structure d'indépendance conditionnelle.
  • Données Non Linéaires : Sur des données générées par des transformations non linéaires, RAMP a surpassé l'inférence variationnelle boîte noire (BBVI) et les approximations gaussiennes supervisées, réussissant à apprendre des représentations des variables latentes malgré le fait que le véritable a posteriori soit non-gaussien.

• Systèmes Dynamiques Non Linéaires (Pendule) :

  • Entraîné sur des images d'un pendule oscillant, RAMP a réussi à inférer l'espace des phases en 2D (angle et vitesse angulaire) dans un espace latent en 2D.
  • Il a surpassé le Contrastive Predictive Coding (CPC) et les VAE structurés (SVAE), qui ont échoué à récupérer de manière fiable la vitesse angulaire (une variable d'état non directement observable dans une seule image) lorsqu'ils étaient contraints à la dimensionnalité réelle.

• Estimation de Pose :

  • Appliqué au jeu de données Leeds Sports Pose (LSP), RAMP a inféré les configurations des articulations du corps à partir de patchs d'images locaux sans information de localisation globale.
  • Les variables latentes inférées encodaient l'orientation des membres reliant les articulations. Le modèle a réussi à reconstruire des croquis de pose et a géré les articulations occultées (par exemple, une cheville manquante) en exploitant le prior appris de structure arborescente.

5. Signification et Revendications

L'article affirme que RAMP représente une étape significative vers la fusion de composants de réseaux de neurones adaptatifs dans un cadre probabiliste cohérent. Sa signification réside dans :

• Identifiabilité : En exploitant la structure d'indépendance conditionnelle des graphes arborescents, RAMP garantit que les variables latentes sont découvrables sur la base des partitions spécifiques d'observations qu'elles induisent.
• Cohérence : Contrairement aux approches de deep learning génériques où les représentations internes manquent d'interprétation probabiliste, la procédure d'inférence de RAMP définit directement le modèle, garantissant que les représentations apprises possèdent des vraisemblances et des sémantiques probabilistes bien définies.
• Scalabilité et Flexibilité : En amortissant le passage de messages, RAMP passe à l'échelle pour des données complexes et de haute dimension ainsi que pour des dépendances non linéaires où l'inférence exacte est impossible, tout en évitant les pièges des approximations variationnelles non structurées.

Les auteurs notent que bien que le présent travail se concentre sur les modèles de structure arborescente pour garantir l'identifiabilité et la cohérence de l'inférence, le succès empirique de la propagation de croyance sur les graphes avec des cycles (loopy graphs) suggère que l'adaptation de RAMP à de telles structures est une direction viable pour les travaux futurs.