Résumé Technique : Analogies Proportionnelles sur les Distributions de Probabilité via la Mise à Jour Bayésienne

Énoncé du Problème

Le raisonnement analogique, défini par la relation quaternaire « A est à B ce que C est à D » ($a:b::c:d$), a été largement formalisé dans les domaines booléen, symbolique et réel. Cependant, l'extension des analogies proportionnelles aux distributions de probabilité reste largement inexplorée. Les tentatives existantes pour définir des analogies entre distributions font face à des limitations significatives :

• Murena, Cornuéjols et Dessalles (2018) ont utilisé le transport parallèle en géométrie de l'information. Cette approche est exigeante en termes de calcul, restreinte aux distributions appartenant à la même famille paramétrique, et ne parvient pas à satisfaire les axiomes fondamentaux des analogies proportionnelles sur des variétés non plates.
• Prade et Richard (2025) ont étendu les analogies proportionnelles classiques aux distributions catégorielles en utilisant des contraintes arithmético-géométriques. Ce cadre est limité aux distributions catégorielles, impose des conditions trop restrictives qui réduisent l'ensemble des analogies valides, et ne tire pas parti de la nature statistique des distributions de probabilité.

Le défi central est de définir une notion d'analogie proportionnelle pour les distributions de probabilité qui satisfasse les axiomes classiques du raisonnement analogique, s'applique à des distributions arbitraires et soit ancrée dans les mécanismes fondamentaux de l'inférence probabiliste.

Méthodologie

La Mise à Jour Bayésienne comme Fondement

Le document introduit une analogie proportionnelle basée sur Bayes. L'hypothèse centrale est que deux distributions sont liées si l'une peut être transformée en l'autre par une mise à jour bayésienne induite par un ensemble approprié d'observations.

Soit $\mathcal{P}$ un espace de distributions de probabilité sur un espace de paramètres $\Theta$, et $\mathcal{L}$ un modèle statistique avec une vraisemblance $p(x|\theta)$. L'auteur définit une relation symétrique $p \xleftrightarrow{x}_{\mathcal{L}} q$ si $q$ est le postérieur de $p$ étant donné l'observation $x$, ou vice versa.

Une analogie proportionnelle basée sur Bayes $R_{\mathcal{L}}(p_A, p_B, p_C, p_D)$ est vérifiée s'il existe des observations $x_1, x_2 \in \bar{\mathcal{X}}$ (où $\bar{\mathcal{X}}$ inclut une observation nulle $\emptyset$) telles que :

1. $p_A \xleftrightarrow{x_1}_{\mathcal{L}} p_B$ et $p_C \xleftrightarrow{x_1}_{\mathcal{L}} p_D$
2. $p_A \xleftrightarrow{x_2}_{\mathcal{L}} p_C$ et $p_B \xleftrightarrow{x_2}_{\mathcal{L}} p_D$

Cette définition repose sur la accessibilité statistique : l'analogie existe si la « distance » (en termes de mises à jour requises) entre $A$ et $B$ est équivalente à la distance entre $C$ et $D$, médiée par le même modèle de vraisemblance.

Caractérisation Théorique : Famille Exponentielle

L'auteur démontre que pour les distributions appartenant à la famille exponentielle, cette analogie admet une simple caractérisation arithmétique dans l'espace des paramètres naturels.

• Proposition 4 & Théorème 1 : Pour les distributions $p(.|\xi)$ dans une famille exponentielle avec des paramètres naturels $\eta(\xi)$, l'analogie $p_A : p_B :: p_C : p_D$ est vérifiée si et seulement si :
  1. Les paramètres naturels satisfont la proportion arithmétique : $\eta(\xi_B) - \eta(\xi_A) = \eta(\xi_D) - \eta(\xi_C)$.
  2. OU la « solution inverse » est vérifiée : $\eta(\xi_A) = \eta(\xi_D)$ et $\eta(\xi_B) = \eta(\xi_C)$.
  3. Condition Cruciale : Les vecteurs de différence doivent appartenir à l'image de la statistique suffisante $S(x)$ du modèle de vraisemblance, notée $\text{Im}(S)$.

Ce résultat implique que la « richesse » des analogies possibles est déterminée par la géométrie de $\text{Im}(S)$. Si $\text{Im}(S)$ couvre l'intégralité de l'espace des paramètres, l'analogie est maximale.

Solveur Approximatif pour Distributions Arbitraires

Pour étendre le cadre au-delà des familles exponentielles analytiquement traitables, le document propose un algorithme basé sur l'échantillonnage inspiré de la Calcul de l'Approximation Bayésienne (ABC).

• Entrée : Échantillons finis des distributions $p_A, p_B, p_C$.
• Objectif : Trouver une distribution $p_D$ (représentée par des échantillons) et des observations latentes $x, x'$ qui satisfont les conditions de cohérence de l'analogie.
• Mécanisme :
  1. Échantillonnage du Postérieur : Utilise l'échantillonnage par importance pour approximer les postérieurs $p(\theta|x)$ à partir des échantillons a priori.
  2. Mises à Jour Inverses : Gère la nature symétrique de la relation en permettant des mises à jour en sens inverse (récupérer un a priori à partir d'un postérieur) en utilisant un rééchantillonnage pondéré avec des poids proportionnels à $1/p(x|\theta)$.
  3. Optimisation : Recherche les jeux de données latents $(x, x')$ qui minimisent la divergence (par exemple, la distance de Wasserstein) entre les distributions empiriques des échantillons observés et les échantillons reconstruits.
  4. Validation : Les solutions ne sont acceptées que si la Taille d'Échantillon Effective (ESS) est suffisante et si l'erreur de reconstruction est inférieure à un seuil.

Contributions Clés

1. Définition Novatrice : Introduit une définition d'analogie proportionnelle pour les distributions de probabilité basée sur la mise à jour bayésienne, laquelle satisfait les axiomes fondamentaux des analogies proportionnelles (réflexivité, symétrie, permutation centrale).
2. Caractérisation Arithmétique : Prouve que pour la famille exponentielle, l'analogie se réduit à une proportion arithmétique entre les paramètres naturels, à condition que les différences de paramètres appartiennent à l'image de la statistique suffisante de la vraisemblance.
3. Généralisation : Développe un algorithme basé sur l'échantillonnage qui résout les équations analogiques pour des distributions de probabilité arbitraires, contournant ainsi le besoin de solutions analytiques sous forme fermée.
4. Analyse Théorique de l'Expressivité : Démontre que l'expressivité de l'analogie est directement liée à la géométrie de l'image de la statistique suffisante, définissant des analogies « maximales » pour des modèles de vraisemblance spécifiques (ex: régression linéaire gaussienne).

Résultats Empiriques

L'auteur a évalué le solveur basé sur l'échantillonnage sur un benchmark synthétique impliquant des distributions normales multivariées où la solution analytique est connue.

• Configuration : 3 121 équations analogiques ont été générées. Deux modèles de vraisemblance ont été testés : une vraisemblance normale standard et une vraisemblance de régression linéaire.
• Performance sur la Vraisemblance Normale : L'algorithme a récupéré 0 % de solutions pour la vraisemblance normale. Cela était attendu, car le support de l'analogie pour ce modèle est de mesure nulle, confirmant que l'algorithme ne génère pas de faux positifs.
• Performance sur la Vraisemblance de Régression : En utilisant l'Optimisation Bayésienne pour rechercher dans l'espace des observations latentes, le solveur a réussi à récupérer des solutions pour 1 918 des 3 121 équations (61,45 %).
• Précision : Pour les exécutions réussies, la médiane de la distance de Wasserstein entre la solution analytique et la solution récupérée était de 0,132. Les estimations moyennes montraient une forte corrélation de Pearson (0,997) avec la vérité terrain, tandis que les estimations de variance avaient tendance à être sous-estimées.
• Limitations Observées :
  • Espace de Recherche : La recherche exhaustive par grille était trop coûteuse pour des vraisemblances complexes ; l'Optimisation Bayésienne a été utilisée pour plus d'efficacité.
  • Dégénérescence des Particules : Les erreurs d'approximation étaient fortement corrélées à une faible Taille d'Échantillon Effective (ESS), indiquant que la dégénérescence des particules dans l'étape d'échantillonnage par importance est une source primaire d'erreur.
  • Analogies Non-Maximales : L'algorithme a correctement échoué à trouver des solutions pour les analogies basées sur des vraisemblances non maximales (où le support est de mesure nulle), confirmant qu'il ne génère pas de faux positifs.

Signification et Revendications

Le document affirme fournir une base principalisée pour connecter le raisonnement analogique à l'apprentissage automatique en l'ancrant dans les mécanismes intrinsèques de l'inférence probabiliste.

• Contribution Théorique : Contrairement aux approches précédentes qui reposent sur des variétés géométriques ou une arithmétique ad hoc sur les probabilités, ce cadre s'étend naturellement à des distributions arbitraires et respecte les exigences axiomatiques du raisonnement analogique.
• Utilité Pratique : Le cadre ouvre de nouvelles perspectives pour des applications telles que l'apprentissage par transfert, l'augmentation de données, la reconstruction de distribution, le raisonnement basé sur des cas et le méta-apprentissage, où le raisonnement directement sur les distributions de probabilité offre un mécanisme naturel de transfert de connaissances.
• Modestie : L'auteur reconnaît que l'implémentation actuelle est limitée par la qualité de l'approximation de l'échantillonnage par importance. Il précise explicitement que la « solution inverse » (où $A=D$ et $B=C$) est une conséquence de la définition symétrique, ce qui pourrait être débattu, mais est naturellement couverte par leur cadre théorique. Des travaux futurs sont proposés pour explorer des techniques d'inférence plus avancées (ex: échantillonnage de l'a posteriori) afin d'améliorer la robustesse et la scalabilité.