📊 statistics

The Dirichlet Process as sampling distribution

Cet article étudie le processus de Dirichlet en tant que modèle de génération de données pour la première fois, proposant un cadre bayésien pour inférer sa mesure de centrage et son paramètre de précision en utilisant des données d'histogrammes simulées et réelles.

Auteurs originaux : Luis E. Nieto-Barajas

Publié 2026-07-30

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Luis E. Nieto-Barajas

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Puzzle Statistique : Quand les Données Arrivent par Instantanés

Imaginez que vous essayiez de comprendre la météo dans une ville géante, mais que vous ne disposiez pas d'un flux continu de données provenant d'un supercalculateur. Au lieu de cela, vous avez une pile de vieilles cartes météorologiques dessinées à la main provenant de différents quartiers. Certaines cartes montrent la température dans de gros blocs massifs ; d'autres utilisent des carrés minuscules et précis. Certaines cartes couvrent toute la ville, tandis que d'autres ne montrent qu'un seul parc. C'est le monde de la non-paramétrie bayésienne, une branche des statistiques qui tente de comprendre la « forme » de la réalité sans la forcer dans une boîte rigide et prédéfinie.

Habituellement, les statisticiens utilisent un outil appelé le Processus de Dirichlet (PD) comme la recette secrète d'un chef étoilé. Ils l'utilisent pour deviner à quoi ressemble un ingrédient caché (la distribution réelle des données) en se basant sur quelques échantillons. Mais voici le rebondissement : dans cet article, l'auteur inverse la donne. Au lieu d'utiliser le PD comme une recette pour deviner les ingrédients, il traite le PD lui-même comme l'ingrédiment qui a créé les données. Il se demande : « Si ces cartes désordonnées et d'apparences différentes avaient toutes été générées par la même machine invisible, à quoi ressemblerait cette machine ? » C'est comme regarder un tas de formes de biscuits différentes et essayer de deviner la recette exacte et la taille de l'emporte-pièce qui a fabriqué tous ces biscuits.

La Grande Idée de l'Article : Retourner la Recette

Dans cette étude, Luis E. Nieto-Barajas prend le célèbre Processus de Dirichlet et l'utilise comme une distribution d'échantillonnage. Normalement, ce processus est utilisé comme un « a priori » — une supposition de départ sur ce que les données pourraient être avant de les voir. Mais ici, l'auteur traite le PD comme le véritable générateur de données. Il imagine qu'une collection d'histogrammes (ces diagrammes en barres qui montrent la fréquence des événements) n'est pas apparue de manière aléatoire ; ils sont tous « nés » d'un seul Processus de Dirichlet.

Le but est de faire de l'ingénierie inverse sur la machine. Si nous avons un groupe de ces histogrammes, pouvons-nous identifier les deux réglages principaux de la machine qui les a créés ?

La Mesure de Centrage ( $F_0$ ) : Considérez cela comme la forme « moyenne » ou le plan cible que la machine tente de copier.
Le Paramètre de Précision ( $c$ ) : C'est comme le degré de « maniaquerie » ou de « rigueur » de la machine. Un $c$ élevé signifie que la machine est très stricte et produit des copies qui ressemblent presque exactement au plan. Un $c$ faible signifie que la machine est négligente et produit des copies sauvages et variées.

L'article soutient que, bien que le PD soit excellent pour modéliser des données continues (comme des courbes lisses), ses trajectoires sont en réalité discrètes (composées de sauts, et non de lignes lisses). Cela est généralement considéré comme un problème pour les données continues, mais l'auteur transforme cela en un atout. Il suggère que puisque les histogrammes sont déjà constitués de blocs discrets (des classes/bins), le PD est en fait l'outil parfait pour les modéliser directement.

Le Défi : Des Cartes Différentes, Un Seul Puzzle

La partie délicate est que, dans le monde réel, ces histogrammes ne s'alignent pas toujours. Un histogramme peut avoir des classes de 1 unité de large, tandis qu'un autre aura des classes de 1,5 unité de large. Ce sont comme des pièces de puzzle provenant de jeux différents. Pour résoudre cela, l'auteur crée une « partition commune ». Imaginez que vous preniez toutes ces cartes différentes et que vous les superposiez pour trouver la grille la plus petite et la plus détaillée qui puisse les contenir toutes. Chaque histogramme original est ensuite traduit dans cette nouvelle grille partagée. Cela permet aux mathématiques de comparer des pommes avec des pommes, même si les pommes originales ont été découpées en formes différentes.

La Magie Mathématique : Le Processus Multinomial

Pour déterminer les réglages de la machine ( $c$ et $F_0$ ), l'auteur utilise une astuce ingénieuse. Il réécrit le problème en utilisant une nouvelle variable, $G$ , qui est simplement la mesure de centrage multipliée par la précision ( $G = c \times F_0$ ). Cela transforme le problème en quelque chose de beaucoup plus facile à gérer.

Au lieu de deviner la forme directement, il utilise un Processus Multinomial comme un a priori. Si le Processus de Dirichlet est comme un sac magique de billes pouvant contenir une infinité de couleurs, le Processus Multinomial est comme un sac avec un nombre fixe et connu de billes. Cela correspond parfaitement aux mathématiques car la « masse » totale des données est fixe. En combinant cela avec une distribution Géométrique (une façon de deviner combien de billes se trouvent dans le sac), il construit un modèle statistique complet.

Pour résoudre les équations, il utilise une méthode informatique appelée MCMC (Monte Carlo par Chaînes de Markov). Vous pouvez imager cela comme un explorateur aveugle parcourant une montagne sombre, faisant de petits pas pour trouver le sommet le plus élevé (la réponse la plus probable). L'explorateur vérifie la pente à chaque étape et décide s'il doit continuer à marcher ou faire demi-tour. L'auteur a dû être prudent car les nombres peuvent devenir très petits et provoquer des erreurs informatiques, il a donc ajusté soigneusement la « taille de son pas » pour s'assurer que l'explorateur ne reste pas coincé ou ne tombe pas d'une falaise.

Les Résultats : Simulations et Vie Réelle

L'auteur a testé son idée de deux manières :

1. La Simulation (L'exercice pratique) :
Il a créé des données fictives en utilisant un mélange de deux courbes en cloche (une forme courante en statistiques). Il a généré 10 histogrammes à partir de ces données, certains avec 50 points de données et d'autres avec 100.

Scénario A : Tous les histogrammes utilisaient la même grille. Le modèle a réussi à deviner que le paramètre de « maniaquerie » ( $c$ ) était d'environ 74, avec un intervalle de confiance à 95 % de [71, 79]. Il a reconstruit la forme originale presque parfaitement, simplement de manière par étapes et sous forme de blocs.
Scénario B : Les histogrammes avaient des grilles différentes et aléatoires. C'est plus difficile, comme essayer d'assembler des pièces de puzzle venant de boîtes différentes. Le modèle a tout de même fonctionné, estimant $c$ autour de 135 (avec une plage de [120, 153]). Il a réussi à lisser le chaos et à trouver la véritable forme sous-jacente.

2. Données Réelles (Le test du monde réel) :
L'auteur a appliqué cela à des données réelles du travail au Mexique, en examinant la « Population Active Économiquement » (EAP) et la « Population Occupée Informellement » (IOP) à travers 2 478 municipalités sur 8 ans (2017–2024).

Données EAP : Les histogrammes pour ces années avaient des plages et des tailles de classes différentes. Après les avoir alignés, le modèle a trouvé que le paramètre de « maniaquerie » $c$ était d'environ 91 (plage [78, 84]). La forme estimée montre que la plupart des municipalités ont environ 57 % de leur population économiquement active, avec un pic entre 56 % et 58 %.
Données IOP : Pour la population informelle, le modèle a estimé $c$ à 127 (plage [98, 159]). Une découverte fascinante a émergé : pour environ 13 % à 17 % des municipalités, il existe une probabilité de 95 % que presque 100 % de leur population occupée travaille dans l'informel. L'auteur note que cela pourrait être un problème important pour les recettes fiscales au Mexique.

Ce Que Cela Signifie

L'article ne prétend pas avoir résolu toute la statistique, mais il montre une nouvelle façon efficace d'utiliser le Processus de Dirichlet. Au lieu de l'utiliser simplement comme une supposition de départ, nous pouvons l'utiliser comme l'histoire réelle de la création des données. L'auteur prouve qu'en utilisant une grille commune et un Processus Multinomial, nous pouvons prendre des histogrammes désordonnés et dépareillés et en extraire une image claire et partagée de la réalité.

L'auteur admet qu'il y a des obstacles sur la route. Le modèle déteste les chiffres zéro (on ne peut pas avoir une classe avec absolument rien dedans), et des nombres très petits peuvent faire planter l'ordinateur. Mais une fois ces problèmes résolus, la méthode est rapide — tournant en moins de 20 secondes sur un ordinateur standard.

En fin de compte, ce travail suggère que lorsque nous disposons d'une collection de vues différentes et segmentées du monde, le Processus de Dirichlet est peut-être la meilleure lentille dont nous disposons pour voir l'image globale clairement. C'est un rappel que parfois, pour comprendre l'ensemble, il faut arrêter d'essayer de lisser les blocs et commencer à les compter.

Résumé Technique : Le Processus de Dirichlet comme Distribution d'Échantillonnage

Énoncé du Problème
Le processus de Dirichlet (DP) est une pierre angulaire de la statistique bayésienne non paramétrique, traditionnellement introduit par Ferguson (1973) comme une distribution a priori pour une distribution d'échantillonnage inconnue $F$ . Dans les applications standards, on suppose que les données $X = (X_1, \dots, X_n)$ sont générées à partir de $F$ , et une loi a priori DP $F \sim DP(c, F_0)$ est placée sur $F$ pour faciliter l'inférence. Cependant, les propriétés du DP en tant que distribution d'échantillonnage elle-même n'ont pas été étudiées de manière approfondie, et l'inférence sur ses paramètres ( $c$ et $F_0$ ) n'a pas été développée dans ce contexte.

Cet article traite le problème inverse : considérer une collection de $n$ fonctions de répartition cumulées (CDF) ou d'histogrammes observés, $F_1, \dots, F_n$ , et supposer qu'ils ont été générés indépendamment d'un DP, soit $F_i \sim DP(c, F_0)$ . L'objectif est de réaliser une inférence bayésienne sur la mesure de centrage inconnue $F_0$ et le paramètre de précision $c$ . Ce cadre est motivé par la disponibilité croissante de grands ensembles de données souvent résumés sous forme de tableaux de fréquences ou d'histogrammes.

Méthodologie
La méthodologie proposée implique la reparamétrisation du modèle et la construction d'une structure a priori spécifique pour gérer la vraisemblance des données d'histogrammes.

Représentation des Données et Partition Commune :
Les données consistent en $n$ histogrammes, chacun pouvant être défini sur une partition différente $\Pi_i$ . Pour unifier les données, les auteurs construisent une partition commune $\Pi^*$ , définie comme l'intersection (le raffinement) de toutes les partitions originales $\Pi_i$ . Soient $B^*_j$ les intervalles de $\Pi^*$ . Les fréquences relatives des histogrammes originaux sont projetées sur cette partition commune. Pour garantir la validité de la distribution de Dirichlet (qui nécessite des arguments strictement positifs), les fréquences observées nulles se voient attribuer une petite valeur positive (par exemple 0,001) et les histogrammes sont renormalisés.
Construction de la Vraisemblance :
Sous l'hypothèse $F_i | c, F_0 \sim DP(c, F_0)$ , le vecteur des fréquences relatives pour toute partition suit une distribution de Dirichlet. La vraisemblance des paramètres étant donnés les données est le produit des densités de Dirichlet. Les auteurs introduisent une reparamétrisation $G = cF_0$ , où $G$ est une mesure non normalisée. La masse totale de $G$ correspond au paramètre de précision $c$ (c'est-à-dire $\sum G(B^*_j) = c$ ). La vraisemblance de $G$ est dérivée sur la base de la forme de la densité de Dirichlet.
Spécification de l'A Priori :
Pour faciliter l'inférence bayésienne, les auteurs proposent un Processus Multinomial (MP) comme loi a priori pour $G$ étant donné $c$ .

$G | c \sim MP(c, G_0)$ , où $G_0$ est une mesure de probabilité. Cela implique que pour toute partition, le vecteur $(G(B_1), \dots, G(B_K))$ suit une distribution multinomiale avec $c$ essais et des probabilités $G_0(B_j)$ .
Le paramètre de précision $c$ se voit assigner une loi géométrique, $c \sim Geo(\pi_0)$ .
Ce choix est motivé par le fait que l'a priori MP est partiellement conjugué avec la vraisemblance dérivée de l'hypothèse d'échantillonnage DP.

Inférence A Posteriori :
La distribution a posteriori est caractérisée par des distributions conditionnelles complètes pour $G$ et $c$ .

L'a posteriori conditionnelle pour $G$ implique une distribution multivariée qui peut être mise à jour élément par élément.
L'a posteriori conditionnelle pour $c$ dépend de l'état actuel de $G$ .
En raison de l'instabilité numérique découlant de l'évaluation des fonctions Gamma avec de grands arguments (spécifiquement lors du calcul des ratios de densités pour la probabilité d'acceptation de Metropolis-Hastings), l'échantillonnage direct est difficile. Les auteurs implémentent un algorithme de Metropolis-Hastings (MH) avec des propositions de marche aléatoire (distributions uniformes avec amplitude $\pm \delta$ ) pour échantillonner ces conditionnelles.

Contributions Clés et Résultats
L'article démontre la faisabilité de l'utilisation du processus de Dirichlet comme modèle générateur de données pour les histogrammes à travers des simulations et une application réelle.

Étude de Simulation :
- Scénario 1 : Les données ont été générées à partir d'un mélange de deux normales ( $n=10$ échantillons de taille 50) avec une partition commune. Le modèle a récupéré avec succès la mesure de centrage réelle $F_0$ et le paramètre de précision $c$ (moyenne a posteriori $\approx 74$ ).
- Scénario 2 : Les données ont été générées avec des tailles d'échantillons plus grandes ( $n=10$ , taille 100) et des partitions aléatoires, non alignées ( $k_i=7$ ). Le modèle a géré les partitions variables en construisant un raffinement commun ( $k=38$ ). L'a posteriori pour $c$ s'est concentré autour de 135, et l'estimation de $F_0$ suivait de près la densité réelle. La sélection de modèle via le logarithme de la Pseudo-Vraisemblance Marginale (LPML) a été utilisée pour ajuster l'a priori sur $c$ .
Analyse de Données Réelles :
L'article a appliqué le modèle aux indicateurs de travail de l'Institut National de Statistique et de Géographie du Mexique (INEGI) pour 2 478 municipalités sur 8 ans (2017–2024).
- Population Active Économique (PAE) : Le modèle a résumé 8 histogrammes avec des étendues variables en une partition commune. La moyenne a posteriori de $F_0$ indiquait un mode autour de 57 % (intervalle 56–58 %), avec un paramètre de précision $c \approx 91$ .
- Population Occupée Informellement (POI) : Appliqué à des histogrammes avec des tailles de classes et des étendues variables. La moyenne a posteriori de $F_0$ a suggéré que pour une partie significative des municipalités (masse de probabilité autour de 13–17 %), la quasi-totalité de la population occupée est informelle. Le paramètre de précision $c$ a été estimé à 127.

Signification et Revendications
L'article affirme combler une lacune dans la littérature en traitant le processus de Dirichlet comme une distribution d'échantillonnage plutôt que comme une loi a priori. La contribution principale est la formulation d'un cadre bayésien pour inférer les paramètres ( $c, F_0$ ) d'un DP lorsque les "données" sont elles-mêmes des distributions (histogrammes).

Les auteurs soulignent que, bien que l'implémentation soit directe, elle nécessite une gestion prudente des problèmes numériques, spécifiquement l'interdiction des fréquences nulles et la nécessité de fusionner les intervalles avec de très faibles fréquences pour éviter l'instabilité computationnelle. La méthode est efficace sur le plan informatique, avec des exemples s'exécutant en moins de 20 secondes sur un matériel standard.

L'article conclut modestement que cette approche permet de tirer profit de plusieurs histogrammes pour estimer une distribution sous-jacente commune. Il suggère que les travaux futurs pourraient incorporer des covariables, des structures de séries temporelles, ou explorer d'autres modèles non paramétriques discrets (par exemple, les processus de bris de bâton/stick-breaking), mais ne prétend pas être supérieur aux processus de Dirichlet hiérarchiques (Teh et al., 2006), notant plutôt que leur choix spécifique d'a priori (Processus Multinomial) était dicté par les propriétés de conjugaison de la forme de vraisemblance dérivée dans ce contexte.