Résumé technique : Les deltas de variance pour la visualisation et l'explication de l'incertitude postérieure

Énoncé du problème

Dans les contextes observationnels où le processus générateur de données est incontrôlé et complexe, l'incertitude statistique concernant les quantités d'intérêt est souvent trop élevée pour permettre une inférence substantielle. Les causes communes incluent l'insuffisance de données, des types de données incorrects ou des paramètres de nuisance non identifiés. Bien que des remèdes tels que la collecte de plus de données ou l'incorporation d'informations a priori existent, identifier l'information manquante spécifique nécessaire pour réduire l'incertitude est difficile. Les outils de visualisation existants (par exemple, les histogrammes, les nuages de points) échouent souvent à capturer les multiples niveaux de variation et d'incertitude inhérents aux inférences bayésiennes. De plus, la découverte d'explications à l'incertitude nécessite généralement une analyse manuelle du modèle et des conjectures substantielles, car les outils actuels n'identifient pas automatiquement quels sous-ensembles de quantités ou de paramètres inconnus du modèle sont les plus responsables de l'incertitude postérieure.

Méthodologie

Le document propose les deltas de variance, un système de visualisation interactif conçu pour structurer et automatiser partiellement la recherche d'explications de l'incertitude postérieure dans un cadre bayésien. Le système est implémenté sous la forme d'un package logiciel, variance-deltas.

Concepts fondamentaux

1. Indice d'incertitude ($U^2_I$) : Le système quantifie le pouvoir explicatif d'un sous-ensemble d'inconnues $\psi_I$ (où $I \subseteq I^* \setminus \{i_\theta\}$) concernant une quantité d'intérêt $\theta$. L'indice est défini comme la variance postérieure attendue de $\theta$ étant donné $\psi_I$, normalisée par la variance postérieure totale :
   $$U^2_I = \frac{E[\text{Var}(\theta \mid y, \psi_I) \mid y]}{\text{Var}(\theta \mid y)}$$
   Un $U^2_I$ faible indique que l'observation de $\psi_I$ réduirait significativement l'incertitude concernant $\theta$. Ceci est lié à l'indice de Sobol', qui mesure la sensibilité de la moyenne conditionnelle $E[\theta \mid y, \psi_I]$ à $\psi_I$.

2. Arbres distributaires : La visualisation prend la forme d'un arbre dont la racine est la quantité d'intérêt $\theta$. Les nœuds non racines représentent des sous-ensembles d'inconnues (explications). La structure de l'arbre encode les relations d'indépendance conditionnelle dérivées de la factorisation du modèle. Les chemins de la racine vers les feuilles représentent des chaînes de Markov, reflétant un flux d'information décroissant. La position horizontale d'un nœud correspond à son indice de racine d'incertitude (sur une échelle d'écart-type).

3. Algorithme de construction :

   • Factorisation et graphes : La méthode utilise la factorisation de la densité postérieure sur un ensemble de facteurs $F$. Un graphe de facteurs ($G_F$) et un graphe de Markov ($M_F$) sont construits où les sommets représentent les quantités du modèle et les arêtes représentent les dépendances.
   • Mesure de spécificité : Pour éviter des explications trop larges (par exemple, "toutes les données"), le système utilise une mesure de « spécificité de vraisemblance » ($S_{lik}$). Elle mesure la distance entre un ensemble d'inconnues et les facteurs de vraisemblance dans le graphe de facteurs. Les explications impliquant des quantités pertinentes pour un petit ensemble de facteurs de vraisemblance sont considérées comme plus spécifiques et utiles.
   • Génération de l'arbre : En utilisant l'Algorithme 1, le système construit des chaînes de Markov de la racine ($\theta$) vers les nœuds feuilles (données hypothétiques ou paramètres spécifiques) en trouvant de manière itérative des ensembles séparateurs dans le graphe de Markov qui satisfont la condition de Markov. L'Algorithme 2 greffe ensuite ces chaînes en un arbre distributaire unique.
   • Estimation : Les indices d'incertitude sont estimés à partir d'échantillons postérieurs en utilisant une stratégie de division des données pour éviter le biais de surapprentissage. Un régresseur de type forêt aléatoire est utilisé pour estimer l'espérance conditionnelle $E[\theta \mid \psi_I]$.

4. Opérations interactives : Les utilisateurs peuvent transformer l'arbre de manière interactive pour découvrir de meilleures explications grâce à :

   • Le branchement (Branching) : Ajouter des sous-ensembles des inconnues d'un nœud pour tester si un ensemble plus petit est presque aussi explicatif.
   • La subdivision (Subdividing) : Insérer des nœuds intermédiaires pour diviser l'écart entre les niveaux d'incertitude du parent et de l'enfant.
   • La fusion (Merging) : Combiner des nœuds pour tester si l'union de deux explications comble un écart de réduction d'incertitude.

Principales contributions

• Découverte automatisée d'explications : Le système automatise la génération de sous-ensembles candidats d'inconnues à partir d'une entrée utilisateur minimale (racine et nœuds feuilles), en les organisant dans un arbre basé sur leur capacité à expliquer l'incertitude.
• Exploration interactive : Il fournit une suite d'opérations (branchement, subdivision, fusion) permettant aux utilisateurs de naviguer efficacement dans l'espace des explications potentielles sans tâtonnement manuel.
• Fondement théorique : Le document établit les propriétés mathématiques des « arbres distributaires », prouvant qu'ils maintiennent des propriétés de chaîne de Markov valides et que les algorithmes de construction produisent des arbres séparateurs valides.
• Implémentation logicielle : Les auteurs fournissent le package R variance-deltas, permettant de reproduire les figures et d'appliquer la méthode à de nouveaux modèles.

Résultats et applications

Les auteurs démontrent l'utilité du système à travers deux études de cas :

1. Inférence causale simulée (Données de panel) :

   • Contexte : Estimation d'un effet de traitement dans un cadre de contrôle synthétique avec des données de panel.
   • Résultat : Le delta de variance a révélé que si les unités individuelles apportaient peu d'informations, la combinaison de données hypothétiques provenant d'unités spécifiques (1, 2 et 3) réduisait significativement l'incertitude.
   • Insight : L'analyse a identifié que le principal goulot d'étranglement n'était pas la quantité de données, mais l'incertitude concernant les corrélations latentes (chargements/loadings) entre l'unité traitée et les unités de contrôle. La connaissance exacte de ces chargements réduisait l'incertitude attendue à près d'un quart de son niveau initial.

2. Modèle de sondage (Élection présidentielle américaine de 2016) :

   • Contexte : Prévision de la part de voix démocrate dans le Wisconsin en utilisant un modèle bayésien dynamique complexe avec plusieurs sources de biais (effets de sondeurs, effets de mode, non-réponse, etc.).
   • Résultat : Le système a déterminé que la réalisation de sondages supplémentaires une semaine avant l'élection apporterait une amélioration minimale de la précision des prévisions.
   • Insight : L'incertitude était principalement pilotée par l'erreur de mesure au niveau de l'état ($\xi$) et l'incertitude d'extrapolation temporelle. L'analyse a montré que même avec une connaissance parfaite des paramètres de biais, une partie significative de l'incertitude subsistait en raison de l'incapacité à prédire parfaitement le résultat du jour de l'élection à partir des données pré-électorales. Cependant, la combinaison de nouveaux sondages avec des informations sur l'erreur de mesure au niveau de l'état pouvait réduire substantiellement l'incertitude.

Signification et limites

Le document affirme que les deltas de variance offrent une nouvelle façon de dépasser les visualisations postérieures statiques pour « découvrir » activement des explications non évidentes de l'incertitude. En structurant la recherche d'informations manquantes, la méthode aide les analystes à déterminer si la collecte de plus de données est réalisable ou si le modèle lui-même nécessite une refonte (par exemple, traiter le problème de la non-identification).

Les auteurs notent modestement les limites suivantes :

• Densité du graphe : L'efficacité de la méthode dépend de la parcimonie du graphe de Markov sous-jacent. Dans des graphes très denses (par exemple, de grandes régressions), les arbres résultants peuvent être trop peu profonds ou les ensembles d'explications trop larges pour être traitables.
• Approximation : La méthode repose sur l'estimation des espérances conditionnelles via la régression (forêts aléatoires), ce qui introduit un biais si l'estimateur ne possède pas une erreur quadratique moyenne nulle, bien que l'approche de division des données garantisse que l'estimateur est conservateur (susceptible de sous-estimer la réduction de l'incertitude plutôt que de la surestimer).
• Paramètres globaux : Pour les graphes « presque parsimonieux » possédant quelques sommets « globaux » hautement connectés, les auteurs proposent une extension théorique (Algorithme 3) pour conditionner sur ces sommets, bien que les défis de mise en œuvre pratique subsistent concernant la taille des ensembles d'indices résultants.

Ce travail se positionne au sein de la littérature plus large sur le workflow bayésien et l'analyse de sensibilité, étendant des outils comme shinystan et bayesplot en se concentrant spécifiquement sur l'explication de l'incertitude plutôt que sur sa simple visualisation ou le contrôle diagnostique.