📊 statistics

Conformal Prediction for Hierarchical Data

Ce papier propose une méthode de prédiction conforme par partition pour des données hiérarchiques qui intègre une étape de projection (réconciliation) pour exploiter les dépendances structurelles, permettant ainsi d'obtenir des régions de prédiction globalement plus petites tout en maintenant à la fois des garanties de couverture conjointe et composante par composante.

Auteurs originaux : Guillaume Principato, Gilles Stoltz, Yvenn Amara-Ouali, Yannig Goude, Bachir Hamrouche, Jean-Michel Poggi

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guillaume Principato, Gilles Stoltz, Yvenn Amara-Ouali, Yannig Goude, Bachir Hamrouche, Jean-Michel Poggi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo pour un pays entier. Vous disposez d'un modèle qui vous fournit une prévision pour chaque ville, chaque bourg et chaque village. Mais voici le hic : votre modèle est un peu désordonné. Il pourrait prédire que les précipitations totales pour l'ensemble du pays s'élèvent à 100 mm, mais si vous additionnez les précipitations de toutes les villes individuelles, le total s'élève à 120 mm. Les chiffres ne s'additionnent pas. Dans le monde des données, cela s'appelle un manque de cohérence.

Ce papier traite de la résolution de ce désordre et de la réduction de la « file de sécurité » autour de vos prédictions pour la rendre plus précise, sans pour autant la rendre moins sûre.

Voici la décomposition de leur travail, en utilisant des analogies simples :

1. Le Problème : La « Carte Désordonnée »

Imaginez que vous avez une carte d'un pays divisé en régions, et des régions divisées en villes.

La Hiérarchie : Le total des précipitations pour le pays doit être égal à la somme des pluies dans toutes ses régions, qui doit être égal à la somme des pluies dans toutes ses villes. C'est la « structure hiérarchique ».
La Prévision : Vous utilisez un modèle informatique intelligent pour deviner la pluie pour chaque ville.
Le Problème : L'ordinateur est bon, mais pas parfait. Si vous prenez simplement ses prévisions brutes, les chiffres ne s'additionnent pas. Le « total du pays » ne correspondra pas à la « somme des villes ».

2. La File de Sécurité : La Prédiction Conformée

Lorsque nous faisons des prédictions, nous ne connaissons jamais la réponse exacte. Ainsi, au lieu de dire « Il pleuvra exactement 5 mm », nous traçons un cadre (une région de prédiction) et disons : « Il pleuvra quelque part entre 4 mm et 6 mm ».

L'Objectif : Nous voulons que ce cadre soit petit (précis) mais toujours assez grand pour capturer la vraie réponse 90 % du temps (fiable).
La Méthode Actuelle : Les méthodes standards dessinent ces cadres indépendamment pour chaque ville. Elles ne se soucient pas si les cadres des villes s'additionnent au cadre du pays. Cela aboutit souvent à des cadres énormes et gaspilleurs, car la méthode joue trop sur la sécurité, ignorant le fait que les villes sont connectées.

3. La Solution : La « Réconciliation » (Le Projecteur)

Les auteurs combinent deux idées :

La Prédiction Conformée : La méthode pour dessiner les cadres de sécurité.
La Réconciliation de Prévisions : Une technique utilisée pour corriger la « carte désordonnée » afin que les chiffres s'additionnent.

L'Analogie :
Imaginez que vous projetez l'ombre d'un objet 3D sur un mur 2D.

La Prévision Brute : Vous avez un objet 3D (vos prévisions) qui flotte légèrement au-dessus du mur. Il ne touche pas la surface où il est censé être.
L'Étape de Projection : Les auteurs prennent cet objet flottant et le « projettent » directement sur le mur. Cela force l'objet à s'aplatir et à obéir aux règles du mur (la hiérarchie).
Le Résultat : Une fois l'objet aplati sur le mur, les ombres (les cadres de prédiction) deviennent plus serrées et plus efficaces.

4. La Grande Découverte : Des Cadres Plus Petits, Même Sécurité

L'article prouve deux choses principales :

Pour l'Image Globale (Couverture Jointe) : Si vous voulez un seul cadre géant couvrant la météo de tout le pays à la fois, utiliser cette étape de « projection » rend le cadre plus petit (plus précis) tout en maintenant la même garantie de sécurité de 90 %. C'est comme rétrécir une couverture lâche pour qu'elle s'adapte parfaitement à un lit sans laisser de trous.
Pour les Parties Individuelles (Couverture Composante) : C'est la partie plus difficile. Ils voulaient rendre les cadres plus petits pour chaque ville spécifique individuellement, tout en assurant que l'ensemble du système fonctionne.
- Ils ont introduit une nouvelle façon de mesurer l'efficacité.
- Ils ont prouvé qu'en utilisant un type spécifique de « projection » (appelée étape de réconciliation) qui respecte la hiérarchie, les cadres individuels pour chaque ville deviennent plus petits que si vous les aviez simplement devinés un par un.
- Le Hic : Pour obtenir les cadres les plus petits possibles, vous devez en savoir un peu sur le comportement des erreurs de votre modèle (spécifiquement, leur « covariance »). Si vous ne connaissez pas cela parfaitement, vous pouvez toujours obtenir de meilleurs cadres en utilisant une version « robuste » de la projection, bien que peut-être pas les plus petits possibles.

5. Ce Qu'ils Ont Testé

Ils n'ont pas seulement fait des mathématiques sur papier ; ils ont lancé des simulations.

Ils ont créé de fausses données qui ressemblaient à une hiérarchie complexe (comme un arbre généalogique de consommation d'énergie ou de ventes).
Ils ont comparé leur nouvelle méthode « Réconciliée » avec l'ancienne méthode « Brute ».
Le Résultat : La nouvelle méthode a constamment produit des régions de prédiction plus serrées et plus efficaces (cadres plus petits) sans perdre aucune des garanties de sécurité. Dans certains cas, l'amélioration était massive (réduisant la taille de la zone de prédiction jusqu'à 65 % dans leurs tests).

Résumé en Une Phrase

Les auteurs ont trouvé comment prendre un ensemble désordonné de prévisions qui ne s'additionnent pas, les forcer à obéir aux règles de leur hiérarchie (comme un arbre généalogique), et utiliser cette structure pour rétrécir les « files de sécurité » autour des prédictions, les rendant beaucoup plus précises sans les rendre moins fiables.

Résumé technique : Prédiction conforme pour données hiérarchiques

Énoncé du problème
L'article aborde le défi de la construction de régions de prédiction valides pour des données multivariées présentant une structure hiérarchique, où certaines composantes sont des combinaisons linéaires d'autres (par exemple, des sommes régionales s'agrégeant en totaux nationaux). Bien que la prédiction conforme (CP) standard offre des garanties de couverture pour des échantillons finis sur des données multivariées, elle ignore souvent les contraintes structurelles inhérentes aux données hiérarchiques. À l'inverse, les techniques de réconciliation de prévisions exploitent ces contraintes linéaires pour améliorer la cohérence des prévisions ponctuelles, mais ont historiquement eu du mal à étendre ces avantages à la prévision probabiliste avec une quantification rigoureuse de l'incertitude. Le problème central consiste à combiner ces deux procédures a posteriori pour produire des régions de prédiction à la fois statistiquement valides (garantissant la couverture) et efficaces (minimisant la taille de la région) tout en respectant les contraintes de cohérence hiérarchique.

Méthodologie
Les auteurs proposent un cadre intégrant la Prédiction Conforme Fractionnée (SCP) avec la Réconciliation de Prévisions via une étape de projection. La méthodologie opère sous une hypothèse d'indépendance et d'identité de distribution (i.i.d.) pour les données et les scores de non-conformité, avec des hypothèses distributionnelles spécifiques introduites pour l'analyse d'efficacité.

Cadre hiérarchique : Les données $y \in \mathbb{R}^m$ satisfont $y = H y_{1:n}$ , où $H$ est une matrice structurelle connue reliant les niveaux les plus désagrégés ( $n$ ) aux niveaux agrégés ( $m$ ). Les vecteurs satisfaisant $u = H u_{1:n}$ sont qualifiés de « cohérents ».
Deux objectifs de couverture :
- Couverture conjointe : Garantir que le vecteur réel $y_{T+1}$ tombe dans un ensemble de prédiction multivarié $C(x_{T+1})$ avec une probabilité $1-\alpha$ .
- Couverture composante par composante : Garantir que chaque composante individuelle $y_{T+1,i}$ tombe dans son intervalle spécifique $C_i(x_{T+1})$ avec une probabilité $1-\alpha$ . Ceci est identifié comme un objectif plus naturel pour les données hiérarchiques où les composantes sont souvent analysées individuellement.
Procédure proposée (SCP réconciliée) :
- Pour la couverture conjointe : Les auteurs adaptent l'approche SCP ellipsoïdale (Johnstone & Cox, 2021 ; Messoudi et al., 2022). Ils introduisent une matrice de projection $P_A$ (orthogonale dans la norme $A$ ) sur le sous-espace cohérent $\text{Im}(H)$ . Le régresseur est modifié en $\hat{\mu} = P_A \hat{\mu}_{base}$ , et les scores de non-conformité sont calculés basés sur la distance entre les observations et ces prévisions projetées.
- Pour la couverture composante par composante : Les auteurs utilisent des scores de non-conformité signés ( $s_t = y_t - \hat{\mu}_t$ ). Contrairement aux résidus absolus, les résidus signés préservent la propriété de cohérence linéaire ( $s_t = P s_t$ si $\hat{\mu}_t$ est projeté). La procédure applique la SCP composante par composante à ces scores signés après projection des prévisions de base sur le sous-espace cohérent.
Analyse d'efficacité :
- L'efficacité théorique est analysée sous l'hypothèse que les résidus suivent une distribution elliptique.
- Pour un vecteur de poids fixe $w$ , les auteurs démontrent que la projection des prévisions en utilisant une matrice spécifique $P_w$ (dérivée de $H$ et $w$ ) réduit la somme attendue des carrés des longueurs d'intervalle par rapport aux prévisions non projetées.
- Un résultat « oracle » plus fort est dérivé en supposant que la matrice de covariance $\Sigma$ des scores est connue. En utilisant la projection Minimum-Trace (MinT) ( $P_{\Sigma^{-1}}$ ), la méthode réalise des améliorations d'efficacité uniformes par rapport à toute autre matrice de projection.

Contributions clés

Synthèse novatrice : Ce travail est le premier à combiner formellement la prédiction conforme et la réconciliation de prévisions pour construire des régions de prédiction valides et efficaces pour des données hiérarchiques.
Garanties de couverture composante par composante : L'article introduit et analyse un critère de couverture composante par composante, plus pertinent pour les applications hiérarchiques que la couverture conjointe. Il démontre que la SCP réconciliée proposée (Algorithme 5) maintient ces garanties.
Preuves d'efficacité :
- Couverture conjointe : Les auteurs démontrent que les régions de prédiction ellipsoïdales réconciliées sont uniformément plus petites (en mesure de Lebesgue) que les régions ellipsoïdales standard, à condition que la matrice de projection soit choisie correctement.
- Couverture composante par composante : Sous des hypothèses de distribution elliptique, l'article établit que les intervalles de prédiction réconciliés sont plus efficaces (longueurs carrées attendues plus petites) que les intervalles standards composante par composante. Cela est réalisé en reliant la minimisation des longueurs d'intervalle aux problèmes de minimisation de la trace centraux dans la littérature sur la réconciliation de prévisions (spécifiquement, l'approche MinT).
Innovation technique : Les auteurs comblent le fossé entre les deux domaines en utilisant des scores de non-conformité signés pour gérer l'absence d'hypothèses d'absence de biais généralement requises en réconciliation de prévisions, tout en exploitant des inégalités de trace pour prouver des gains d'efficacité dans le cadre conforme.

Résultats
Les résultats théoriques sont validés par des expériences extensives sur des données hiérarchiques synthétiques de complexités variables (jusqu'à 1 801 nœuds).

Couverture : Tous les algorithmes proposés atteignent avec succès les niveaux de couverture cibles (90 %) pour les objectifs conjoints et composante par composante sur toutes les configurations.
Efficacité (Conjointe) : La méthode ellipsoïdale réconciliée (Algorithme 2) produit systématiquement des volumes de prédiction plus petits que la ligne de base (Algorithme 1).
Efficacité (Composante par composante) :
- La stratégie de réconciliation par Moindres Carrés Pondérés (WLS) (utilisant des estimations de covariance diagonales) surpasse systématiquement la ligne de base (Directe) et d'autres méthodes (OLS, Combi), réduisant les longueurs totales d'intervalle de 15 % à 65 %.
- La stratégie MinT (utilisant la matrice de covariance complète) fonctionne le mieux pour les petites hiérarchies mais devient peu fiable pour les grandes hiérarchies (Configurations 5 et 6) en raison de problèmes potentiels de singularité dans l'estimation de la matrice de covariance.
- Les méthodes Combi et OLS montrent des performances mitigées, OLS étant robuste mais moins efficace que WLS.

Portée et affirmations
L'article prétend fournir une base théorique pour améliorer la quantification de l'incertitude dans les contextes hiérarchiques. En démontrant que les contraintes structurelles peuvent être exploitées a posteriori pour réduire les régions de prédiction sans sacrifier la couverture, le travail offre une alternative pratique à la modélisation hiérarchique coûteuse en calculs pendant la phase d'entraînement.

Les auteurs font preuve de modestie concernant la portée de leurs garanties théoriques, notant que l'analyse repose sur un cadre i.i.d. et des hypothèses de distribution elliptique. Ils déclarent explicitement que les séries temporelles hiérarchiques réelles violent souvent l'hypothèse i.i.d. sur les scores de non-conformité. Par conséquent, l'article positionne ses résultats comme une étape fondamentale, suggérant que les travaux futurs devraient étendre ces principes aux données non échangeables (par exemple, via une inférence conforme adaptative) et aux hiérarchies dynamiques. La signification principale réside dans l'établissement du fait que la « réconciliation » n'est pas seulement un outil pour les prévisions ponctuelles, mais un mécanisme valide pour améliorer l'efficacité des ensembles de prédistribution sans distribution.