Résumé Technique : Séparation Structurelle de l'Incertitude Épistémique et Alléatorique

1. Énoncé du Problème

L'incertitude prédictive est traditionnellement décomposée en incertitude épistémique (IE) (ignorance réductible du modèle) et incertitude alléatorique (IA) (ambiguïté persistante des données). Bien que conceptuellement distinctes, les méthodes standards pour estimer ces quantités échouent souvent à les séparer empiriquement. Les techniques telles que le Dropout de Monte Carlo, les ensembles profonds (Deep Ensembles) et les réseaux évidentiels dérivent les deux estimations à partir de la même distribution prédictive $p(y|x)$.

Cela crée un « piège algébrique » : puisque l'IE et l'IA sont toutes deux des fonctions de la même distribution, elles héritent d'une dépendance algébrique partagée. Des analyses récentes indiquent que ces composantes sont souvent fortement corrélées ($\rho \ge 0,78$), ce qui rend impossible la distinction entre un modèle confus (IE élevée) et des données intrinsèquement ambiguës (IA élevée). Des résultats formels (ex. Tomov et al., 2026) suggèrent qu'aucune fonction post-hoc de $p(y|x)$ ne peut distinguer de manière unique l'erreur réductible de l'ambiguïté intrinsèque, car différents états d'incertitude sous-jacents peuvent induire la même distribution prédictive optimale.

2. Méthodologie : Séparation Structurelle

Le papier propose la séparation structurelle comme principe de conception pour briser ce couplage algébrique. Au lieu de dériver les deux incertitudes à partir d'un seul objet prédictif, les auteurs assignent l'IE et l'IA à des chemins de paramètres disjoints au sein de Modèles à Variables Latentes Supervisés (SLVMs).

Architecture Centrale : Modèle de Goulot d'Étranglement de Concepts (CBM) Créal

L'instanciation principale est un CBM Créal construit sur un encodeur gelé (ex. DistilBERT). L'architecture introduit trois chemins de paramètres orthogonaux :

1. Chemin de la Moyenne ($\mu$) : Prédit l'estimation ponctuelle des concepts, alimentant la tête de tâche.
2. Tête Épistémique ($\sigma_{epi}$) : Entraînée pour suivre l'erreur de prédiction réductible. Elle est paramétrée par un ensemble disjoint $\phi_{epi}$ et supervisée par une perte combinant l'erreur de prédiction (avec des arrêts de gradient pour éviter le détournement) et un régularisateur KL de Hausdorff.
3. Tête Alléatorique ($\sigma_{ale}$) : Entraînée pour suivre l'ambiguïté de l'étiquette persistante. Elle est paramétrée par un ensemble disjoint $\phi_{ale}$ et supervisée directement par l'entropie de la distribution de l'étiquette de vérité terrain ($H[\hat{p}^*]$), dérivée du désaccord entre annotateurs ou de distributions de réponses issues de corpus.

Mécanismes Clés

• Paramétrage Disjoint : Les têtes épistémique et alléatorique utilisent des ensembles de paramètres non chevauchants ($\phi_{epi} \cap \phi_{ale} = \emptyset$).
• Projections Orthogonales : La sortie de l'encodeur $h$ est projetée dans des sous-espaces orthogonaux ($W_{epi}h$, $W_{ale}h$) pour garantir que les têtes reçoivent des entrées de caractéristiques non chevauchantes.
• Isolation des Gradients : La perte d'entraînement est décomposée de telle sorte que la perte épistémique ($L_{epi}$) dépend uniquement de $\phi_{epi}$ et la perte alléatorique ($L_{ale}$) dépend uniquement de $\phi_{ale}$. Les auteurs prouvent (Théorème 3.3) que dans ces conditions, les cross-gradients sont identiquement nuls ($\nabla_{\phi_{epi}} L_{ale} = 0$ et $\nabla_{\phi_{ale}} L_{epi} = 0$).
• Ensembles Créaux : Le modèle représente les concepts comme des ensembles créaux (ensembles convexes de distributions de probabilité) définis par une moyenne $\mu$ et une covariance épistémique $\Sigma_{epi}$, tandis que la variance alléatorique $\sigma_{ale}$ est modélisée séparément à l'extérieur de l'ensemble créal.

3. Contributions Clés

1. Principe de Séparation Structurelle : Le papier introduit un cadre pour les SLVMs où l'IE et l'IA sont calculées à partir de chemins de paramètres supervisés distincts plutôt que d'une décomposition post-hoc de $p(y|x)$.
2. Théorème d'Isolation de Gradient : Une preuve formelle démontrant qu'avec des paramètres disjoints et des termes de perte séparés, les têtes d'IE et d'IA restent découplées pendant l'entraînement, évitant ainsi le piège algébrique identifié dans les travaux antérieurs.
3. Instanciation du CBM Créal : Une implémentation spécifique utilisant un Modèle de Goulot d'Étranglement de Concepts Créal qui utilise des projections orthogonales et des fonctions de perte hybrides pour parvenir à cette séparation.
4. Diagnostics Complets : Les auteurs introduisent et valident des métriques pour tester non seulement la décorrélation, mais aussi la validité sémantique :
   • Isolation de Gradient : Vérification des cross-gradients nuls.
   • Corrélation : Mesure de $\rho(U_{epi}, U_{ale})$.
   • Réductibilité par Mise à l'Échelle des Données : Vérification si l'IE diminue à mesure que les données augmentent.
   • Suivi de l'Ambiguïté : Vérification si l'IA est corrélée à l'ambiguïté de la vérité terrain ($H[\hat{p}^*]$).

4. Résultats Expérimentaux

La méthode a été évaluée sur cinq benchmarks : trois jeux de données de goulot d'étranglement de concepts (CEBaB, HateXplain, GoEmotions) avec ambiguïté dérivée des annotateurs, et deux jeux de données de QA (MAQA*, AmbigQA*) avec ambiguïté dérivée de corpus.

• Décorrélation : La séparation structurelle a réduit la corrélation de Spearman entre l'IE et l'IA de la plage de référence $\rho \in [0,75, 0,84]$ (observée dans les méthodes standards comme les Deep Ensembles et le Dropout de Monte Carlo) à $\rho \approx 0,05$. Même sans pénalité de décorrélation explicite ($\lambda_d = 0$), la corrélation est restée faible ($\rho \in [0,12, 0,23]$), nettement en dessous du « plancher post-hoc ».
• Validité Sémantique :
  • Suivi Alléatorique : La tête alléatorique a montré une forte corrélation avec l'ambiguïté de la vérité terrain ($\rho(\sigma_{ale}, H) \in [0,42, 0,74]$), alors que les modèles de référence présentaient un suivi beaucoup plus faible.
  • Sensibilité Épistémique : La tête épistémique est restée sensible à l'erreur de prédiction et a montré la signature de réductibilité attendue (diminution des normes de gradient à mesure que les données d'entraînement augmentaient).
• Utilité Aval : La méthode a permis un routage par quadrants, distinguant avec succès les cas suivants :
  • DONNÉES (DATA) (IE élevée, IA faible) : Cas nécessitant plus de données (ex. faits obscurs).
  • RÉVISION (REVIEW) (IE faible, IA élevée) : Cas nécessitant une revue humaine en raison de l'ambiguïté inhérente (ex. opinions subjectives).
    Les modèles de référence standards ont fait s'effondrer ces cas distincts sur une diagonale, échouant ainsi à soutenir ces décisions opérationnelles.
• Robustesse : Les résultats se sont maintenus à travers différentes architectures d'encodeurs (DistilBERT, BERT, RoBERTa) et ont été corroborés par une instanciation de Réseau de Neurones Auto-Explicatif (SENN).

5. Signification et Revendications

Le papier affirme que les architectures de variables latentes supervisées fournissent une voie pratique vers des estimations d'incertitude qui ne sont pas seulement décorrelées, mais opérationnellement distinguables.

• Surmonter l'Impossibilité : En déplaçant l'estimation de l'espace de sortie (fonctions de $p(y|x)$) vers l'espace des paramètres (têtes séparées avec des gradients séparés), l'approche contourne les résultats d'impossibilité qui s'appliquent aux décompositions post-hoc.
• Distinction Opérationnelle : La principale signification n'est pas seulement la décorrélation statistique, mais la capacité de soutenir des décisions différentes : une IE élevée signale un besoin de plus de données ou d'amélioration du modèle, tandis qu'une IA élevée signale un besoin d'abstention ou de revue humaine.
• Limites : Les auteurs notent modestement que le cadre repose sur la disponibilité de structures latentes supervisées (concepts) et de signaux de supervision liés à l'ambiguïté (ex. données multi-annotateurs). Ils reconnaissent que le passage à l'ajustement fin (fine-tuning) de bout en bout des grands modèles de langage (LLM) pourrait nécessiter un routage de gradient prudent pour maintenir la séparation, et que les benchmarks actuels sont construits spécifiquement pour cet usage et sont relativement petits.

En résumé, l'article soutient que la séparation architecturale, combinée à des cibles de supervision distinctes, est une condition nécessaire et efficace pour produire des estimations d'incertitude qui sont sémantiquement valides et utiles pour la prise de décision.