Credal Concept Bottleneck Models for Epistemic-Aleatoric Uncertainty Decomposition

1. Énoncé du problème

Dans les applications de Traitement du Langage Naturel (NLP) à haut risque (par exemple, santé, droit, finance), les modèles standard produisent un seul score de confiance qui confond deux types d'incertitude distincts :

• Incertitude Épistémique : Incertitude réductible causée par l'ignorance du modèle ou une sous-spécification (par exemple, le modèle n'a pas vu suffisamment d'exemples d'entraînement similaires).
• Incertitude Aléatoire : Incertitude irréductible causée par l'ambiguïté inhérente ou le bruit dans les données d'entrée (par exemple, les annotateurs humains sont en désaccord réel sur l'étiquette).

Limites des approches actuelles :

• Concept Bottleneck Models (CBM) : Bien que les CBM améliorent l'interprétabilité en prédisant des concepts intermédiaires compréhensibles par l'humain, ils produisent généralement des probabilités ponctuelles (valeurs uniques). Cela effondre les incertitudes épistémique et aléatoire, rendant impossible la détermination de la raison pour laquelle une prédiction est incertaine.
• Fossé d'Actionnabilité : Sans décomposition, les praticiens ne peuvent pas distinguer les cas où le modèle a besoin de plus de données d'entraînement (forte incertitude épistémique) des cas où un examen humain est requis en raison d'une entrée ambiguë (forte incertitude aléatoire).

2. Méthodologie : CREDENCE

Les auteurs proposent CREDENCE (Credal Ensemble Concept Estimation), un cadre qui décompose l'incertitude au niveau des concepts par construction.

Innovations architecturales principales

1. Prédictions crédales (Intervalles) : Au lieu d'une seule probabilité $p_k$, chaque concept $k$ est prédit sous la forme d'un intervalle de probabilité $[p_k, \bar{p}_k]$. Cet intervalle représente un Ensemble Crédal, capturant la gamme des probabilités plausibles.
2. Séparation structurelle de l'incertitude : L'architecture garantit que les signaux épistémiques et aléatoires proviennent de sources distinctes pour éviter qu'ils ne s'effondrent en un seul score.
   • Incertitude Épistémique ($U_{epi}$) : Dérivée du désaccord de l'ensemble. Le modèle utilise $H$ têtes légères diversifiées (adaptateurs LoRA) avec des rangs et des taux de dropout variables. La variance de leurs prédictions quantifie la confusion du modèle.
   • Incertitude Aléatoire ($U_{ale}$) : Dérivée d'une tête dédiée entraînée spécifiquement pour prédire le désaccord des annotateurs (ambiguïté). Cette tête apprend à produire une valeur proportionnelle à la variance des étiquettes humaines pour un concept donné.

Étapes du pipeline

1. Encodeur : Un modèle pré-entraîné figé (par exemple, RoBERTa, LLM) encode le texte d'entrée $x$ en une représentation $h$.
2. Têtes d'ensemble : $H$ têtes LoRA diversifiées prédisent les probabilités de concepts $\hat{p}_h^{(k)}$.
3. Agrégation Crédale :
   • Les bornes de l'intervalle sont formées : $C_k = [\min_h \hat{p}_h^{(k)}, \max_h \hat{p}_h^{(k)}]$.
   • L'incertitude épistémique est calculée comme la variance entre les têtes : $U_{epi}^{(k)} = \text{Var}_h[\hat{p}_h^{(k)}]$.
4. Tête Aléatoire : Une tête séparée prédit $\sigma_\theta^{(k)}$, entraînée pour correspondre au taux de désaccord des annotateurs observé (vérité terrain) pendant l'entraînement.
5. Classification et Décision :
   • Les étiquettes finales sont prédites en utilisant la moyenne des probabilités de concepts.
   • Règles de décision : Le système utilise les signaux décomposés pour router les échantillons :
     • Confiance : Faible Epi, Faible Ale $\rightarrow$ Automatiser.
     • Collecte de données : Forte Epi, Faible Ale $\rightarrow$ Collecter plus de données d'entraînement.
     • Examen humain : Faible Epi, Forte Ale $\rightarrow$ Rediriger vers des humains (l'entrée est ambiguë).
     • Abstention : Forte Epi, Forte Ale $\rightarrow$ Refuser la prédiction.

3. Contributions clés

1. Formulation CBM Crédale : Une variante novatrice de CBM qui représente les prédictions de concepts sous forme d'intervalles de probabilité plutôt que d'estimations ponctuelles, permettant une quantification rigoureuse de l'incertitude.
2. Décomposition structurelle : Une méthode qui sépare les signaux épistémiques (confusion du modèle) et aléatoires (ambiguïté des données) en utilisant des composants architecturaux distincts (variance de l'ensemble vs tête d'ambiguïté supervisée), empêchant l'effondrement du signal.
3. Conseils prescriptifs actionnables : Démontre que la décomposition de l'incertitude permet des interventions spécifiques et optimisées (par exemple, prioriser la collecte de données pour les erreurs épistémiques par rapport à l'examen humain pour les cas aléatoires).

4. Résultats expérimentaux

Le cadre a été évalué sur plusieurs tâches de NLP (Sentiment, Émotion, Toxicité) en utilisant des jeux de données tels que CEBaB, GoEmotions, HateXplain et SST-2.

• Validité de la décomposition (RQ1 & RQ2) :

  • Corrélation Épistémique : CREDENCE montre une forte corrélation positive entre l'incertitude épistémique et les erreurs de prédiction ($\rho_{epi} \approx 0,287$ sur CEBaB). Lorsque le modèle se trompe, les têtes de l'ensemble sont en désaccord.
  • Corrélation Aléatoire : L'incertitude aléatoire est fortement corrélée au désaccord des annotateurs ($\rho_{ale} \approx 0,785$ sur CEBaB), surpassant largement les modèles de référence (par exemple, CBM+Ensemble $\rho_{ale} \approx 0,356$).
  • Séparation : Sur SST-2 (qui manque d'étiquettes de désaccord d'annotateurs), l'incertitude aléatoire ne montre correctement aucune corrélation avec les erreurs, prouvant qu'elle mesure l'ambiguïté et non l'échec du modèle.

• Actionnabilité (RQ3) :

  • Intervention sur les concepts : Le remplacement des concepts à forte incertitude aléatoire par des étiquettes de vérité terrain produit des gains de précision significativement plus élevés ($\Delta Acc \approx 18,9\%$) par rapport au remplacement de concepts à forte incertitude épistémique ($\Delta Acc \approx 4,3\%$). Cela suggère que les concepts ambigus influencent davantage les résultats de la tâche que la confusion du modèle.
  • Efficacité du routage : Le cadre de décision à quatre quadrants identifie les cas d'"Examen humain" (Faible Epi, Forte Ale) où le modèle est en fait correct mais où les humains sont en désaccord, atteignant le gain de précision potentiel le plus élevé ($85,7\%$) s'ils sont correctement redirigés.

• Efficacité : CREDENCE atteint ces résultats avec une surcharge minimale (en utilisant des adaptateurs LoRA) par rapport aux ensembles profonds complets, maintenant une précision compétitive tout en fournissant des signaux d'incertitude riches.

5. Signification et impact

• Lien entre théorie et pratique : L'article va au-delà de la quantification théorique de l'incertitude pour fournir des actions prescriptives. Il indique aux praticiens quoi faire en fonction du type d'incertitude (par exemple, "collecter des données" par rapport à "envoyer à un humain").
• Gestion de la subjectivité : Dans les tâches de NLP où la "vérité terrain" est souvent un composite de jugements humains contestés (subjectivité), distinguer l'ignorance du modèle de l'ambiguïté inhérente est crucial. CREDENCE fournit le premier cadre CBM pour modéliser explicitement cette distinction.
• Collaboration Humain-IA : En identifiant les cas où le jugement humain est essentiel (forte incertitude aléatoire) par rapport aux cas où le modèle a simplement besoin de plus d'entraînement (forte incertitude épistémique), le cadre optimise l'allocation des ressources humaines et des budgets de collecte de données.
• Robustesse : La méthode généralise à travers différentes échelles de modèles (des encodeurs de 66 millions de paramètres aux LLM de 8 milliards de paramètres) et diverses tâches de NLP.

En résumé, CREDENCE transforme l'incertitude d'un simple score de confiance opaque en un outil de diagnostic structuré et actionnable, permettant un déploiement plus fiable et efficace des systèmes d'IA dans des environnements à haut risque.