Fine-Grained Uncertainty Quantification via Collisions

1. Problématique et Contexte

L'adoption croissante de l'apprentissage automatique dans des domaines à haut risque (santé, finance, recrutement) exige une compréhension précise de l'incertitude des prédictions. L'article se concentre sur l'incertitude aléatoire (aleatoric uncertainty), qui est inhérente à la distribution des données et ne peut pas être réduite par l'acquisition de plus de connaissances ou de données (contrairement à l'incertitude épistémique).

Les défis actuels incluent :

• Manque de granularité : Les métriques existantes, comme le taux d'erreur de Bayes (BER) ou l'entropie, fournissent souvent une mesure globale d'incertitude pour l'ensemble du système ou une seule valeur par classe. Elles échouent à capturer les nuances de la difficulté à distinguer des paires de classes spécifiques.
• Estimation des probabilités a posteriori : Dans des scénarios réels, les données d'entraînement sont étiquetées de manière "one-hot" (une seule classe par échantillon). Il est difficile d'estimer la véritable distribution de probabilité a posteriori (qui reflète l'ambiguïté intrinsèque) car les étiquettes ne révèlent pas les classes alternatives probables.

2. Méthodologie Proposée

Les auteurs proposent une nouvelle métrique appelée Matrice de Collision et un cadre complet pour son estimation et son utilisation.

A. La Matrice de Collision ($S$)

La matrice de collision $S$ est une matrice stochastique par lignes de taille $K \times K$ (où $K$ est le nombre de classes).

• Définition : L'entrée $S_{i,j}$ représente l'espérance que, si un vecteur de caractéristiques observé initialement dans la classe $i$ est réobservé, il soit classé dans la classe $j$.
• Interprétation : $S_{i,j}$ mesure la difficulté intrinsèque à distinguer la classe $i$ de la classe $j$. Une valeur élevée indique une forte ambiguïté (ou similarité sémantique) entre ces deux classes.
• Propriétés mathématiques :
  • $S$ est liée au taux d'erreur de Bayes (BER).
  • Sous des priors uniformes, $S$ est symétrique et doublement stochastique.
  • Les éléments diagonaux et hors-diagonaux permettent de dériver la précision et le rappel théoriques d'un classifieur Bayésien Probabiliste (PBC).

B. Estimation de la Matrice de Collision

Estimer $S$ directement est difficile car il nécessite de connaître les probabilités a posteriori $P(c|x)$, qui ne sont pas disponibles dans les données étiquetées one-hot. Les auteurs proposent une approche en deux étapes basée sur des propriétés mathématiques uniques :

1. Estimation de la Gramienne des Lignes ($G$) :

   • Au lieu d'estimer $S$ directement, ils estiment d'abord la matrice $G = S S^T$.
   • Les éléments de $G$ sont interprétés comme la probabilité que deux échantillons $x$ et $\tilde{x}$ (tirés respectivement des distributions des classes $i$ et $j$) appartiennent à la même classe.
   • Modèle Contrastif Pair-à-Pair : Pour estimer $G$, les auteurs entraînent un modèle contrastif binaire $V(x, \tilde{x})$ qui prédit si deux entrées appartiennent à la même classe. Ce modèle est entraîné sur des paires d'échantillons étiquetés (même classe vs classes différentes).
   • La matrice $G$ est estimée empiriquement en moyennant les sorties de $V$ sur toutes les paires d'entraînement.

2. Récupération de $S$ à partir de $G$ :

   • Un résultat théorique clé (Théorème 1) démontre que, sous des hypothèses raisonnables (matrice non négative, symétrique et à dominance diagonale stricte), la matrice $S$ est uniquement déterminée par sa Gramienne $G$.
   • Un algorithme d'optimisation (descente de gradient) est utilisé pour résoudre le problème inverse : trouver la matrice $S$ qui minimise $\| \hat{S}\hat{S}^T - \hat{G} \|_F$ tout en respectant les contraintes de stochasticité et de dominance diagonale.

C. Estimation des Distributions A Posteriori

Une fois $S$ estimée, elle peut être utilisée pour reconstruire la distribution de probabilité a posteriori $y(x)$ pour n'importe quel nouvel échantillon $x$ :

• On calcule d'abord les scores de similarité attendus $q(x)$, où $q_i(x)$ est la similarité moyenne entre $x$ et les échantillons de la classe $i$ (estimée via le modèle $V$).
• Il existe une relation linéaire : $q(x) = S \cdot y(x)$.
• En inversant la matrice estimée, on obtient l'estimation de la distribution a posteriori : $\hat{y}(x) = \hat{S}^{-1} \hat{q}(x)$.

3. Contributions Clés

1. Nouvelle Métrique d'Incertitude : Introduction de la matrice de collision comme mesure fine et intuitive de l'incertitude aléatoire, capable de distinguer les paires de classes confusibles.
2. Résultat Théorique sur les Matrices : Preuve que la décomposition de la Gramienne d'une matrice stochastique non négative et à dominance diagonale stricte est unique. Cela permet de récupérer $S$ sans connaître les étiquettes probabilistes.
3. Méthode d'Estimation Innovante : Développement d'un pipeline complet utilisant un modèle contrastif pair-à-pair pour estimer $S$ à partir de données one-hot, évitant ainsi le besoin de modèles de calibration complexes ou d'ensembles bayésiens coûteux.
4. Application aux Probabilités A Posteriori : Démonstration que la matrice de collision permet de transformer des scores de similarité en distributions de probabilités a posteriori fiables, offrant une quantification d'incertitude au niveau de l'individu.

4. Résultats Expérimentaux

Les auteurs ont validé leur méthode sur des données synthétiques (mélanges gaussiens) et des données réelles (MNIST, Adult Income, Law School, Diabetes, German Credit).

• Estimation de $S$ :

  • Sur des données synthétiques, la méthode basée sur la Gramienne (Algorithme 1) surpasse systématiquement les approches de base (classifieur calibré, Dropout MC, Réseaux Bayésiens) en termes de distance de variation totale (TVD) par rapport à la matrice de vérité terrain.
  • La méthode est plus robuste et nécessite moins d'époques d'entraînement que les ensembles bayésiens pour atteindre une précision comparable.
  • Sur MNIST, la matrice estimée identifie correctement les paires de chiffres ambigus (ex: 3 et 5, 4 et 9) avec des taux de collision élevés, tandis que les autres paires montrent une faible incertitude.

• Estimation des Posteriors :

  • Sur les données synthétiques, la méthode proposée produit des estimations de posteriors plus précises et avec une variance beaucoup plus faible que les méthodes de calibration ou les ensembles.
  • Sur MNIST, pour des images ambiguës (ex: un "0" mal dessiné), la méthode attribue une probabilité élevée aux deux classes plausibles, reflétant l'ambiguïté visuelle, contrairement aux classifieurs standards souvent trop confiants.

• Insights sur les Données Réelles :

  • L'analyse des matrices de collision sur des jeux de données tabulaires révèle des limitations intrinsèques. Par exemple, pour la prédiction du diabète, la matrice indique une faible précision inévitable (beaucoup de faux positifs) mais un bon rappel, suggérant que les données sont utiles pour le dépistage (risque élevé) mais insuffisantes pour un diagnostic définitif, quelle que soit la complexité du modèle.

5. Signification et Impact

Cet article apporte une avancée significative dans le domaine de la quantification de l'incertitude (UQ) :

• Granularité : Il passe d'une vision globale de l'incertitude à une vision "fine" (pair-à-pair), permettant de comprendre exactement quelles classes sont confondues et pourquoi.
• Indépendance du Classifieur : La matrice de collision est une propriété de la distribution des données, indépendante du classifieur utilisé. Elle sert de référence objective pour évaluer la performance potentielle maximale d'un système.
• Praticité : La méthode permet d'extraire des informations probabilistes riches à partir de données étiquetées simplement (one-hot), sans nécessiter d'annotations coûteuses ou de modèles bayésiens lourds.
• Applications Potentielles : La méthode ouvre la voie à de nouvelles stratégies d'apprentissage, telles que le lissage d'étiquettes (label smoothing) basé sur les données, l'échantillonnage adaptatif pour les classes difficiles, et la consolidation de classes pour rendre des problèmes de classification insolubles, traitables.

En résumé, ce travail propose un cadre mathématiquement fondé et empiriquement validé pour mesurer et exploiter l'incertitude aléatoire avec une précision sans précédent, reliant directement la structure des données à la performance des classifieurs.