Résumé technique : Évaluation de la quantification de l'incertitude alignée sur la décision

Énoncé du problème

La quantification de l'incertitude (UQ) en apprentissage automatique est cruciale pour une prise de décision fiable dans les domaines critiques pour la sécurité. Cependant, l'évaluation des méthodes d'UQ repose actuellement sur des métriques de substitution génériques telles que la log-vraisemblance négative (NLL), le score de Brier (BS) et l'erreur de calibration attendue (ECE). Un décalage fondamental existe : une haute performance sur ces métriques standards ne se traduit pas nécessairement par une utilité élevée dans les problèmes de décision en aval. Les auteurs soutiennent que les protocoles d'évaluation actuels risquent d'optimiser pour des mondes décisionnels « erronés » car ces métriques encodent implicitement des croyances a priori spécifiques, souvent pathologiques, sur les coûts de décision ou échouent totalement à s'aligner sur les utilités de décision.

Méthodologie

Le papier introduit un cadre formel appelé alignement décisionnel pour analyser la relation entre les métriques d'évaluation et les utilités de décision en aval.

1. Critère d'alignement décisionnel

Une métrique $M$ est définie comme alignée sur la décision par rapport à une famille d'utilités de décision $\{U_\theta\}_{\theta \in \Theta}$ s'il existe une distribution a priori $\pi$ sur les paramètres d'utilité $\theta$ telle que la valeur de la métrique est une transformation strictement croissante de l'utilité attendue sous ce a priori. Formellement :
$$h_y(M_y(f)) = \int_{\Theta} -U_{\theta, y}(f) \pi(\theta) d\theta$$
où $h_y$ est une fonction strictement croissante. Cela implique qu'une métrique alignée sur la décision classe les modèles exactement comme le ferait l'utilité attendue sous le a priori $\pi$ implicite.

2. Analyse des métriques communes

Les auteurs appliquent ce cadre aux métriques d'UQ standard pour les tâches de classification et de régression, en considérant des familles de décisions telles que :

• Décisions binaires : Classification sensible au coût (ex: diagnostic médical).
• Sélection Top-k : Sélection d'un sous-ensemble de prédictions à haute confiance (ex: systèmes de recommandation).
• Prédiction sélective : Décider de prédire ou de s'abstenir en fonction de l'incertitude (ex: déléguer à un expert humain).

L'analyse révèle que :

• Métriques dépendantes des coordonnées : Les métriques comme l'ECE, le MCE, le R-AUC et l'E-Det ne sont pas alignées sur la décision pour les familles d'utilités séparables par point, car elles couplent les prédictions à travers l'ensemble du jeu de données, violant la séparabilité requise pour l'alignement avec les utilités de décision standard.
• Règles de score propres (PSRs) : Bien que des métriques comme la NLL et le BS soient des règles de score propres, elles ne sont alignées sur la décision que sous des a priori spécifiques et souvent pathologiques. Par exemple :
  • La NLL implique un a priori $\pi(c) \propto 1/(c(1-c))$, plaçant une masse non bornée sur des rapports de coûts extrêmes où un type d'erreur est essentiellement gratuit.
  • L'Exactitude (Acc) implique un a priori dégénéré supposant des coûts parfaitement symétriques.
  • Le BS implique un a priori uniforme, qui peut ne pas refléter les asymétries de coûts du monde réel.
• A prioris pathologiques : Les a prioris implicites des métriques standard placent souvent de la masse dans des régions où la quantification de l'incertitude est la moins nécessaire (ex: frontières de décision triviales) ou supposent des structures de coûts irréalistes.

3. Solution proposée : Métriques d'Utilité Pondérées par l'A Priori (PWU)

Pour remédier à ces désalignements, les auteurs proposent des métriques d'Utilité Pondérée par l'A Priori (PWU). Ce sont une classe de règles de score propres construites en intégrant explicitement une fonction d'utilité de décision contre un a priori plausible $\pi$ qui reflète des contextes de décision réalistes :
$$M_\pi(f, y) = \int_{\Theta} -U_\theta(f, y) \pi(\theta) d\theta$$
Contrairement aux métriques standard, les métriques PWU permettent aux chercheurs de définir explicitement le contexte de décision (via la famille d'utilité) et la croyance sur les paramètres de décision (via l'a priori), garantissant que la métrique est intrinsèquement alignée sur la décision.

Contributions clés

1. Cadre d'alignement décisionnel : Un critère formel pour déterminer si une métrique d'UQ s'aligne sur les utilités de décision, révélant que les métriques communes soit encodent des a prioris pathologiques, soit ne possèdent aucun croyance décisionnelle cohérente.
2. Diagnostic théorique : Une analyse systématique montrant que les métriques dépendantes des coordonnées (ECE, R-AUC, etc.) sont fondamentalement désalignées avec les problèmes de décision séparables par point, et que même les PSR indépendantes des coordonnées (NLL, BS) reposent souvent sur des a prioris implicites implausibles.
3. Métriques d'Utilité Pondérée par l'A Priori : L'introduction d'une nouvelle classe de métriques qui sont, par définition, alignées sur la décision. Ces métriques offrent un moyen rigoureux d'évaluer les méthodes d'UQ en fonction de leur valeur pour des scénarios de décision spécifiques.
4. Validation empirique : Des expériences étendues sur des jeux de données de référence et des études de cas réels démontrant que les métriques PWU s'alignent systématiquement sur l'utilité de décision réalisée, alors que les métriques conventionnelles échouent souvent à le faire.

Résultats

Les auteurs ont mené des expériences sur 10 modèles de classification binaire et 10 modèles de régression à travers cinq jeux de données, évaluant l'alignement via le $\tau$ de Kendall entre les classements des métriques et les classements d'utilité.

• Jeux de données de référence : Dans des expériences contrôlées, les métriques PWU ont systématiquement obtenu l'alignement le plus élevé avec leurs familles d'utilité correspondantes. En revanche, les métriques conventionnelles (NLL, BS, ECE, etc.) ont montré un alignement faible ou négatif, particulièrement dans les tâches de sélection Top-k et de prédiction sélective.
• Études de cas réels :
  • Offres sur le marché de l'électricité : Dans un scénario d'enchères pour un parc éolien, les métriques conventionnelles n'ont montré aucun alignement positif stable avec l'utilité d'enchère, tandis que les métriques PWU (spécifiquement celles pour la prédiction sélective) ont présenté un fort alignement.
  • Approbation de crédit et prêt P2P : Dans des tâches de décision financière avec des coûts dépendant du client, les métriques PWU se sont alignées de manière robuste sur l'utilité de décision, même lorsque les paramètres de décision spécifiques dans l'étude de cas différaient des a prioris utilisés pour construire les métriques PWU.
• Robustesse : Les analyses de sensibilité ont démontré que les métriques PWU restent robustes à la spécification erronée de l'a priori. Même lorsqu'un a priori était significativement perturbé, les métriques PWU maintenaient un fort alignement d'utilité positif, surpassant les métriques conventionnelles qui reposent sur des a prioris implicites fixes et pathologiques.

Signification et affirmations

Le papier affirme que la pratique dominante consistant à évaluer l'UQ avec des métriques génériques peut être systématiquement trompeuse lorsque l'objectif est de soutenir des décisions en aval. Les auteurs soutiennent que :

1. Les benchmarks actuels sont défectueux : Les métriques standard optimisent silencieusement pour des mondes décisionnels pathologiques, favorisant potentiellement des modèles qui performent bien sur la NLL ou l'ECE mais échouent dans des applications pratiques sensibles aux coûts.
2. Les a prioris explicites sont nécessaires : Des progrès significatifs en apprentissage automatique probabiliste nécessitent de s'éloigner des hypothèses implicites. En énonçant explicitement l'a priori $\pi$ et la famille d'utilité, les chercheurs peuvent s'assurer que les benchmarks d'UQ évaluent des méthodes qui permettent une prise de décision fiable.
3. Une extension rigoureuse : Les métriques PWU offrent une extension structurée des protocoles d'évaluation existants. Elles ne remplacent pas les règles de score propres mais les affinent pour qu'elles soient pertinentes pour la décision.

Les auteurs concluent que les futurs benchmarks d'UQ devraient rapporter une variété de métriques PWU aux côtés des métriques conventionnelles afin de couvrir un éventail de contextes décisionnels plausibles, permettant ainsi de faire émerger les méthodes qui sont réellement utiles pour les applications en aval.