PCS-UQ: Uncertainty Quantification via the Predictability-Computability-Stability Framework

Résumé Technique : PCS-UQ : Quantification de l'incertitude via le cadre Prédictibilité-Calculabilité-Stabilité

Énoncé du Problème
Alors que les systèmes d'apprentissage automatique (ML) sont déployés dans des domaines à enjeux élevés, le besoin d'une quantification de l'incertitude (UQ) digne de confiance est devenu critique pour la sécurité et la fiabilité. L'inférence statistique traditionnelle repose sur la spécification d'un modèle génératif correct, une hypothèse souvent violée par les modèles complexes modernes (par exemple, les grands modèles de langage) et les ensembles de données massifs et multimodaux. Bien que l'inférence conforme offre une alternative sans distribution garantissant une couverture marginale sous l'hypothèse d'échangeabilité, elle souffre de trois limitations clés : (1) elle manque de mécanisme explicite pour le filtrage de l'adéquation du modèle, ce qui peut produire des ensembles de prédiction instables ou inutilement larges si le modèle de base est médiocre ; (2) sa validité est marginale, entraînant souvent des déficits de couverture sur des sous-groupes spécifiques ; et (3) les comparaisons empiriques des méthodes conformes à travers diverses conditions réelles restent limitées. De plus, le « jardin des chemins de bifurcation » (garden of forking paths) du cycle de vie de la science des données — les choix concernant le nettoyage des données, la sélection de modèles et les hyperparamètres — crée un univers caché d'incertitude souvent ignoré par les méthodes d'UQ standard.

Méthodologie : Le Cadre PCS-UQ
Les auteurs proposent PCS-UQ, un cadre fondé sur les principes de Prédictibilité-Calculabilité-Stabilité (PCS) pour une science des données véridique. La méthode est conçue pour produire des intervalles de prédiction robustes (pour la régression) et des ensembles de prédiction (pour la classification) en intégrant le filtrage de modèle, le rééchantillonnage et le calibrage adaptatif.

1. Prédictibilité (Filtrage de Modèle) : Le cadre commence par un ensemble d'algorithmes candidats. Les données sont divisées en ensembles d'entraînement et de validation. Les algorithmes sont entraînés sur l'ensemble d'entraînement, et ceux qui performent mal sur l'ensemble de validation (basé sur une fonction de perte) sont écartés. Cela garantit que l'incertitude est quantifiée uniquement à l'aide de modèles qui capturent suffisamment le processus générateur de données sous-jacent.
2. Stabilité (Bootstrapping) : Pour évaluer la variabilité en échantillon fini et l'instabilité algorithmique, l'ensemble filtré d'algorithmes est ajusté sur plusieurs jeux de données obtenus par bootstrapping. Cela crée une « pseudo-population » de modèles. Pour la régression, la méthode utilise des échantillons Out-of-Bag (OOB) pour assurer une utilisation efficace des données sans nécessiter un ensemble de validation fixe distinct pour chaque itération de bootstrap.
3. Calculabilité (Calibrage et Efficacité) :
   • Calibrage Multiplicatif : Contrairement aux méthodes conformes standard qui utilisent un calibrage additif (élargissant les intervalles par une constante fixe), PCS-UQ emploie un schéma de calibrage multiplicatif novateur. Il ajuste la largeur de l'intervalle en fonction de la dispersion locale des prédictions de bootstrap. Cela permet à l'intervalle de s'élargir de manière adaptative pour les échantillons où l'ensemble de modèles présente une incertitude élevée, améliorant ainsi la couverture locale et de sous-groupe.
   • Approximations par Apprentissage Profond : Pour traiter le coût computationnel de l'entraînement de multiples modèles de deep learning, les auteurs proposent deux variantes d'approximation : (1) le Monte-Carlo Dropout pondéré, où les nœuds sont supprimés proportionnellement à l'activation, et (2) la Perturbation de Bruit Additif, où un bruit gaussien est ajouté aux poids. Ces méthodes génèrent des modèles perturbés à partir d'un seul réseau entraîné, évitant ainsi un réentraînement coûteux.

Contributions Clés

• Cadre Novateur : Introduction de PCS-UQ, qui unifie le filtrage de modèle, l'évaluation de la stabilité par bootstrap et le calibrage multiplicatif pour remédier aux limites des méthodes conformes existantes.
• Compilation de Benchmarks : Création d'un benchmark complet comprenant 17 jeux de données de régression réels et 6 jeux de données de classification multiclasse. Crucialement, les auteurs ont construit manuellement des sous-groupes naturels pour chaque jeu de données (basés sur les distributions de caractéristiques) afin d'évaluer rigoureusement la couverture des sous-groupes, une métrique souvent négligée dans la littérature conforme.
• Lien Théorique : L'article établit un lien formel entre PCS-UQ et l'inférence conforme. Il démontre que l'étape de calibrage multiplicatif peut être vue comme une nouvelle fonction de score conforme. Sous un algorithme modifié (division des données en ensembles d'entraînement, de validation et de calibrage), les auteurs prouvent que PCS-UQ préserve une couverture valide sous l'échangeabilité, jetant ainsi un pont entre les principes PCS et l'inférence conforme divisée (split conformal inference).
• Scalabilité : Développement de variantes computationnellement efficaces pour le deep learning qui maintiennent une couverture valide tout en réduisant considérablement le temps d'exécution par rapport au réentraînement complet par bootstrap.

Résultats

• Performance en Régression : Sur 17 jeux de données réels, PCS-UQ a maintenu la couverture marginale cible de 90 % tout en produisant des intervalles de prédiction en moyenne 10 à 20 % plus étroits que les baselines conformes à "modèle oracle sélectionné" (Split Conformal, Studentized Conformal, et Jackknife+-après-Bootstrap).
• Couverture de Sous-groupes : PCS-UQ a systématiquement atteint la couverture cible à travers les sous-groupes construits. En revanche, les méthodes conformes standard (même avec des modèles sélectionnés par oracle) ont fréquemment présenté des déficits de couverture sur certains sous-groupes. Le calibrage multiplicatif a été identifié comme le moteur clé de cette adaptativité de sous-groupe.
• Performance en Classification : Sur 6 jeux de données de classification multiclasse, PCS-UQ a réduit la taille des ensembles de prédiction d'environ 20 % par rapport aux baselines conformes (APS, RAPS, TopK) tout en maintenant une couverture de 90 %.
• Efficacité du Deep Learning : Sur trois benchmarks de vision par ordinateur (CIFAR-100, Caltech Birds, ImageNet-Small), les méthodes d'approximation proposées ont réduit la taille des ensembles de prédiction d'environ 20 % par rapport aux baselines conformes. Ces approximations étaient 30 à 100 fois plus rapides que l'original PCS-UQ basé sur le bootstrap, trouvant un équilibre entre efficacité computationnelle et qualité de l'intervalle.

Signification
L'article soutient qu'une UQ digne de confiance nécessite une vision plus large du cycle de vie de la science des données, allant au-delà de la simple dépendance à des modèles génératifs correctement spécifiés ou à des garanties marginales seules. En intégrant le cadre PCS, les auteurs démontrent qu'il est possible d'atteindre à la fois des largeurs d'intervalles compétitives et une couverture de sous-groupe cohérente. Ce travail souligne que la vérification explicite du modèle (prédictibilité) et le calibrage adaptatif (mise à l'échelle multiplicative) sont essentiels pour une quantification de l'incertitude robuste dans des contextes réels complexes. Le lien théorique avec l'inférence conforme valide davantage les choix méthodologiques, suggérant que PCS-UQ offre une voie pratique et théoriquement fondée pour une prise de décision responsable en IA.