Trustworthy Prediction with Gaussian Process Knowledge Scores

Titre : Prédiction Fiable avec des Scores de Connaissance pour les Processus Gaussiens

1. Problématique

Les modèles probabilistes, tels que les régressions par processus gaussiens (GPR), sont largement utilisés pour prédire des valeurs dans des régions de l'espace des données où aucune observation n'est disponible. Cependant, un défi majeur réside dans l'incertitude quant à la fiabilité de ces prédictions.

• Le manque de confiance : Les mesures de précision classiques (sur les ensembles d'entraînement ou de test) ne permettent pas de déterminer si une prédiction spécifique est bien informée par les données vues précédemment.
• Le problème de l'extrapolation : La fiabilité d'un modèle diminue souvent lorsque l'entrée s'éloigne de la distribution des données d'entraînement (problèmes d'extrapolation, détection d'anomalies, ou données manquantes).
• La nécessité d'un rejet : Il est crucial que les modèles sachent reconnaître leurs limites et puissent « s'abstenir » de produire une sortie lorsqu'ils ne sont pas suffisamment informés, évitant ainsi des erreurs coûteuses dans des tâches comme la détection d'anomalies ou l'imputation de données.

2. Méthodologie : Le Score de Connaissance

Les auteurs proposent un nouveau métrique appelé Score de Connaissance ($G$), spécifiquement conçu pour les modèles de régression par processus gaussiens (GPR).

• Définition Formelle : Le score quantifie la réduction de la variance de la prédiction grâce à l'observation des données d'entraînement. Il est défini comme le rapport entre la réduction de variance et la variance a priori :
  $$G(x, D) = \frac{\text{Var}(F(x)|x) - \text{Var}(F(x)|x, D)}{\text{Var}(F(x)|x)}$$
  Où :

  • $\text{Var}(F(x)|x)$ est la variance a priori (incertitude avant d'avoir vu les données).
  • $\text{Var}(F(x)|x, D)$ est la variance a posteriori (incertitude après avoir conditionné sur l'ensemble de données $D$).

• Propriétés Clés :

  • Borné : Pour les modèles gaussiens, le score est naturellement borné entre 0 et 1.
  • Interprétabilité :
    • $G \approx 1$ : La prédiction est fortement informée par les données d'entraînement (la variance a posteriori est bien inférieure à la variance a priori).
    • $G \approx 0$ : La prédiction repose principalement sur la distribution a priori (le modèle est « ignorant » à cet endroit).
  • Indépendance : Le score ne dépend pas de la valeur de sortie observée $y^*$, ce qui permet de l'évaluer avant même de faire la prédiction finale.
  • Formule Explicite (GPR) : Grâce à la forme fermée de la variance a posteriori en GPR, le score peut être calculé directement via la fonction de noyau $k$ et la matrice de covariance $K$ :
    $$G(x, D) = \frac{k(x)^\top (K + \sigma^2 I)^{-1} k(x)}{k(0, 0)}$$

3. Contributions Principales

1. Introduction du concept de Score de Connaissance : Une métrique normalisée et interprétable pour évaluer la fiabilité d'une prédiction probabiliste.
2. Cadre de Détection d'Anomalies à Deux Étages : Les auteurs proposent une approche où le score de connaissance est utilisé comme premier filtre.
   • Étape 1 : Si $G(x, D) < \rho$ (seuil), la classe est considérée comme « inconnue » et le modèle refuse de classifier.
   • Étape 2 : Si $G(x, D) \ge \rho$, une détection d'anomalie standard est appliquée.
   • Cela permet d'éliminer les prédictions peu fiables (zones d'extrapolation) avant de prendre une décision critique.
3. Application à l'Imputation de Données Manquantes : Utilisation du score pour déterminer la longueur maximale acceptable d'un segment de données manquantes avant que l'interpolation ne devienne trop incertaine.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur trois types de problèmes :

• A. Détection d'Anomalies sur Données Synthétiques :

  • Sur un jeu de données où les points de test sont générés dans une région non couverte par l'entraînement ($x > 1$), la variance prédictive augmente rapidement.
  • L'utilisation du score de connaissance pour filtrer les points à faible score améliore considérablement la courbe ROC (Receiver Operating Characteristic). En rejetant les prédictions incertaines, le taux de détection des vraies anomalies augmente tandis que les faux positifs diminuent.

• B. Extrapolation sur des Données Électriques (Réel) :

  • Utilisation d'un jeu de données de consommation électrique (UCI). Un modèle GPR est entraîné sur 1000 échantillons et doit extrapoler plusieurs jours dans le futur.
  • Le score de connaissance décroît à mesure que l'écart temporel avec les données d'entraînement augmente, reflétant le retour de la distribution vers l'a priori.
  • Ce score fournit une métrique objective pour déterminer au-delà de quelle durée l'extrapolation n'est plus fiable.

• C. Imputation de Données Manquantes (Fréquence Cardiaque Fœtale) :

  • Sur des enregistrements de cardiotocographie (CTG) avec des segments manquants de longueurs variables.
  • Le score de connaissance chute plus fortement pour les segments longs.
  • Cela permet d'établir un critère principiel pour décider si un segment manquant doit être interpolé (si le score reste élevé) ou supprimé (si le score est trop bas), évitant ainsi l'introduction de distorsions dans les analyses en aval.

5. Signification et Conclusion

Cet article apporte une contribution significative au domaine de l'apprentissage automatique fiable (Trustworthy ML).

• Prise de décision éclairée : Le score de connaissance offre un moyen mathématiquement fondé de quantifier la confiance d'un modèle, au-delà de simples intervalles de confiance qui peuvent être difficiles à calibrer.
• Gestion de l'incertitude : Il permet aux systèmes de reconnaître leurs propres limites, ce qui est essentiel pour le déploiement de l'IA dans des domaines critiques (santé, énergie).
• Flexibilité : Bien que présenté ici pour les GPR, le concept est généralisable à d'autres modèles probabilistes.

En résumé, les auteurs démontrent que l'intégration d'un score de connaissance permet d'améliorer la robustesse des modèles de régression en évitant de faire confiance à des prédictions qui ne sont pas étayées par les données d'entraînement, optimisant ainsi les performances dans des tâches d'extrapolation, d'interpolation et de détection d'anomalies.