Résumé technique : Seuil sensible à la pertinence dans la prédiction conforme en ligne pour les séries temporelles

Énoncé du problème

Les applications d'apprentissage automatique dans des domaines sensibles (santé, finance, etc.) nécessitent de plus en plus une quantification robuste de l'incertitude. Bien que la prédiction conforme (CP) offre des garanties de couverture indépendantes de la distribution, sa formulation classique repose sur l'hypothèse d'échangeabilité des données, ce qui est fréquemment violé dans les séries temporelles en raison des changements de distribution.

Pour remédier à cela, des méthodes de prédiction conforme en ligne (OCP) ont été développées pour mettre à jour dynamiquement les intervalles de prédiction en fonction des erreurs observées. Cependant, les méthodes OCP de pointe actuelles (telles que PID et ECI) reposent généralement sur une évaluation binaire de la performance de prédiction : si la vérité terrain se trouve à l'intérieur ou à l'extérieur de l'intervalle de prédiction. Cette approche binaire rejette l'information précieuse concernant l'amplitude de l'erreur lorsque la vérité terrain est à l'extérieur de l'intervalle, ou le degré de sécurité lorsqu'elle est à l'intérieur. Par conséquent, ces méthodes peuvent produire des intervalles de prédiction excessivement conservateurs (larges) ou souffrir d'ajustements de seuil abrupts, menant à des sorties peu informatives.

Méthodologie

Le papier propose un cadre de seuil sensible à la pertinence (Relevance-Aware Thresholding) qui remplace l'indicateur d'erreur binaire par une fonction continue quantifiant la « pertinence » d'un intervalle de prédiction.

Concept central

Au lieu d'utiliser la fonction indicatrice $1\{Y_t \notin \hat{C}_t\}$, les auteurs introduisent une famille de fonctions personnalisables, $f_{\omega, v, \mu_t}(s_t - q_t)$, qui cartographient la distance entre la vérité terrain ($Y_t$) et les bornes de prédiction vers une valeur dans $[0, 1]$.

• Entrée : La quantité $s_t - q_t$, où $s_t$ est le score de non-conformité (distance entre la prédiction et la vérité terrain) et $q_t$ est le seuil actuel.
• Comportement :
  • Si la vérité terrain est loin à l'extérieur de l'intervalle ($s_t - q_t \gg 0$), la fonction approche 1, signalant la nécessité d'augmenter significativement le seuil pour l'étape suivante.
  • Si la vérité terrain est loin à l'intérieur de l'intervalle ($s_t - q_t \ll 0$), la fonction approche 0, signalant que le seuil peut être diminué pour resserrer l'intervalle.
  • Si la vérité terrain est proche de la limite, la fonction transite de manière fluide autour du niveau de sous-couverture cible $\alpha$.

Conception de la fonction

La famille de fonctions proposée est définie par :
$$f_{\omega,v,\mu_t}(s_t - q_t) = \sum_{i=1}^l \omega_i \cdot \sigma\left( \frac{v_i}{\mu_t} \cdot (s_t - q_t) - \ln\left(\frac{1-\alpha}{\alpha}\right) \right)$$
où :

• $\sigma$ est la fonction sigmoïde.
• $\mu_t$ est un facteur d'échelle dynamique (moyenne des erreurs absolues récentes) assurant l'indépendance vis-à-vis de l'échelle.
• $\omega$ et $v$ sont des paramètres permettant aux décideurs (DM) de régler la forme de la fonction (par exemple, créer des plateaux pour des plages d'erreurs spécifiques) en fonction de l'expertise du domaine.

Intégration dans l'OCP

Les auteurs intègrent ces fonctions dans deux algorithmes OCP de premier plan :

1. PID (Proportionnel-Intégral-Dérivé) : L'indicateur binaire dans la règle de mise à jour est remplacé par la fonction de pertinence dans diverses configurations (remplacement complet, saturation uniquement, ou terme d'erreur uniquement).
2. ECI (Inférence par correction d'erreur) : Le terme de lissage impliquant le gradient d'une fonction est modifié pour utiliser le gradient de la fonction de pertinence proposée.
   L'analyse théorique (Théorèmes 1–3) démontre que sous des conditions spécifiques concernant les fonctions de saturation et les taux d'apprentissage, ces mises à jour modifiées préservent la garantie de couverture à long terme (validité).

Principales contributions

1. Cadre sensible à la pertinence : Introduction d'une approche générale pour exploiter la distance entre la vérité terrain et les bornes de l'intervalle, allant au-delà du suivi d'erreur binaire dans l'OCP.
2. Famille de fonctions personnalisables : Un ensemble de fonctions paramétrées qui permettent aux décideurs de moduler le mécanisme de pénalité/récompense pour les erreurs de prédiction, en tenant compte des contraintes et préférences spécifiques du domaine.
3. Améliorations algorithmiques : Modification des méthodes OCP de pointe (PID et ECI) pour incorporer ces fonctions, avec des preuves théoriques garantissant que la validité (couverture) est maintenue.
4. Validation empirique : Démonstration que les méthodes modifiées atteignent des intervalles de prédiction plus serrés (efficacité améliorée) tout en maintenant ou en améliorant la validité de la couverture par rapport aux méthodes originales.

Résultats expérimentaux

Les auteurs ont évalué les méthodes PID et ECI modifiées sur des jeux de données réels : les cours boursiers d'Amazon, Google et Microsoft, ainsi que les données de température de Delhi.

• Résultats PID : Sur le jeu de données Amazon, le PID modifié a réduit la largeur moyenne de l'intervalle de 32,42 à 29,36 (régresseur AR) tout en maintenant une couverture de 90 %. Sur les données boursières de Google, le PID modifié a considérablement réduit la largeur moyenne (par exemple, de 43,75 à 34,96 pour l'AR) tout en maintenant la couverture.
• Résultats ECI : La méthode ECI originale a eu du mal à atteindre la couverture cible de 90 % dans le cadre expérimental des auteurs (atteignant environ 78-83 %). L'ECI modifié a réussi à atteindre la couverture cible de 90 % sur tous les jeux de données. Bien que l'ECI modifié ait produit des intervalles légèrement plus larges que l'ECI original dans certains cas, les intervalles plus étroits de la méthode originale étaient jugés peu fiables en raison de la sous-couverture. En comparaison directe avec les résultats rapportés dans l'article ECI original, la méthode modifiée a montré des performances compétitives ou supérieures, particulièrement sur le jeu de données de température où elle a surpassé l'original sur tous les indicateurs.
• Stabilité : L'utilisation des fonctions de pertinence a permis des ajustements de seuil plus fluides, évitant les changements abrupts souvent observés dans les méthodes de mise à jour binaire.

Signification et affirmations

Le papier affirme qu'en passant d'une vue d'erreur binaire à une vue basée sur la pertinence, les méthodes OCP peuvent produire des intervalles de prédiction plus informatifs (plus étroits) sans sacrifier l'exigence critique de validité de la couverture. Cela est particulièrement significatif pour les applications de séries temporelles où les changements de distribution sont courants et où les décideurs nécessitent une quantification robuste de l'incertitude.

Les auteurs soulignent que ce travail contribue au développement de l'IA de confiance pour les applications sensibles. Ils notent que l'approche permet d'incorporer les préférences des décideurs grâce à la paramétrisation des fonctions de pertinence, comblant ainsi le fossé entre les garanties statistiques et les besoins pratiques de prise de décision. Le papier conclut modestement, suggérant que les travaux futurs devraient se concentrer sur l'optimisation des hyperparamètres et sur l'étude plus approfondie de l'impact du paramètre d'échelle $\mu_t$.