LOCUS: A Distribution-Free Loss-Quantile Score for Risk-Aware Predictions

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous êtes le capitaine d'un navire de commerce (votre modèle d'intelligence artificielle) qui traverse l'océan des données pour livrer des marchandises (des prédictions) à des clients.

Jusqu'à présent, les capitaines se fiaient à un seul indicateur : la moyenne. "En moyenne, mon navire arrive à l'heure !" disaient-ils. C'est vrai, mais cela cache un danger terrible : parfois, le navire fait une erreur catastrophique (il coule ou perd une cargaison entière), même si la moyenne reste bonne.

C'est là qu'intervient Locus, le nouveau système de navigation présenté dans cet article.

1. Le problème : La moyenne ne suffit pas

Imaginez que vous prévoyez le prix d'une maison. Votre modèle est excellent en moyenne. Mais pour une maison spécifique, il se trompe de 500 000 $.

L'approche classique : Regarder la "variance" (l'incertitude). C'est comme regarder la météo et dire : "Il y a un peu de vent, donc c'est risqué".
Le problème : Parfois, le temps est calme (faible vent/variance), mais votre modèle a mal appris la zone et fait une erreur énorme. Le calme ne signifie pas la sécurité !

2. La solution Locus : Le "Radar de Dégâts"

Au lieu de se demander "Quelle est la probabilité que la maison coûte cher ?", Locus se demande : "Si je fais cette prédiction, combien d'argent vais-je perdre au pire ?"

Locus est comme un radar de dégâts qui fonctionne en trois étapes simples :

Étape A : Le Test de la "Boîte Noire"

Imaginez que vous avez un modèle de prédiction (votre "boîte noire"). Locus ne touche pas à la boîte noire. Il prend juste ses prédictions et regarde : "Quand j'ai prédit X, quelle a été la vraie erreur (le 'dégât') ?"
Il utilise une partie de ses données passées pour simuler : "Si je fais cette prédiction demain, quelle sera la pire erreur probable ?"

Étape B : L'Étalonnage (Le "Calibrage")

C'est la partie magique. Locus prend ces estimations et les "calibre" comme un thermomètre de cuisine.

Il ne dit pas juste "c'est chaud".
Il dit : "Il y a 90 % de chances que l'erreur soit inférieure à 50 000 $."
Ce chiffre (50 000 $) est le score Locus. C'est une mesure directe de l'argent que vous risquez de perdre, pas une mesure abstraite de "confiance".

Étape C : Le Signal Rouge (Le Drapeau)

Maintenant, vous fixez votre limite de tolérance. Disons : "Je ne veux pas perdre plus de 70 000 $ sur une seule maison."

Si le score Locus dit "Risque max : 40 000 $" → Feu vert. Vous acceptez la prédiction.
Si le score Locus dit "Risque max : 150 000 $" → Feu rouge. Vous mettez un drapeau (flag) et vous dites : "Arrêtez ! Ne faites pas confiance à cette prédiction, vérifiez-la manuellement."

3. Pourquoi c'est génial ? (L'analogie du Chapeau)

Pensez à un chapeau de magicien.

Les méthodes anciennes (comme la variance) regardent le chapeau et disent : "Il semble un peu petit, donc il y a un risque."
Locus, lui, regarde ce qui sort du chapeau. Il dit : "Même si le chapeau semble grand, le lapin qui va sortir est énorme et va casser le sol. Donc, on ne sort pas le lapin."

Locus est indépendant de la distribution. Cela signifie qu'il fonctionne même si votre modèle est bizarre, compliqué ou imparfait. Il ne se soucie pas de comment le modèle a fait son calcul, seulement du résultat final : combien ça va coûter ?

4. Les Résultats : Moins de catastrophes

Les auteurs ont testé Locus sur 13 jeux de données différents (prix de maisons, énergie, biologie, etc.).
Résultat ?

Quand ils utilisaient Locus pour filtrer les prédictions, ils ont réduit drastiquement le nombre de grosses erreurs.
Ils ont pu dire : "Nous acceptons 70 % de nos prédictions, et parmi celles-ci, la probabilité de faire une erreur catastrophique est inférieure à 10 %." C'est une garantie mathématique solide, même avec peu de données.

En résumé

Locus est un outil de sécurité pour l'IA.
Au lieu de dire "Je suis confiant à 95 %", il dit : "Si je me trompe, ça va me coûter au maximum X euros, et je suis sûr à 95 % que ça ne dépassera pas ce montant."

C'est comme passer d'une boussole qui indique juste le nord (la moyenne) à un système de sécurité qui vous dit exactement où sont les falaises, pour que vous puissiez éviter de tomber, même si le temps est beau.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les modèles d'apprentissage automatique modernes peuvent être très précis en moyenne, mais ils commettent parfois des erreurs catastrophiques qui dominent les coûts de déploiement dans des domaines critiques (santé, crédit, systèmes autonomes).

Limitation des approches actuelles : Les métriques globales (RMSE, AUC) ne renseignent pas sur le risque d'une prédiction individuelle. Les méthodes d'incertitude existantes (variance prédictive, ensembles profonds, dropout) mesurent l'incertitude sur l'étiquette $Y$ , mais ne sont pas nécessairement corrélées à la perte réelle $Z = L(g(X), Y)$ subie par le modèle déployé. Une faible variance peut coexister avec une grande erreur si le modèle est mal calibré localement (biais).
Objectif : Développer un mécanisme de « drapeau » (flagging) pour chaque entrée $x$ qui garantit, sans hypothèse de distribution, que la probabilité de dépasser un seuil de perte tolérable $\tau$ est contrôlée parmi les prédictions acceptées.

2. Méthodologie : Locus

Locus est un « wrapper » (enveloppe) distribution-free qui transforme n'importe quel estimateur de la loi conditionnelle de la perte en un score de fiabilité interprétable.

A. Définitions de base

Soit un prédicteur déployé $g$ et une fonction de perte $L$ . La perte réalisée est $Z = L(g(X), Y)$ . L'objectif est de construire un score $U_\alpha(x)$ qui sert de borne supérieure calibrée pour $Z$ .

B. Architecture en deux étapes

La méthode utilise un échantillon de calibration $D$ divisé en deux parties indépendantes $D_1$ et $D_2$ .

Étape 1 : Modélisation de la perte (Base)
- Sur $D_1$ , on ajuste un modèle probabiliste pour estimer la distribution conditionnelle de la perte $Z | X=x$ .
- Cela peut être fait via des méthodes bayésiennes (BART, réseaux de mélange de densités avec Dropout MC) ou des estimateurs de densité conditionnelle.
- Gestion de l'incertitude épistémique : Pour les régions pauvres en données, l'article propose une inflation conservatrice de la CDF prédictive $\hat{F}(\cdot|x)$ en utilisant un niveau de trimage $\gamma(x)$ basé sur la densité locale (mesurée par la distance k-plus proches voisins). Plus la région est sparse, plus $\gamma(x)$ est petit, ce qui élargit la queue de droite de la distribution de perte.
Étape 2 : Calibration Distribution-Free (Split-Conformal)
- Sur $D_2$ , on calcule les valeurs PIT (Probability Integral Transform) : $W_i = \hat{F}(Z_i | X_i)$ .
- On détermine le quantile empirique $t_{1-\alpha}$ des valeurs $W_i$ pour un niveau de confiance $1-\alpha$ .
- Le score final est défini comme : $U_\alpha(x) = \hat{F}^{-1}(t_{1-\alpha} | x)$ .

C. Règles de décision (Flagging)

Le score $U_\alpha(x)$ représente une estimation calibrée du quantile $(1-\alpha)$ de la perte.

Règle par défaut : Accepter la prédiction si $U_\alpha(x) \le \tau$ (où $\tau$ est le seuil de perte inacceptable défini par l'utilisateur).
Garantie théorique : Cette règle garantit que la probabilité conjointe d'accepter une prédiction et de subir une perte supérieure à $\tau$ est bornée par $\alpha$ :
$P(Z > \tau, X \in A_{\tau;\alpha}) \le \alpha$
où $A_{\tau;\alpha}$ est l'ensemble des points acceptés.
Locus-Tuned : Une variante permet d'ajuster le seuil $\lambda$ sur un ensemble de validation pour cibler un taux de dépassement conditionnel spécifique $\eta$ parmi les points acceptés, tout en conservant des garanties distribution-free via des bornes de concentration.

3. Contributions Clés

Score de quantile de perte calibré : Locus fournit un score $U_\alpha(x)$ directement interprétable dans l'unité de la perte (ex: dollars, degrés d'erreur), contrairement aux scores d'incertitude abstraits (variance, entropie).
Contrôle des événements de grande perte : Contrairement aux méthodes de prédiction sélective classiques qui optimisent un compromis précision-couverture, Locus contrôle explicitement la fréquence des erreurs catastrophiques parmi les prédictions acceptées.
Robustesse épistémique : L'intégration d'un mécanisme d'inflation basé sur la densité locale ( $\gamma(x)$ ) rend la méthode plus conservatrice dans les régions de extrapolation, sans briser les garanties de calibration distribution-free.
Modularité : La méthode est agnostique quant au moteur de prédiction de la perte (BART, MC Dropout, Flows, etc.), tant qu'il produit une CDF prédictive.

4. Résultats Expérimentaux

Les auteurs ont évalué Locus sur 13 benchmarks de régression (données tabulaires, prix de l'immobilier, énergie, etc.).

Comparaison avec les bases : Locus a été comparé à :
- IFlag : Un détecteur d'anomalies (Isolation Forest) basé sur l'OOD (Out-of-Distribution).
- VARNet : Un estimateur de la variance de l'étiquette $Y|X$ .
Performance :
- À taux d'acceptation égal (environ 70%), Locus (notamment les variantes Locus-Tuned avec BART ou MC Dropout) réduit considérablement le taux de dépassement conditionnel $P(Z > \tau | X \in A)$ par rapport aux deux bases.
- Locus détecte mieux les erreurs de modèle (biais) dans les régions de faible variance, là où les méthodes basées sur la variance échouent (comme illustré dans la Figure 1 du papier : un modèle linéaire mal ajusté dans une région de faible variance subit une grande perte, détectée par Locus mais pas par la variance).
- Les garanties de couverture marginale ( $P(Z \le U_\alpha(X)) \ge 1-\alpha$ ) sont respectées empiriquement.

5. Signification et Impact

Locus comble un vide critique entre la théorie de la prédiction conforme (souvent globale) et les besoins opérationnels de gestion des risques individuels.

Interprétabilité : En exprimant le risque directement en unités de perte, il permet aux praticiens de définir des règles de décision transparentes (« Si l'erreur potentielle dépasse 70k$, rejeter la prédiction »).
Sécurité opérationnelle : Il offre une garantie mathématique rigoureuse (distribution-free, échantillon fini) sur la fréquence des erreurs inacceptables, ce qui est crucial pour le déploiement de l'IA dans des environnements à haut risque.
Flexibilité : La méthode s'adapte à n'importe quel modèle de régression existant sans nécessiter de réentraînement complexe, agissant comme une couche de sécurité post-hoc.

En résumé, Locus transforme la quantification d'incertitude en un outil de contrôle de risque actionnable, garantissant que les décisions prises sur la base des prédictions du modèle sont sûres avec une probabilité contrôlée.