Conformal Tradeoffs: Guarantees Beyond Coverage

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous avez construit un robot expert pour prédire des choses importantes, comme si un médicament était toxique ou si une molécule se dissoudrait dans l'eau. Ce robot est très intelligent, mais il n'est pas infaillible.

Le problème, c'est que dans le monde réel, on ne se contente pas de demander au robot : "Es-tu sûr à 90 % ?". Les gens qui utilisent ce robot (les "stakeholders") veulent savoir des choses beaucoup plus concrètes :

À quelle fréquence le robot va-t-il prendre une décision (dire "C'est toxique") ?
À quelle fréquence va-t-il hésiter et dire "Je ne sais pas, je ne réponds pas" ?
Et surtout, quand il prend une décision, combien de fois va-t-il se tromper ?

Ce papier de recherche, écrit par Petrus H. Zwart, propose une nouvelle façon de gérer ces robots pour qu'ils soient plus utiles et plus sûrs dans la vraie vie. Voici l'explication simple, avec des analogies.

1. Le Problème : La "Sécurité" ne suffit pas

Imaginez que vous dirigez un aéroport.

L'approche classique (Conformal Prediction) : On dit au contrôleur de sécurité : "Tu dois attraper 90 % des passagers qui ont des objets interdits." C'est la "couverture".
La réalité du terrain : Si le contrôleur est trop prudent, il arrête tout le monde (100 % de couverture, mais l'aéroport est bloqué). S'il est trop laxiste, il laisse passer des bombes.
Le vrai problème : Deux contrôleurs peuvent tous deux attraper 90 % des objets interdits, mais l'un arrête 500 passagers par jour (énorme embouteillage) et l'autre seulement 50 (flux fluide). Si on ne regarde que le chiffre "90 %", on ne voit pas la différence !

Ce papier dit : "Arrêtons de nous focaliser uniquement sur le pourcentage de sécurité. Regardons comment le système se comporte réellement dans le temps."

2. La Solution : Le "Menu Opérationnel"

L'auteur propose de voir le robot non pas comme une boîte noire, mais comme un menu de choix que l'on peut ajuster.

A. Le Réglage Fin (SSBC) : "Le Thermomètre de Précision"

Souvent, les robots sont calibrés sur de petits échantillons de données. C'est comme essayer de régler la température d'une piscine avec un thermomètre cassé.

L'astuce du papier : Ils utilisent une méthode mathématique (appelée SSBC) pour dire : "Si vous voulez être sûr à 90 % que le robot ne rate rien, avec 90 % de confiance, voici le réglage exact qu'il faut mettre."
Analogie : C'est comme passer d'une estimation vague ("Il fait environ chaud") à un réglage précis ("Mettez le thermostat à 24,5°C pour garantir que la température ne descendra pas sous 24°C"). Cela évite de régler le robot trop prudemment (ce qui le rend inutile) ou trop dangereusement.

B. L'Audit Indépendant : "Le Testeur de Voiture"

Une fois le robot réglé, comment savoir s'il va bien se comporter demain ?

L'approche traditionnelle : On regarde les données qu'on a déjà utilisées pour le régler. C'est comme un conducteur qui teste sa voiture sur le même circuit qu'il a déjà parcouru 10 fois : il connaît les virages par cœur, donc il a l'air meilleur qu'il ne l'est vraiment.
L'approche du papier (Calibrate-and-Audit) : On prend un nouveau groupe de données (un "auditeur") qui n'a jamais vu le robot. On regarde comment le robot se débrouille avec eux.
Analogie : C'est comme envoyer une nouvelle voiture sur une piste d'essai inconnue pour voir si elle tient la route. On ne se contente pas de dire "elle est sûre", on dit : "Sur cette piste, elle va probablement consommer X litres et faire Y pannes." On obtient ainsi une enveloppe de prévision : une fourchette réaliste de ce qui va se passer.

C. La Géométrie des Choix : "Le Triangle Impossibles"

C'est la partie la plus intéressante. Le papier montre qu'on ne peut pas tout avoir.

Imaginez un triangle où chaque coin représente un objectif :
1. Prendre beaucoup de décisions (être rapide).
2. Ne jamais se tromper (être parfait).
3. Ne jamais hésiter (être confiant).
La découverte : Si vous voulez être très rapide, vous devez accepter de vous tromper un peu plus. Si vous voulez être parfait, vous devez hésiter beaucoup.
L'outil : Le papier dessine une carte des compromis (un "Pareto frontier"). C'est comme une carte de randonnée qui montre tous les chemins possibles. Elle vous dit : "Si vous voulez aller ici (moins d'erreurs), vous devrez passer par là (plus d'hésitations)." Cela permet aux décideurs de choisir leur chemin en fonction de leurs priorités, sans être surpris.

3. Pourquoi c'est important ? (L'Analogie du Chef de Cuisine)

Imaginez un Chef (le robot) qui prépare des plats pour un restaurant.

L'ancien système : On lui dit : "Tu dois servir 90 % des clients."
- Résultat : Il sert tout le monde, même les clients qui ne veulent pas manger, et il sert des plats ratés. Le restaurant est en chaos.
Le nouveau système (Ce papier) :
1. On règle le four (SSBC) pour garantir que les plats cuits sont bien cuits.
2. On fait goûter les plats à un dégustateur indépendant (Audit) pour savoir combien de clients seront satisfaits, combien refuseront le plat, et combien seront malades.
3. On regarde la carte des compromis : "Si on veut servir 100 plats à l'heure, on aura 5 clients mécontents. Si on veut 0 client mécontent, on ne pourra en servir que 50."

Le patron du restaurant (le décideur) peut alors choisir : "Aujourd'hui, on a besoin de vitesse, on accepte 5 clients mécontents. Demain, on veut de la qualité, on ralentit."

En Résumé

Ce papier transforme la prédiction statistique d'un exercice mathématique abstrait en un outil de gestion concret.

Il ne se contente pas de dire "C'est fiable".
Il dit : "Voici exactement comment votre système va se comporter dans la vraie vie : combien de fois il va agir, combien de fois il va douter, et quel est le risque réel."
Il donne aux humains la carte pour naviguer entre la sécurité, la rapidité et la précision, sans se faire piéger par des illusions de sécurité.

C'est comme passer d'une boussole qui indique juste "Nord" à un GPS complet qui vous montre le trafic, les embouteillages et les itinéraires alternatifs pour que vous puissiez choisir votre route.

Each language version is independently generated for its own context, not a direct translation.

Titre : Compromis Conformes : Garanties au-delà de la Couverture

1. Problématique

Les prédicteurs conformes sont de plus en plus déployés non pas comme des moteurs de prédiction ponctuels, mais comme des infrastructures décisionnelles durables réutilisées sur des fenêtres opérationnelles finies. Dans ce contexte, les parties prenantes ne se soucient pas uniquement de la couverture marginale (la probabilité que la vraie étiquette soit dans l'ensemble de prédiction), mais aussi de quantités opérationnelles critiques :

La fréquence des engagements (commitment) versus les abstentions (deferral/abstention).
L'exposition aux erreurs décisives (lorsque le système agit mais se trompe).
La pureté des prédictions.

Le problème central identifié par l'auteur est que la couverture seule ne détermine pas le profil opérationnel. Deux règles conformes avec une couverture nominale identique peuvent avoir des comportements opérationnels radicalement différents en fonction de la géométrie des scores et de la manière dont la calibration partitionne l'espace des scores. Les garanties traditionnelles de couverture ne suffisent pas à certifier ces métriques opérationnelles, car elles ne possèdent pas de pivot de distribution libre analogue à celui de la couverture.

2. Méthodologie

L'article propose une approche en trois volets pour certifier et planifier le déploiement de règles conformes divisées (split conformal prediction) :

A. Correction Bêta à Petit Échantillon (SSBC - Small-Sample Beta Correction)

Objectif : Traduire une demande sémantique de l'utilisateur (un niveau de couverture cible $\alpha^\star$ et un niveau de confiance $\delta$ ) en un point de grille de calibration concret.
Mécanisme : L'auteur inverse la loi exacte de rang/Bêta (ou Bêta-Binomial pour les fenêtres finies) qui régit la couverture conditionnelle à la calibration.
Résultat : SSBC sélectionne l'indice de grille le moins conservateur qui satisfait une contrainte de type "Probablement Approximativement Correct" (PAC) :
$P_{D_{cal}}(P(Y \in \hat{C}(X) | D_{cal}) \ge 1 - \alpha^\star) \ge 1 - \delta$
Cela permet de garantir une couverture finie et auditable même avec de petits ensembles de calibration, en évitant le conservatisme excessif des corrections DKWM classiques.

B. Calibration et Audit (Calibrate-and-Audit)

Principe : Puisqu'aucun pivot de distribution libre n'existe pour les taux opérationnels (comme la fréquence d'engagement ou l'erreur décisive), l'auteur propose une procédure en deux étapes :
1. Calibration : Fixer les seuils sur un ensemble de calibration $D_{cal}$ , ce qui induit une partition fixe de l'espace des scores en régions (ex: singleton, hedge, abstention).
2. Audit : Utiliser un ensemble de données d'audit indépendant $D_{audit}$ (échangeable) pour estimer la table conjointe Région-Étiquette ( $R_\tau(X), Y$ ).
Avantage : Cette table conjointe est un objet suffisant et réutilisable. Toutes les métriques opérationnelles (KPI) peuvent être exprimées comme des projections linéaires de cette table. Cela permet de construire des enveloppes prédictives certifiées (via des lois Binomiales/Bêta-Binomial) pour les taux futurs sur une fenêtre de déploiement, sans avoir à réentraîner le modèle.
Alternative : En l'absence d'ensemble d'audit dédié, une procédure "Leave-One-Out" (LOO) conservatrice est proposée comme proxy.

C. Caractérisation Géométrique et Frontières de Régime

L'article analyse la géométrie induite par une partition conforme fixe, en particulier dans le cas binaire avec des scores normalisés par probabilité ( $s(x,0) + s(x,1) = 1$ ).
Il identifie des frontières de régime déterministes :
- Si $\tau_0 + \tau_1 > 1$ : Le système peut produire des "hedges" (ensembles doubles) mais pas d'abstentions pures.
- Si $\tau_0 + \tau_1 < 1$ : Le système peut produire des abstentions mais pas de hedges.
Cela révèle que les compromis opérationnels ne sont pas libres : modifier les seuils réalloue la masse de probabilité entre les régions de manière couplée, créant des contraintes de faisabilité et des frontières nettes dans l'espace des performances.

3. Contributions Clés

Semantique de couverture via SSBC : Une méthode pour mapper des demandes utilisateurs $(\alpha^\star, \delta)$ vers des choix discrets de calibration avec des garanties PAC explicites pour des fenêtres finies.
Cadre "Calibrate-and-Audit" : Une nouvelle infrastructure pour certifier les taux opérationnels au-delà de la couverture, utilisant la table conjointe Région-Étiquette comme primitive auditable.
Menu Opérationnel et Frontières de Pareto : La construction de cartes de compromis (Pareto) qui montrent les profils opérationnels atteignables pour une règle déployée donnée, permettant aux décideurs d'explorer les compromis (ex: risque d'erreur vs fréquence d'abstention) sans s'engager sur une fonction de coût scalaire unique.
Analyse de Cohérence des Coûts : Démonstration qu'une convention d'action (ex: "agir sur les singletons") n'est rationnelle (cohérente avec un modèle de coûts) que si la composition des étiquettes au sein de chaque région conforme le permet. Une région étiquetée "singleton" peut en réalité favoriser l'abstention selon les coûts relatifs.

4. Résultats Expérimentaux

L'approche est validée sur des benchmarks réels et synthétiques :

Données Tox21 (Toxicité moléculaire) : Dans un contexte de déséquilibre de classes sévère (peu d'échantillons positifs), SSBC réduit significativement les taux de violation de couverture par rapport à la méthode standard, tout en maintenant une fréquence de décisions (singletons) plus élevée que les méthodes DKWM trop conservatrices. Les enveloppes prédictives pour les taux opérationnels (erreurs décisives, etc.) sont validées via des simulations.
Solubilité Aqueuse (AquaSolDB) : L'article illustre l'utilisation du "menu opérationnel" pour la planification de scénarios. En balayant les paramètres de calibration, les auteurs tracent la frontière de Pareto entre l'exclusion irréversible de composés solubles et le fardeau des abstentions. L'analyse de cohérence des coûts montre que certaines zones de la frontière de Pareto ne sont cohérentes que pour des ratios de coûts spécifiques, guidant ainsi la sélection du point de fonctionnement optimal.

5. Signification et Impact

Cet article opère un changement de paradigme dans l'utilisation du conformal prediction pour le déploiement industriel :

De la couverture à l'interface opérationnelle : Il ne suffit plus de garantir que $P(Y \in \hat{C}(X)) \ge 1-\alpha$ . Il faut certifier le comportement du système sur des fenêtres de temps finies en termes de décisions réelles (engagements, erreurs, abstentions).
Transparence des compromis : En rendant explicite la géométrie de la partition induite par la calibration, l'article permet de comprendre pourquoi certains compromis sont inévitables et comment naviguer dans l'espace des solutions.
Prise de décision éclairée : L'outil "Calibrate-and-Audit" fournit aux ingénieurs et aux décideurs des enveloppes d'incertitude certifiées pour les métriques qui comptent réellement pour la sécurité et l'efficacité opérationnelle, au-delà de la simple statistique de couverture.

En résumé, Zwart propose une boîte à outils rigoureuse pour transformer les prédicteurs conformes de simples certificats statistiques en infrastructures décisionnelles auditables, robustes et optimisées pour des contraintes opérationnelles réelles.