📊 statistics

Replicable Conformal Prediction

Cet article introduit une méthode pour parvenir à une prédiction conforme réplicable en partageant une graine aléatoire et en arrondissant les seuils à une grille grossière, ce qui garantit des ensembles de prédiction identiques entre analystes indépendants tout en maintenant des garanties de couverture valides avec un coût quantifiable en termes de taille d'ensemble et d'exigences en données.

Auteurs originaux : Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Publié 2026-08-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Marios Papamichalis, Regina Ruane, Theofanis Papamichalis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de l'intelligence artificielle moderne, les modèles sont souvent traités comme des produits finis, tels qu'un objectif d'appareil photo ou un scanner médical, prêts à être utilisés par quiconque en a besoin. Mais avant qu'un modèle puisse être jugé digne de prendre des décisions dans le monde réel, il doit être calibré. Ce processus est comparable au réglage d'une radio pour trouver la fréquence exacte où le signal est clair et où les parasites disparaissent. Dans le domaine spécifique de la prédiction conforme, ce réglage détermine la quantité d'incertitude qu'un modèle admet. Au lieu de donner une réponse unique, le modèle fournit un ensemble de réponses possibles, promettant que la vraie réponse se trouve à l'intérieur de cet ensemble la plupart du temps. Cela est crucial pour les domaines à enjeux élevés comme la médecine ou le droit, où connaître les limites d'une prédiction est aussi important que la prédiction elle-même. Cependant, un problème étrange survient lorsque deux équipes différentes tentent de régler le même modèle en utilisant leurs propres données distinctes. Même si elles suivent exactement les mêmes règles, elles aboutissent à des réglages légèrement différents, menant à des ensembles de réponses différents. Cette incohérence n'est pas qu'un simple désagrément ; elle crée une faille où un acteur malveillant pourrait essayer de manière répétée différents réglages jusqu'à ce qu'il en trouve un qui semble bon sur le papier mais qui échoue dans la réalité, tout en semblant respecter les règles.

Les chercheurs Marios Papamichalis, Regina Ruane et Theofanis Papamichalis se sont donné pour mission de résoudre ce problème d'incohérence. Ils ont posé une question simple mais profonde : deux équipes indépendantes, travaillant avec leurs propres données, peuvent-elles produire exactement le même ensemble de réponses à chaque fois ? Ils ont découvert que si les équipes tentent d'être parfaitement précises, elles ne peuvent pas y parvenir sans ignorer totalement leurs données, ce qui rendrait le système inutile. Les mathématiques prouvent qu'un accord exact est impossible lorsque les données sont continues et que les équipes sont indépendantes. Cependant, l'équipe a trouvé un moyen de s'en approcher très près. Ils ont développé une méthode appelée RECAL, qui implique une astuce ingénieuse consistant à arrondir les réglages de calibration à la marque la plus proche sur une grille partagée et invisible. En se mettant d'accord sur cette grille et sur un point de départ au préalable, les équipes peuvent s'assurer que leurs réglages finaux atterrissent sur le même emplacement avec une probabilité très élevée.

Les chercheurs ont testé cette idée sur des données réelles, incluant des images provenant d'une base de données massive de photographies et du texte généré par plusieurs modèles de langage différents. Ils ont constaté que sans leur méthode, deux équipes honnêtes ne produiraient presque jamais le même résultat ; leurs réponses différeraient dans près de la moitié des cas. Avec la nouvelle méthode, ils pouvaient forcer les équipes à s'accorder sur le même classificateur exact dans plus de 90 pour cent des cas, et même 100 pour cent du temps lorsqu'ils visaient un accord plus strict. Cet accord s'accompagne d'un petit prix : les ensembles de réponses deviennent légèrement plus larges pour garantir que la vraie réponse est toujours capturée. Mais les chercheurs ont montré que ce coût est inévitable pour tout système exigeant de tels niveaux de cohérence. La taille de la pénalité dépend de la quantité de données disponibles ; avec plus de données, la pénalité diminue, mais elle ne disparaît jamais complètement.

La découverte la plus critique est peut-être la manière dont cette méthode protège contre la manipulation. Les chercheurs ont démontré que si un adversaire tente d'exécuter le processus de calibration vingt fois et de choisir la version la plus favorable, la méthode standard échoue complètement, produisant des réponses dangereusement peu fiables. La nouvelle méthode, cependant, agit comme un bouclier. Parce que les réglages sont verrouillés sur la grille partagée, l'adversaire ne peut pas trouver une version « meilleure » ; il est forcé de choisir parmi une liste très restreinte d'options identiques ou presque identiques. Cela signifie que le système reste honnête et fiable, même lorsqu'une personne tente activement de le manipuler. L'équipe a vérifié ces résultats à travers différents types de données, des dossiers hospitaliers aux modèles de langage, montant que la théorie tient la route en pratique. Ils ont également prouvé que sans un point de départ commun, le mieux que l'on puisse faire est de réduire les possibilités à seulement deux options adjacentes, ce qui constitue tout de même une amélioration significative par rapport au chaos total de la norme actuelle.

Ce travail établit un nouveau standard pour la façon dont nous pouvons faire confiance aux systèmes d'intelligence artificielle lorsqu'ils sont déployés par différents groupes. Il montre que, bien qu'un accord parfait et indépendant des données soit mathématiquement impossible, nous pouvons nous en approcher suffisamment pour rendre les systèmes vérifiables et sécurisés. La solution nécessite une graine partagée (seed), une sorte de poignée de main numérique qui garantit que tout le monde regarde la même carte, et une volonté d'accepter un peu d'incertitude supplémentaire en échange d'une cohérence totale. Dans un monde où les modèles d'IA sont de plus en plus utilisés pour prendre des décisions critiques, la capacité de garantir que deux analystes différents arriveront à la même conclusion n'est pas seulement un détail technique ; c'est une exigence fondamentale pour la confiance. Les chercheurs ont fourni les outils pour faire de cette garantie une réalité, transformant une impossibilité théorique en un standard pratique et reproductible.

Résumé Technique : Prédiction Conforme Réplicable

Énoncé du Problème
La prédiction conforme par partition (split conformal prediction) standard produit des classifieurs sous forme d'ensembles avec des garanties de couverture pour des échantillons finis. Cependant, lorsque deux analystes indépendants calibrent un prédicteur conforme sur des échantillons de retenue distincts, ils déploient presque sûrement des classifieurs différents. Cela se produit parce que le seuil calibré est un ordre statistique de scores continûment distribués ; ainsi, la probabilité que deux calibrations indépendantes produisent le même seuil (et par conséquent le même classifieur) est nulle.

Ce manque de réplicabilité crée des problèmes importants pour les artefacts de déploiement qui nécessitent du hachage, de la mise en cache, du versionnage ou de l'audit. De plus, cette instabilité est exploitable : un adversaire peut redessiner son ensemble de calibration plusieurs fois et sélectionner le tirage le plus favorable, entraînant une sous-couverture systématique qui reste indétectable par les contrôles de support standards. Bien que des notions de « stabilité à un point » existent, elles ne garantissent pas que le classifieur déployé lui-même soit identique d'une exécution à l'autre.

Méthodologie : RECAL
Le papier propose RECAL (Replicable Calibration), une procédure qui garantit que deux analystes indépendants déploient le même classifieur avec une haute probabilité ( $1-\rho$ ) tout en préservant les garanties de couverture marginale.

Graine Partagée et Arrondi : RECAL utilise une graine aléatoire partagée pour générer un décalage aléatoire $u$ pour une largeur de grille fixe $\beta$ . Les analystes calculent le seuil conforme standard $\hat{\tau}$ et l'arrondissent vers le haut au point de grille le plus proche défini par $u + \beta\mathbb{Z}$ .
- L'arrondi vers le haut garantit que la garantie de couverture marginale ( $\ge 1-\alpha$ ) est préservée de manière inconditionnelle, car les ensembles de prédiction ne font que croître.
- La grille partagée garantit que si les seuils non arrondis $\hat{\tau}$ et $\hat{\tau}'$ tombent dans la même cellule de grille (ou chevauchent une frontière d'une manière spécifique), les seuils arrondis $\tau$ et $\tau'$ seront identiques.
Cadre Théorique :
- Impossibilité de la Réplication Exacte : Le papier prouve que la réplication exacte (probabilité 1 d'un résultat identique) est impossible pour toute procédure qui reste uniformément valide pour toutes les distributions. De plus, avec une graine partagée, la réplication exacte force le résultat à être indépendant des données (data-oblivious), rendant le classifieur non informatif.
- Hypothèse de Marge Locale : L'analyse repose sur une condition de marge locale (Hypothèse 1), supposant que la distribution des scores possède une densité bornée entre zéro et l'infini dans un voisinage du quantile cible. Cela permet d'obtenir des constantes explicites dans les bornes de complexité d'échantillonnage.
- Variante sans Graine : Sans graine partagée, le papier montre que la réplication exacte de singleton est impossible en dessous d'une probabilité d'échec de $1/2$ . Cependant, une grille déterministe peut confiner tous les analystes à une liste commune de deux classifieurs adjacents avec une haute probabilité, ce qui est optimal pour les contextes sans graine.
Robustesse à la Sélection : Le papier analyse la « recalibration sélective », où un adversaire sélectionne le meilleur des $M$ tirages de calibration. Il prouve que si une procédure est $\rho$ -réplicable, la probabilité qu'un adversaire trouve un classifieur distinct parmi $M$ tirages est bornée par $\min\{1, (M-1)\rho\}$ . Cela empêche la sous-couverture systématique observée dans la prédiction conforme par partition standard sous sélection.

Contributions Clés

Théorie de l'Impossibilité : Les auteurs établissent que la réplication exacte est incompatible avec une validité non triviale et que la randomisation partagée est nécessaire pour une réplicabilité significative. Ils caractérisent la frontière pour la réplication sans graine comme une liste de deux éléments de classifieurs adjacents.
Algorithme RECAL : Un calibrateur conforme par partition réplicable et concret. Le papier fournit des constantes explicites de taille finie pour la taille de calibration $n$ requise pour atteindre une réplicabilité cible $\rho$ et une erreur de couverture $\epsilon$ : $n = O(\kappa^2 \alpha(1-\alpha) / (\epsilon^2 \rho^2))$ , où $\kappa$ borne le rapport de densité de score local.
Bornes Inférieures : Le papier dérive des bornes inférieures avec des constantes explicites, montrant que la complexité d'échantillonnage et l'inflation dans la taille des ensembles (couverture) sont inévitables pour tout calibrateur de seuil. Le coût en taille de l'ensemble est montré comme étant $\Omega(\sqrt{\alpha(1-\alpha)/n}/\rho)$ .
Procédure Plug-in : Une procédure pilote est introduite pour estimer la constante de densité $\kappa$ à partir des données, supprimant le besoin d'un $\hat{\kappa}$ pré-spécifié de manière asymptotique.
Validation Empirique : Des expériences sur ImageNet (synthétique et réel), une tâche de chiffres à faibles données, et quatre familles de grands modèles de langage (GPT-2, Pythia, Qwen, Llama) démontrent que RECAL atteint les cibles de réplicabilité prédites. Les expériences confirment que la prédiction conforme standard a une identité proche de zéro, tandis que RECAL atteint une identité élevée (par exemple, 0,95–1,00) avec un coût quantifiable dans la taille des ensembles de prédiction.

Résultats

Réplicabilité : RECAL réussit à atteindre le taux de non-réplication cible $\rho$ . Par exemple, à $\rho=0,1$ , la méthode a atteint des taux d'identité de 0,95 sur des données d'images synthétiques et de 0,89–0,96 sur des modèles de langage réels.
Couverture : La couverture marginale est préservée ( $\ge 1-\alpha$ ). La couverture réalisée se concentre sur les atomes de la grille, empênant les fluctuations de type distribution Beta de la prédiction conforme standard.
Coût de Taille d'Ensemble : La méthode impose un coût sur la taille des ensembles de prédiction. Sur les modèles de langage réels, la taille des ensembles a augmenté de 55–59 % à $\rho=0,1$ . Le papier note que pour les modèles ayant des vocabulaires à queue lourde (ex: Qwen), ce coût peut être nettement plus élevé en raison de la géométrie de l'espace des scores, bien qu'il s'agisse d'une propriété de l'espace des scores et non d'un échec de la méthode.
Attaque par Sélection : Dans un test de stress où un adversaire a sélectionné le tirage ayant la plus faible couverture parmi 20 recalibrations, la prédiction conforme par partition standard a significativement sous-couvert (0,892 contre un nominal de 0,900). RECAL, cependant, a maintenu une couverture au-dessus du niveau nominal car tous les candidats étaient des seuils arrondis vers le haut, valides.

Signification et Revendications
Le papier affirme fournir le premier cadre de réplicabilité pour la prédiction conforme, abordant une lacune critique où les méthodes standards échouent à produire des artefacts identiques entre des exécutions indépendantes. La signification réside dans :

Auditabilité et Mise en Cache : Permettre le déploiement de prédicteurs conformes vérifiables, mis en cache et versionnés, ce qui est essentiel pour les audits réglementaires et les systèmes de production.
Robustesse à la Sélection : Fournir une défense théorique et pratique contre les « attaques de sélection » où des parties choisissent arbitrairement les ensembles de calibration pour manipuler la couverture.
Caractérisation des Compromis : Quantifier explicitement le coût de la réplicabilité en termes de taille d'échantillon et de taille d'ensemble de prédiction, montrant que ces coûts sont inévitables et fournissant les taux optimaux.

Les auteurs restent modestes quant aux limites, notant que les expériences sur les images réelles utilisaient des probabilités de validation croisée plutôt que des logits bruts d'un réseau gelé unique, et que la piste de division par site clinique était limitée par de petits échantillons ( $n \le 303$ ). Ils reconnaissent également que bien que la suppression asymptotique de la constante de densité $\kappa$ soit possible, la suppression uniforme en échantillon fini reste un problème ouvert.

Articles similaires