Résumé Technique : FALCON-Discover

Énoncé du Problème

La recherche actuelle sur la calibration évalue principalement la confiance des modèles au niveau agrégé (par exemple, l'erreur de calibration attendue, le score de Brier), en évaluant si les probabilités prédites s'alignent sur la justesse empirique en moyenne au sein d'une population. Bien qu'indispensable, cette perspective est incomplète car elle ne parvient pas à traiter le mode de défaillance opérationnellement le plus dangereux : un sous-ensemble restreint et concentré de prédictions qui restent hautement confiantes malgré leur inexactitude. Ces erreurs de « fausse confiance » sont souvent les plus conséquentes car elles échappent à l'inspection manuelle et déclenchent des décisions en aval préjudiciables. Les méthodes de calibration post-hoc existantes (par exemple, le passage à la température ou la régression isotonique) se concentrent sur le remodelage global des distributions de scores ou sur la construction de meilleurs scores de confiance scalaires, mais elles négligent largement la question structurelle de savoir si les erreurs de confiance dangereuse occupent une tranche compacte et découvrable de l'espace de prédiction. Ce papier recadre le problème de l'alignement global des scores vers la découverte de la divergence (discrepancy discovery) : identifier les régions où la confiance, le support local et la stabilité structurelle divergent.

Méthodologie : FALCON-Discover

Le papier introduit FALCON-Discover, un cadre post-hoc et agnostique au modèle, conçu pour détecter et localiser les régions de fausse confiance concentrées sans modifier le classificateur sous-jacent. La méthode opère selon un paradigme d'« apprentissage de la prédiction vers la structure », cartographiant le comportement des prédictions sur des données non utilisées en un état de divergence structuré plutôt qu'en le réduisant à un score scalaire unique.

1. Construction du Signal

Le cadre décompose la fiabilité en trois familles de signaux complémentaires pour chaque échantillon $x$ :

• Certitude Native : Capture l'engagement du modèle envers sa décision en utilisant la marge ($|2p(x)-1|$) et l'entropie.
• Support Local et Accord : Détermine si la décision est ancrée dans les données d'entraînement proches. Cela inclut un score de support normalisé basé sur la distance par rapport à la variété (manifold) d'entraînement et l'accord de voisinage (consistance des étiquettes parmi les $k$ plus proches voisins).
• Stabilité Structurelle : Mesure la robustesse de la prédiction sous des perturbations contrôlées préservant le support. Les échantillons sont partiellement mélangés avec des voisins proches, et la stabilité est quantifiée via la dérive de probabilité moyenne ($\Delta_{mean}$), la dérive maximale ($\Delta_{max}$), la consistance des étiquettes ($LC$) et la variance des logits.

Ces signaux forment une représentation structurée $\psi(x)$, qui sert d'entrée pour les opérations en aval.

2. Classement et Découverte

Le cadre emploie une famille de règles de classement sensibles à la divergence pour faire émerger les erreurs dangereuses :

• Règle centrée sur la stabilité ($s_{stab}$) : Un score analytique simple pondérant la dérive de probabilité et l'inconsistance des étiquettes.
• Score de Divergence Analytique Fixe ($s_{disc}$) : Une agrégation grossière et monotone de indices de conflit (certitude, instabilité, effondrement du support) avec des poids ordinaux pour servir de témoin orienté vers la falsification.
• Classeur de Divergence Appris ($q_\theta$) : Un modèle de logit linéaire pondéré, entraîné sur des plis de validation, qui combine les signaux de divergence avec une fonction objectif qui met l'accent sur les événements de fausse confiance.

3. Sorties Opérationnelles

La représentation structurée $\psi(x)$ permet trois opérations distinctes :

1. Classement (Ranking) : Trier les échantillons pour maximiser la capture des événements de fausse confiance au sein d'un budget de révision fixe (par exemple, les 20 % supérieurs).
2. Localisation : Clustériser la représentation de la divergence pour identifier des régions compactes de défaillance à haut risque.
3. Guidage de la Calibration : Dériver un profil de pondération sensible à la divergence ($w_{cal}$) pour allouer l'accent de l'entraînement aux échantillons structurellement suspects lors des étapes de calibration futures.

Un strict croisement (cross-fitting) est imposé pour garantir que toutes les caractéristiques de divergence sont construites à partir de prédictions hors-échantillon ou de plis de validation, évitant ainsi la fuite de données.

Contributions Clés

1. Formalisation de la Concentration de la Fausse Confiance : Le papier définit la concentration de la fausse confiance comme un objet de fiabilité structurelle — la récupérabilité de tranches d'erreurs compactes et à haut risque qui sont cachées par les résumés de calibration agrégés.
2. Apprentissage de la Prédiction vers la Structure : Il introduit un paradigme post-hoc où le comportement des prédictions sur des données non utilisées est élevé en un état de divergence réutilisable, distinct de la construction d'un nouveau score de confiance ou d'un nouveau classificateur.
3. Caractérisation des Régimes : Le travail caractérise l'apparition de la concentration, identifiant trois régimes empiriques :
   • Régimes Forts : Amplification claire du conflit sur des tranches récupérables.
   • Régimes Mixtes : Amplification plus faible ou dépendante du squelette (backbone).
   • Régimes Limites : Événements épars où les estimations de concentration fiables sont difficiles à obtenir.
4. Découverte au Niveau de la Famille : Le papier démontre que le détecteur le plus puissant varie selon le régime (classeur de divergence appris vs règles centrées sur la stabilité), établissant le problème comme un défi de découverte au niveau de la famille plutôt qu'une affirmation de dominance d'un score unique.
5. Évidence Contrôlée : Il fournit des preuves multi-jeux de données à travers sept jeux de données tabulaires binaires hétérogènes en utilisant des apprenants de base robustes (XGBoost, CatBoost) et un croisement rigoureux.

Résultats Expérimentaux

Le cadre a été évalué sur sept jeux de données (Adult, Bank Marketing, MiniBooNE, Magic Telescope, Nomao, Spambase, Phoneme) en utilisant quatre graines (seeds) et un croisement à cinq plis, avec un seuil de confiance fixe $\tau=0.90$ et des budgets de révision allant jusqu'à 20 %.

• Performance : Dans les régimes forts (Adult, Bank Marketing, MiniBooNE), la famille de divergence a nettement surpassé les bases de comparaison les plus fortes sélectionnées par validation (par exemple, TrustScore, Beta Scaling). Par exemple, sur le jeu de données Adult, l'AUROC de la famille est passé de 0,525 à 0,847, et le Capture@20 est passé de 0,108 à 0,728.
• Variabilité des Détecteurs : Le « meilleur » membre de la famille dépendait du régime. Les classeurs de divergence appris ont performé le mieux lorsque plusieurs indices de conflit nécessitaient une combinaison conjointe, tandis que les règles centrées sur la stabilité étaient supérieures dans les régimes où la fragilité décisionnelle locale dominait (ex. Nomao, Spambase).
• Comparaison avec les Baselines : Le classement par confiance brute a peu récupéré de masse d'erreurs dangereuses. L'approche sensible à la divergence a significativement surpassé le classement aléatoire et les standards de calibration en capturant la masse de fausse confiance au sein de petits budgets de révision.
• Sensibilité au Régime : Dans les régimes « mixtes » (Magic Telescope), les prédicteurs de base plus puissants ont absorbé la structure locale, réduisant la marge de progression pour la découverte post-hoc. Dans les régimes « limites » (Phoneme), les événements épars de fausse confiance ont affaibli la force d'évidence de toutes les méthodes.

Signification et Revendications

Le papier affirme que la concentration de la fausse confiance est une propriété réelle, mesurable et dépendante du régime des modèles entraînés. La contribution principale n'est pas un nouveau classificateur ou un score universellement dominant, mais une vue structurelle de la défaillance de calibration.

Les auteurs soutiennent que l'analyse de la calibration devrait passer du simple alignement des scores avec les fréquences à la révélation explicite des zones où les prédictions deviennent structurellement risquées. En traitant la surconfiance dangereuse comme un objet structurel découvrable, FALCON-Discover permet une surveillance ciblée, une abstention sélective et un raffinement de la calibration focalisé sur les régions spécifiques où la confiance, le support et la stabilité divergent. Le travail établit que l'échec de la fiabilité est structuré plutôt que simplement scalaire, motivant de futures stratégies qui ciblent explicitement ces régions de divergence concentrées. Les auteurs restent modestes, notant que le cadre actuel est défini pour les données tabulaires binaires et que l'extension des principes de support et de stabilité à d'autres modalités (vision, langage) nécessite des définitions spécifiques à chaque modalité.