Résumé Technique : Au-delà du Simplexe : Géométrie de Prototypes Équilibrée pour la Reconnaissance en Open-Set Indépendante du Scoreur

Énoncé du Problème

La reconnaissance en open-set (OSR) exige que les classifieurs identifient les échantillons appartenant aux classes connues lors de l'entraînement tout en rejetant les entrées provenant de classes inconnues. Cette capacité est critique dans des domaines à enjeux de sécurité comme l'imagerie médicale, où le diagnostic erroné de pathologies nouvelles comme étant des classes connues peut avoir de graves conséquences. Bien que des méthodes récentes telles que le Deep Simplex Classifier (DSC) et l'Uncertainty-aware Deep Simplex Classifier (UCDSC) aient montré un succès empirique en fixant les prototypes de classes aux sommets d'un simplexe régulier, elles manquent de justification théorique rigoureuse. Les analyses existantes sont limitées aux dimensions d'incorporation $d \ge C-1$ (où un simplexe régulier de $C$ classes existe) et n'expliquent pas le comportement du mécanisme de score par rapport au ratio de distance lorsque $d < C-1$ ou lorsque les prototypes s'écartent d'un simplexe parfait.

Méthodologie

Le présent article développe un cadre théorique unifié pour l'OSR par ratio de simplexe qui s'étend au-delà du régime du simplexe régulier vers des dimensions d'incorporation et des configurations de prototypes arbitraires.

Cadre Théorique :

1. Hiérarchie des Hypothèses de Prototypes : Les auteurs introduisent une hiérarchie d'hypothèses allant de la plus faible (A1 : prototypes distincts) à la plus forte (A1'' : simplexe régulier).
   • A1 : Les prototypes sont distincts.
   • A1' (Codes Équilibrés à Norme Égale) : Les prototypes ont des normes égales ($\|s_j\| = R$) et leur somme est nulle ($\sum s_j = 0$). Ceux-ci existent pour tous les $d \ge 2$.
   • A1'' : Les prototypes forment un simplexe régulier (cadre de type frame equiangular tight), nécessitant $d \ge C-1$.
2. Mécanismes de Scoring : L'analyse se concentre sur le score opérationnel de ratio de distance $U(z) = d_{\min}(z) / \mu(z)$, où $d_{\min}$ est la distance au prototype le plus proche et $\mu$ est la distance moyenne aux prototypes rivaux. Pour la tractabilité géométrique, les auteurs introduisent un score au carré auxiliaire $U^2(z)$, qui admet des descriptions sous forme fermée sous les conditions de codes équilibrés à norme égale.
3. Analyse Géométrique : Le cœur de la méthodologie consiste à caractériser les ensembles de sous-niveau (régions d'acceptation) de ces scores. Les auteurs prouvent que pour les codes équilibrés à norme égale, les régions d'acceptation de $U^2$ sont des unions exactes de boules euclidiennes centrées le long des directions des prototypes.

Contributions Clés

1. Analyse de Lipschitz Générale et Contrôle des Boules (Section 4)
Pour n'importe quels prototypes distincts (sans hypothèse de simplexe), l'article établit que le score opérationnel $U$ est globalement lipschitzien avec une constante de $4/\Delta$ (où $\Delta$ est la distance minimale entre prototypes). De plus, les régions d'acceptation $\{U \le \theta\}$ sont prouvées être des ensembles compacts, strictement encadrés par des unions de boules euclidiennes intérieures et extérieures centrées sur les prototypes.

2. Géométrie Exacte de $U^2$ pour les Codes Équilibrés (Section 5)
Sous la condition de code équilibré à norme égale (A1'), les auteurs caractérisent les ensembles de sous-niveau du score auxiliaire $U^2$ comme des unions exactes d'au plus $C$ boules euclidiennes fermées avec des centres et des rayons explicites. Cette géométrie est valable pour tous les $d \ge 2$, y compris les régimes où $d < C-1$. La région d'acceptation opérationnelle $\{U \le \theta\}$ est montrée comme étant prise en sandwich entre les unions de boules correspondantes dérivées de $U^2$.

3. Dichotomie Nette et Paramètre de Défaut (Section 5.1)
L'article introduit le "paramètre de défaut de simplexe" $\lambda_j = \sqrt{B_j/A_j}$, mesurant l'écart de l'égalité des distances des rivaux. Une dichotomie nette est prouvée : $\lambda_j = 1$ pour tout $j$ si et seulement si les prototypes forment un simplexe régulier, ce qui nécessite $d \ge C-1$. En dessous de ce seuil, l'article fournit des bornes d'équivalence locale entre $U$ et $\sqrt{U^2}$ gouvernées par $\lambda_j$, quantifiant la dégradation de la géométrie lorsqu'un simplexe parfait ne peut être formé.

4. Constructions en Faible Dimension (Section 5.2)
Les auteurs fournissent une construction universelle pour les codes équilibrés à norme égale dans n'importe quelle dimension $d \ge 2$ en utilisant un $C$-gone régulier (ou des cadres harmoniques multi-fréquences) incorporé dans $\mathbb{R}^d$. Cela démontre que le cadre théorique possède un contenu substantiel même dans les régimes de faible dimension où les simplesxes réguliers sont impossibles.

5. Bornes du Taux de Fausse Acceptation (FAR) (Section 6)
Sous l'hypothèse d'isotropie des caractéristiques inconnues, l'article dérive des bornes supérieures exponentielles en $d$ pour le FAR. Spécifiquement, pour les directions inconnues normalisées, le FAR est borné par un terme impliquant des calottes sphériques et un paramètre de discrépance $\delta_{cap}$. Cela fournit une garantie théorique que la performance de rejet s'améliore exponentiellement à mesure que la dimension d'incorporation augmente.

6. Analyse de la Perte UCDSC (Section 7)
L'article analyse les trois composantes de la fonction de perte UCDSC. Il démontre que la perte intra-classe contrôle les scores moyens d'entraînement, que le terme d'exposition aux valeurs aberrantes assure la séparation des échantillons de fond auxiliaires, et que le terme sensible à l'incertitude ($L_u$) fournit un mécanisme de gradient négatif local qui combine l'attraction vers le prototype le plus proche avec une augmentation de la distance moyenne non-la plus proche.

7. Corollaires Pratiques et Estimation (Section 8)
Les auteurs dérivent des directives en forme fermée pour la sélection du seuil afin de garantir un rappel cible pour les classes connues. Ils proposent également une procédure pilotée par les données (Algorithme 1) pour estimer le paramètre de queue de score $\sigma$ et le paramètre d'anisotropie $\delta_{cap}$ à partir des données de validation, rendant ces seuils théoriques opérationnels.

Résultats

Résultats Théoriques :

• Stabilité de Lipschitz : Le score $U$ est globalement lipschitzien, assurant une variation de score bornée sous de petites perturbations d'entrée.
• Structure Géométrique : Les régions d'acceptation sont compactes et peuvent être approximées étroitement par des unions de boules, même sans simplexe régulier.
• Échelonnement Dimensionnel : Le FAR décroît exponentiellement avec la dimension d'incorporation $d$ sous des hypothèses isotropes.
• Transition de Phase : Une transition nette existe à $d = C-1$ concernant l'existence d'une symétrie parfaite à une seule distance (simplexe régulier), mais le cœur de la géométrie de rejet (compacité, unions de boules) persiste en dessous de ce seuil.

Validation Empirique (Section 9) :
Les auteurs ont mené des expériences de type "scorer-agnostic" sur les benchmarks CIFAR et MedMNIST pour tester les affirmations structurelles de la théorie plutôt que de revendiquer des performances de détection de pointe.

• Diagnostics de Géométrie : Les représentations entraînées par prototypes (Simplex et Harmonic) ont réussi à exhiber la géométrie équilibrée prédite (barycentre proche de zéro, normes égales) et une plus faible variation de distance par paire par rapport à l'entraînement par entropie croisée (CE) standard.
• Régime Sous-Simplexe : Dans le cas extrême de $C=80$ classes dans $d=8$ dimensions (où $d < C-1$), les constructions harmoniques ont produit des représentations utilisables, bien qu'avec une plus grande variabilité de distance par paire et une précision moindre que le CE. Les prototypes appris, initialisés à partir de codes harmoniques, ont récupéré une précision de niveau CE.
• Performance du Scoreur : Les scores de ratio bruts ($U$ et $U^2$) ont souvent été surpassés par des scoreurs post-hoc modernes (ex: KNN, MSP, ODIN) sur les mêmes plongements. Cependant, sur certains jeux de données médicaux (PathMNIST), les scores de ratio sont restés compétitifs. L'article conclut que bien que les scores de ratio soient analytiquement tractables et fournissent des bornes de FAR prouvables, ils ne sont pas nécessairement des détecteurs empiriques optimaux par rapport aux méthodes basées sur les logits ou les plus proches voisins.

Signification et Revendications

L'article affirme fournir le premier compte théorique de l'OSR par ratio de simplexe qui est valable pour toutes les dimensions d'incorporation, y compris le régime pratiquement pertinent où $d < C-1$. En introduisant des codes équilibrés à norme égale, les auteurs démontrent que les garanties géométriques fondamentales des méthodes basées sur le simplexe (régions d'acceptation compactes, stabilité de Lipschitz et décroissance exponentielle du FAR) ne dépendent pas strictement de l'existence d'un simplexe régulier.

La signification réside dans :

1. Rigueur Théorique : Fournir des garanties formelles sur la géométrie des régions de rejet en open-set, comblant le "fossé théorique" des méthodes basées sur le simplexe existantes.
2. Insight Indépendant du Scoreur : Présenter la géométrie de prototype équilibrée comme un outil analytique et un a priori d'apprentissage de représentation plutôt que comme un détecteur autonome. L'article stipule explicitement que les scores de ratio servent à produire une géométrie analytiquement traitable avec des bornes prouvables, même s'ils ne dominent pas toujours les métriques de détection empiriques.
3. Orientation Pratique : Offrir des procédures concrètes et pilotées par les données pour la sélection des seuils et l'estimation de la dimension, jetant un pont entre les bornes théoriques et l'implémentation opérationnelle.

Les auteurs restent modestes, reconnaissant que leurs bornes théoriques reposent sur des hypothèses (ex: queues sub-gaussiennes, isotropie) qui peuvent ne pas tenir parfaitement en pratique, et que la performance empirique dépend fortement du choix de la règle de scoring et des caractéristiques spécifiques du jeu de données.