Technische Samenvatting: Voorbij de Simplex: Gebalanceerde Prototype Geometrie voor Scorer-Agnostische Open-Set Herkenning

Probleemstelling

Open-set herkenning (OSR) vereist dat classificatiesystemen monsters uit bekende trainingsklassen kunnen identificeren en tegelijkertijd inputs uit onbekende klassen kunnen afwijzen. Deze capaciteit is cruciaal in veiligheidskritische domeinen zoals medische beeldvorming, waar het foutief diagnosticeren van nieuwe pathologieën als bekende klassen ernstige gevolgen kan hebben. Hoewel recente methoden zoals de Deep Simplex Classifier (DSC) en de Uncertainty-aware Deep Simplex Classifier (UCDSC) empirisch succes hebben getoond door klasse-prototypes vast te leggen op de hoekpunten van een regelmatige simplex, ontbreekt het hen aan een rigoureuze theoretische rechtvaardiging. Bestaande analyses zijn beperkt tot embedding-dimensies $d \ge C-1$ (waar een regelmatige simplex van $C$ klassen bestaat) en verklaren niet het gedrag van het afstand-ratio scoringmechanisme wanneer $d < C-1$ of wanneer prototypes afwijken van een perfecte simplex.

Methodologie

Het artikel ontwikkelt een verenigd theoretisch kader voor simplex-ratio OSR dat zich uitstrekt voorbij het regelmatige simplex-regime naar willekeurige embedding-dimensies en prototype-configuraties.

Theoretisch Kader:

1. Hiërarchie van Prototype-aannames: De auteurs introduceren een hiërarchie van aannames variërend van de zwakste (A1: onderscheidende prototypes) tot de sterkste (A1'': regelmatige simplex).
   • A1: Prototypes zijn onderscheidend.
   • A1' (Balanced Equal-Norm Codes): Prototypes hebben gelijke normen ($\|s_j\| = R$) en sommen op tot nul ($\sum s_j = 0$). Deze bestaan voor alle $d \ge 2$.
   • A1'': Prototypes vormen een regelmatige simplex (equiangular tight frame), wat $d \ge C-1$ vereist.
2. Scoringmechanismen: De analyse richt zich op de operationele afstand-ratio score $U(z) = d_{\min}(z) / \mu(z)$, waarbij $d_{\min}$ de afstand tot het dichtstbijzijnde prototype is en $\mu$ de gemiddelde afstand tot rivaliserende prototypes. Voor geometrische tractabiliteit introduceren de auteurs een hulp-kwadraat score $U^2(z)$, die onder voorwaarden van gebalanceerde equal-norm codes gesloten vorm-beschrijvingen toelaat.
3. Geometrische Analyse: De kern van de methodologie omvat het karakteriseren van de sublevel-sets (acceptatieregio's) van deze scores. De auteurs bewijzen dat voor gebalanceerde equal-norm codes de acceptatieregio's exacte verenigingen zijn van Euclidische bollen gecentreerd langs de richting van de prototypes.

Belangrijkste Bijdragen

1. Algemene Lipschitz-analyse en Bal Controle (Sectie 4)
Voor elke set onderscheidende prototypes (zonder simplex-aannames), stelt het artikel vast dat de operationele score $U$ globaal Lipschitz-continu is met een constante $4/\Delta$ (waarbij $\Delta$ de minimale inter-prototype afstand is). Bovendien zijn bewezen dat de acceptatieregio's $\{U \le \theta\}$ compacte verzamelingen zijn, die strikt worden ingesloten door verenigingen van binnenste en buitenste Euclidische bollen gecentreerd bij de prototypes.

2. Exacte $U^2$ Geometrie voor Gebalanceerde Codes (Sectie 5)
Onder de voorwaarde van gebalanceerde equal-norm codes (A1'), karakteriseren de auteurs de sublevel-sets van de hulp-score $U^2$ als exacte verenigingen van maximaal $C$ gesloten Euclidische bollen met expliciete centra en radii. Deze geometrie houdt stand voor alle $d \ge 2$, inclusief regimes waar $d < C-1$. De operationele acceptatieregio $\{U \le \theta\}$ wordt getoond tussen overeenkomstige verenigingen van bollen te liggen die afgeleid zijn van $U^2$.

3. Scherpe Dichotomie en Defect-parameter (Sectie 5.1)
Het artikel introduceert de "simplex-defect parameter" $\lambda_j = \sqrt{B_j/A_j}$, die de afwijking van de gelijkheid van rivaliserende afstanden meet. Er wordt een scherpe dichotomie bewezen: $\lambda_j = 1$ voor alle $j$ als en slechts als de prototypes een regelmatige simplex vormen, wat $d \ge C-1$ vereist. Onder deze drempel biedt het artikel lokale equivalentie-grenzen tussen $U$ en $\sqrt{U^2}$ die gestuurd worden door $\lambda_j$, waarmee de degradatie in geometrie wordt gekwantificeerd wanneer een perfecte simplex niet gevormd kan worden.

4. Laag-dimensionale Constructies (Sectie 5.2)
De auteurs bieden een universele constructie voor gebalanceerde equal-norm codes in elke dimensie $d \ge 2$ met behulp van een regelmatige $C$-gon (of multi-frequentie harmonische frames). Dit demonstreert dat het theoretische kader substantiële inhoud heeft, zelfs in laag-dimensionale regimes waar regelmatige simplices onmogelijk zijn.

5. False Acceptance Rate (FAR) Grenzen (Sectie 6)
Onder aannames van isotropie voor onbekende kenmerken, leiden de auteurs exponentieel-in-$d$ upper bounds af voor de FAR. Specifiek voor genormaliseerde onbekende richtingen, wordt de FAR begrensd door een term die betrokken is bij sferische caps en een discrepantieparameter $\delta_{cap}$. Dit biedt een theoretische garantie dat de afwijzingsprestaties exponentieel verbeteren naarmate de embedding-dimensie toeneemt.

6. UCDSC Loss Analyse (Sectie 7)
Het artikel analyseert de drie componenten van de UCDSC loss-functie. Het demonstreert dat de intra-class loss de gemiddelde training-scores controleert, de outlier-exposure term zorgt voor scheiding van hulp-achtergrondmonsters, en de uncertainty-aware term ($L_u$) een lokale negatieve-gradiënt mechanisme biedt dat aantrekking naar het dichtstbijzijnde prototype combineert met een toename van de gemiddelde niet-dichtstbijzijnde afstand.

7. Praktische Corollaria en Schatting (Sectie 8)
De auteurs leiden gesloten-vorm begeleiding af voor drempelwaarde-selectie om een gewenste bekend-klasse recall te garanderen. Ze stellen ook een datagedreven procedure voor (Algoritme 1) om de score-tail parameter $\sigma$ en de anisotropie parameter $\delta_{cap}$ te schatten vanuit validatiegegevens, waardoor de theoretische drempels operationeel worden gemaakt.

Resultaten

Theoretische Resultaten:

• Lipschitz Stabiliteit: De score $U$ is globaal Lipschitz, wat zorgt voor een begrensde scorevariatie onder kleine input-perturbaties.
• Geometrische Structuur: Acceptatieregio's zijn compact en kunnen nauwkeurig benaderd worden door verenigingen van bollen, zelfs zonder een regelmatige simplex.
• Dimensionale Schaling: De FAR neemt exponentieel af met de embedding-dimensie $d$ onder isotrope aannames.
• Faseovergang: Er bestaat een scherpe transitie bij $d = C-1$ met betrekking tot het bestaan van perfecte one-distance symmetrie (regelmatige simplex), maar de kern van de afzettingsgeometrie (compactheid, ball unions) blijft behouden onder deze drempel.

Empirische Validatie (Sectie 9):
De auteurs voerden scorer-agnostische experimenten uit op CIFAR en MedMNIST benchmarks om de structurele claims van de theorie te testen, in plaats van te claimen de state-of-the-art detectieprestaties te leveren.

• Geometrie Diagnostiek: Prototype-getrainde representaties (Simplex en Harmonic) vertoonden succesvol de voorspelde gebalanceerde geometrie (bijna-nul barycentrum, gelijke normen) en een lagere variatie in paarwijze afstanden vergeleken met standaard Cross-Entropy (CE) training.
• Regime onder de Simplex: In het extreme geval van $C=80$ klassen in $d=8$ dimensies (waar $d < C-1$), produceerden harmonische constructies bruikbare representaties, hoewel met hogere variabiliteit in paarwijze afstand en lagere accuraatheid dan CE. Geleerde prototypes geïnitialiseerd vanaf harmonische codes herstelden de CE-niveau accuraatheid.
• Scorer Prestaties: De ruwe ratio scores ($U$ en $U^2$) werden vaak overtroffen door moderne post-hoc scorers (bijv. KNN, MSP, ODIN) op dezelfde embeddings. Echter, op specifieke medische datasets (PathMNIST) bleven de ratio scores competitief. Het artikel concludeert dat hoewel de ratio scores analytisch tractabel zijn en bewijsbare FAR-grenzen bieden, ze niet noodzakelijkerwijs de optimale empirische detectoren zijn vergeleken met logit-gebaseerde of nearest-neighbor methoden.

Betekenis en Claims

Het artikel claimt de eerste theoretische verantwoording te bieden voor simplex-ratio OSR die geldt voor alle embedding-dimensies, inclus\ de praktisch relevante regio waar $d < C-1$. Door gebalanceerde equal-norm codes te introduceren, tonen de auteurs aan dat de kern van de geometrische garanties van simplex-gebaseerde methoden (compacte acceptatieregio's, Lipschitz-stabiliteit en exponentiële FAR-decay) niet strikt afhankelijk is van het bestaan van een regelmatige simplex.

De betekenis ligt in:

1. Theoretische Rigor: Het bieden van formele garanties voor de geometrie van open-set afzettingsregio's, waarmee de "theorie-kloof" in bestaande simplex-gebaseerde methoden wordt geadresseerd.
2. Scorer-Agnostisch Inzicht: Het framen van gebalanceerde prototype geometrie als een analytisch instrument en een representatie-leer prior in plaats van een op zichzelf staande detector. Het artikel stelt expliciet dat de ratio scores dienen om analytisch tractabele geometrie met bewijsbare grenzen te produceren, zelfs als ze niet altijd de dominante empirische detectiemetrieken zijn.
3. Praktische Begeleiding: Het bieden van concrete, datagedreven procedures voor drempelwaarde-selectie en dimensie-schatting, waardoor de brug wordt geslagen tussen theoretische grenzen en operationele implementatie.

De auteurs blijven bescheiden en erkennen dat hun theoretische grenzen steunen op aannames (bijv. sub-Gaussiaanse staarten, isotropie) die in de praktijk mogelijk niet perfect standhouden, en dat de empirische prestaties sterk afhankelijk zijn van de keuze van de scoring-regel en de specifieke dataset-kenmerken.