Riassunto Tecnico: Oltre il Simplesso: Geometria dei Prototipi Bilanciati per l'Open-Set Recognition Scorer-Agnostic

Problematica

Il riconoscimento open-set (OSR) richiede che i classificatori identifichino campioni appartenenti a classi note durante l'addestramento, rigettando al contempo input provenienti da classi non viste. Questa capacità è critica in domini sensibili alla sicurezza come l'imaging medico, dove la diagnosi errata di nuove patologie come classi note può avere conseguenze gravi. Sebbene metodi recenti come il Deep Simplex Classifier (DSC) e l'Uncertainty-aware Deep Simplex Classifier (UCDSC) abbiano mostrato un successo empirico fissando i prototipi di classe ai vertici di un simplesso regolare, essi mancano di una rigorosa giustificazione teorica. Le analisi esistenti sono limitate a dimensioni di embedding $d \ge C-1$ (dove esiste un simplesso regolare di $C$ classi) e non spiegano il comportamento del meccanismo di scoring del rapporto delle distanze quando $d < C-1$ o quando i prototipi deviano da un simplesso perfetto.

Metodologia

Il lavoro sviluppa un quadro teorico unificato per il simplex-ratio OSR che si estende oltre il regime del simplesso regolare a arbitrarie dimensioni di embedding e configurazioni di prototipi.

Quadro Teorico:

1. Gerarchia di Assunzioni sui Prototipi: Gli autori introducono una gerarchia di assunzioni che vanno dalla più debole (A1: prototipi distinti) alla più forte (A1'': simplesso regolare).
   • A1: I prototipi sono distinti.
   • A1' (Balanced Equal-Norm Codes): I prototipi hanno norme uguali ($\|s_j\| = R$) e la cui somma è zero ($\sum s_j = 0$). Questi esistono per tutti i $d \ge 2$.
   • A1'': I prototipi formano un simplesso regolare (equiangular tight frame), richiedendo $d \ge C-1$.
2. Meccanismi di Scoring: L'analisi si concentra sullo score operativo del rapporto delle distanze $U(z) = d_{\min}(z) / \mu(z)$, dove $d_{\min}$ è la distanza dal prototipo più vicino e $\mu$ è la distanza media dai prototipi rivali. Per la trattabilità geometrica, gli autori introducono uno score ausiliario al quadrato $U^2(z)$, che ammette descrizioni in forma chiusa sotto le condizioni di bilanciamento delle norme uguali.
3. Analisi Geometrica: Il nucleo della metodologia consiste nel caratterizzare i sotto-livelli (regioni di accettazione) di questi score. Gli autori dimostrano che, per i codici bilanciati a norma uguale, le regioni di accettazione di $U^2$ sono esatte unioni di sfere euclidee centrate lungo le direzioni dei prototipi.

Contributi Chiave

1. Analisi Lipschitz Generale e Controllo delle Sfere (Sezione 4)
Per qualsiasi prototipo distinto (senza assunzioni sul simplesso), il documento stabilisce che lo score operativo $U$ è globalmente Lipschitz continuo con costante $4/\Delta$ (dove $\Delta$ è la distanza minima inter-prototipo). Inoltre, le regioni di accettazione $\{U \le \theta\}$ sono provate essere insiemi compatti, strettamente racchiusi tra unioni di sfere euclidee interne ed esterne centrate sui prototipi.

2. Geometria Esatta di $U^2$ per Codici Bilanciati (Sezione 5)
Sotto la condizione di bilanciamento delle norme uguali (A1'), gli autori caratterizzano i sotto-livelli dello score ausiliario $U^2$ come esatte unioni di al massimo $C$ sfere euclidee chiuse con centri e raggi espliciti. Questa geometria è valida per tutti i $d \ge 2$, incluse le regioni in cui $d < C-1$. La regione di accettazione operativa $\{U \le \theta\}$ è mostrata essere "sandwichata" tra le corrispondenti unioni di sfere derivate da $U^2$.

3. Dicotomia Netta e Parametro di Difetto (Sezione 5.1)
Il documento introduce il "parametro di difetto del simplesso" $\lambda_j = \sqrt{B_j/A_j}$, che misura la deviazione delle distanze dei rivali dall'uguaglianza. Viene provata una dicotomia netta: $\lambda_j = 1$ per tutti i $j$ se e solo se i prototipi formano un simplesso regolare, il che necessita $d \ge C-1$. Al di sotto di questa soglia, il documento fornisce limiti di equivalenza locale tra $U$ e $\sqrt{U^2}$ governati da $\lambda_j$, quantificando la degradazione della geometria quando un simplesso perfetto non può essere formato.

4. Costruzioni a Bassa Dimensionalità (Sezione 5.2)
Gli autori forniscono una costruzione universale per codici bilanciati a norma uguale in qualsiasi dimensione $d \ge 2$ utilizzando un $C$-gono regolare (o frame armonici multi-frequenza) immerso in $\mathbb{R}^d$. Ciò dimostra che il quadro teorico possiede un contenuto sostanzivo anche nei regimi a bassa dimensionalità dove i simplessi regolari sono impossibili.

5. Limiti del Tasso di Falsa Accettazione (FAR) (Sezione 6)
Sotto l'ipotesi di isotropia per le feature sconosciute, il documento deriva limiti superiori esponenziali in $d$ per il FAR. Nello specifico, per le direzioni sconosciute normalizzate, il FAR è limitato da un termine che coinvolge capp di sfere (spherical caps) e un parametro di discrepanza $\delta_{cap}$. Ciò fornisce una garanzia teorica che le prestazioni di rigetto migliorano esponenzialmente all'aumentare della dimensione di embedding.

6. Analisi della Loss UCDSC (Sezione 7)
Il documento analizza i tre componenti della funzione di perdita UCDSC. Dimostra che la perdita intra-classe controlla gli score medi di addestramento, il termine di esposizione degli outlier assicura la separazione dai campioni di background ausiliari, e il termine di incertezza ($L_u$) fornisce un meccanismo di gradiente negativo locale che combina l'attrazione verso il prototipo più vicino con un aumento della distanza media dei non-vicini.

7. Corollari Pratici e Stima (Sezione 8)
Gli autori derivano una guida in forma chiusa per la selezione della soglia al fine di garantire un target di recall per le classi note. Propongono inoltre una procedura guidata dai dati (Algoritmo 1) per stimare il parametro della coda dello score $\sigma$ e il parametro di anisotropia $\delta_{cap}$ dai dati di validazione, rendendo operativi i limiti teorici.

Risultati

Risultati Teorici:

• Stabilità Lipschitz: Lo score $U$ è globalmente Lipschitz, garantendo una variazione limitata degli score sotto piccole perturbazioni dell'input.
• Struttura Geometrica: Le regioni di accettazione sono compatte e possono essere approssimate strettamente da unioni di sfere, anche senza un simplesso regolare.
• Scalabilità Dimensionale: Il FAR decade esponenzialmente con la dimensione di embedding $d$ sotto ipotesi isotrope.
• Transizione di Fase: Esiste una transizione netta a $d = C-1$ riguardo l'esistenza di una perfetta simmetria a una sola distanza (simplesso regolare), ma il nucleo della geometria di rigetto (compattezza, unioni di sfere) persiste al di sotto di questa soglia.

Validazione Empirica (Sezione 9):
Gli autori hanno condotto esperimenti scorer-agnostic su benchmark CIFAR e MedMNIST per testare le affermazioni strutturali della teoria piuttosto che per rivendicare prestazioni allo stato dell'arte nella rilevazione.

• Diagnostica Geometrica: Le rappresentazioni addestrate con prototipi (Simplex e Harmonic) hanno mostrato con successo la prevista geometria bilanciata (baricentro vicino allo zero, norme uguali) e una minore variazione della distanza a coppie rispetto all'addestramento standard con Cross-Entropy (CE).
• Regime Sotto-Simplesso: Nel caso estremo di $C=80$ classi in $d=8$ dimensioni (dove $d < C-1$), le costruzioni armoniche hanno prodotto rappresentazioni utilizzabili, sebbene con maggiore variabilità della distanza a coppie e minore accuratezza rispetto a CE. I prototipi appresi, inizializzati da codici armonici, hanno recuperato l'accuratezza del livello CE.
• Performance dello Scorer: Gli score di rapporto grezzi ($U$ e $U^2$) sono stati spesso superati da moderni scorer post-hoc (es. KNN, MSP, ODIN) sugli stessi embedding. Tuttavia, su specifici dataset medici (PathMNIST), gli score di rapporto sono rimasti competitivi. Il documento conclude che, sebbene gli score di rapporto siano analiticamente trattabili e forniscano limiti FAR provabili, non sono necessariamente ottimali come rilevatori empirici rispetto ai metodi basati su logit o k-nearest-neighbor.

Significato e Rivendicazioni

Il documento sostiene di fornire il primo resoconto teorico per il simplex-ratio OSR che sia valido per tutte le dimensioni di embedding, incluse le regimi praticamente rilevanti dove $d < C-1$. Introducendo i codici bilanciati a norma uguale, gli autori dimostrano che le garanzie geometriche fondamentali dei metodi basati sul simplesso (regioni di accettazione compatte, stabilità Lipschitz e decadimento esponenziale del FAR) non dipendono strettamente dall'esistenza di un simplesso regolare.

La significatività risiede in:

1. Rigore Teorico: Fornire garanzie formali sulla geometria delle regioni di rigetto open-set, affrontando il "gap teorico" dei metodi basati sul simplesso esistenti.
2. Insight Scorer-Agnostic: Inquadrare la geometria dei prototipi bilanciati come uno strumento analitico e un prior per l'apprendimento della rappresentazione piuttosto che come un detector standalone. Il documento afferma esplicitamente che gli score di rapporto servono a produrre una geometria analiticamente trattabile con limiti provabili, anche se non sempre dominano i metriche di rilevazione empirica.
3. Guida Pratica: Offrire procedure concrete e guidate dai dati per la selezione della soglia e la stima della dimensione, colmando il divario tra i limiti teorici e l'implementazione operativa.

Gli autori rimangono modesti, riconoscendo che i loro limiti teorici si basano su assunzioni (es. code sub-gaussiane, isotropia) che potrebbero non valere perfettamente nella pratica, e che le prestazioni empiriche dipendono fortemente dalla scelta della regola di scoring e dalle caratteristiche specifiche del dataset.