SphOR: A Representation Learning Perspective on Open-set Recognition for Identifying Unknown Classes in Deep Learning Models

Each language version is independently generated for its own context, not a direct translation.

🎨 L'Analogia: Il Museo delle Opere d'Arte Sconosciute

Immagina di essere il curatore di un museo d'arte molto famoso. Hai addestrato i tuoi guardie (l'intelligenza artificiale) per riconoscere perfettamente 5 tipi di quadri: ritratti, paesaggi, nature morte, astratti e sculture.

Il problema sorge quando un visitatore porta un quadro che non è mai stato visto prima: magari un'opera di street art o un dipinto su tela di un artista sconosciuto.

Il vecchio sistema (Classificatore Chiuso): Se il nuovo quadro assomiglia un po' a un "ritratto", la guardia lo etichetta come "Ritratto" e lo appende lì, sbagliando. È come se il museo non avesse spazio per le novità.
L'obiettivo di SpHOR: Vogliamo che la guardia dica: "Ehi, questo non è uno dei nostri 5 tipi! È qualcosa di nuovo!" e lo metta in una zona speciale chiamata "Area Sconosciuta".

🚧 Il Problema: La "Trappola della Familiarità"

Il documento spiega che le intelligenze artificiali attuali hanno un difetto: tendono a vedere il mondo in modo "piatto" (come su un foglio di carta infinito).
Se un nuovo oggetto è molto simile a uno vecchio (ma non uguale), l'IA lo confonde. È come se un'opera d'arte moderna fosse così vicina a un ritratto classico che la guardia pensa: "Sì, è un ritratto, solo un po' strano". Questo è il "Familiarity Trap" (Trappola della Familiarità).

🌐 La Soluzione: SpHOR (La Sfera Magica)

Gli autori propongono SpHOR, un nuovo modo per "allenare" l'IA. Invece di usare un foglio di carta piatto, SpHOR immagina lo spazio delle conoscenze come una gigantesca sfera (come un globo terrestre).

Ecco i 3 trucchi magici che usa SpHOR per funzionare meglio:

1. Le "Isole" Separate (Embedding Ortogonali)

Immagina che ogni tipo di quadro (Ritratto, Paesaggio, ecc.) debba occupare la sua isola sulla superficie della sfera.

Il trucco: SpHOR forza queste isole a stare il più lontano possibile l'una dall'altra, come se fossero poli opposti.
Il risultato: Se arriva un quadro nuovo, non può "atterrare" accidentalmente sopra un'isola vecchia. Se non sta perfettamente su un'isola, è chiaramente "Sconosciuto".

2. La Sfera Perfetta (Distribuzione von Mises-Fisher)

Invece di lasciare che i quadri si accumulino in modo disordinato, SpHOR li organizza come se fossero stelle su una sfera celeste.

Il trucco: Tutti i quadri dello stesso tipo devono stare vicini tra loro (come un gruppo di stelle che formano una costellazione), ma tutte le costellazioni devono essere distribuite uniformemente sulla sfera.
Il risultato: Questo crea uno spazio ordinato dove è facilissimo vedere se un punto (un quadro) è "fuori posto" rispetto alle costellazioni note.

3. Il "Mixer" di Idee (Mixup e Label Smoothing)

Qui entra in gioco la creatività. Durante l'allenamento, SpHOR prende due quadri diversi e li mescola (come un DJ che mixa due canzoni) per creare un'immagine ibrida.

Il trucco: Insegna all'IA a gestire le "zone grigie". Se mescoli un ritratto e un paesaggio, l'IA impara che questo ibrido non è né l'uno né l'altro, ma qualcosa di ambiguo.
Il risultato: L'IA impara a riconoscere quando qualcosa è "confuso" o "nuovo" senza farsi ingannare. È come allenare una guardia a dire: "Questo non è né un gatto né un cane, è un animale che non conosco".

📊 Come hanno misurato il successo?

Gli autori hanno creato due nuovi "righelli" per misurare quanto bene funziona il sistema:

Separabilità Angolare: Quanto sono distanti le "isole" delle diverse categorie? (Più sono lontane, meglio è).
Separabilità Normale: Quanto sono "grandi" o "piccoli" i punti nello spazio? (Aiuta a capire se un punto è fuori dalla norma).

🏆 I Risultati: Perché è importante?

Hanno testato SpHOR su molti database di immagini (dalle auto alle uccelli, fino a immagini mediche).

Risultato: SpHOR è il migliore al mondo (State-of-the-Art) nel riconoscere le cose nuove senza confonderle con quelle vecchie.
Il vantaggio extra: Funziona anche se non hai un computer potentissimo e funziona bene anche se l'IA è stata addestrata "da zero", senza aver visto milioni di immagini prima.

💡 In sintesi

SpHOR è come dare all'intelligenza artificiale una mappa tridimensionale e ordinata del mondo, invece di un foglio piatto. Insegna all'IA a:

Tenere le categorie ben separate (isole distanti).
Organizzarle su una sfera perfetta.
Allenarsi con le "zone grigie" per non farsi ingannare dalle novità.

Così, quando arriva qualcosa di sconosciuto, l'IA non dice "Forse è questo", ma dice con sicurezza: "Questo è nuovo!". Un passo fondamentale per rendere l'IA più sicura nel mondo reale (ad esempio, per guidare un'auto o diagnosticare malattie).

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Riconoscimento in Aperto (Open-Set Recognition - OSR)

Le reti neurali profonde (DNN) tradizionali operano in un contesto "chiuso", assumendo che tutte le classi presenti nei dati di test siano state viste durante l'addestramento. Tuttavia, nelle applicazioni reali e critiche per la sicurezza, è fondamentale identificare i dati provenienti da classi sconosciute come "sconosciuti" (Out-of-Distribution o OOD) invece di classificarli erroneamente in una delle classi note.

Il paper evidenzia una sfida specifica: il "Familiarity Trap" (Trappola della Familiarità). Questo fenomeno si verifica quando le classi sconosciute condividono distribuzioni di dati simili o attributi condivisi (come sfondi o texture) con le classi note. Di conseguenza, le rappresentazioni latenti di queste classi sconosciute finiscono per essere molto vicine a quelle delle classi note nello spazio delle caratteristiche, rendendo difficile la loro separazione.
Molti metodi OSR esistenti addestrano estrattori di caratteristiche e classificatori in modo congiunto o utilizzano obiettivi generici (come il Supervised Contrastive Learning) non specificamente progettati per gestire le classi sconosciute, portando a rappresentazioni che non strutturano adeguatamente lo "spazio aperto" (open-space).

2. Metodologia: SpHOR

Gli autori propongono SpHOR, un metodo di apprendimento delle rappresentazioni in due fasi (decoupled training) che modella esplicitamente lo spazio delle caratteristiche prima di addestrare il classificatore. L'approccio si basa su tre innovazioni chiave:

A. Apprendimento di Rappresentazioni Sferiche (Spherical Representations)

Invece di operare nello spazio euclideo illimitato (dove la magnitudine delle feature può crescere indefinitamente), SpHOR normalizza le caratteristiche ( $L_2$ -normalization) proiettandole su una ipersfera.

Le rappresentazioni sono modellate come una miscela di distribuzioni von Mises-Fisher (vMF).
Questo approccio permette di ottimizzare due proprietà geometriche cruciali: Allineamento (le feature di una classe si avvicinano al loro centro) e Uniformità (i centri delle classi sono distribuiti uniformemente sulla sfera).

B. Separazione Ortogonale delle Classi (Orthogonal Label Embeddings)

Per mitigare il "Familiarity Trap", SpHOR impone un vincolo di ortogonalità sui vettori di embedding delle etichette ( $\mu_c$ ).

Questo forza le rappresentazioni di classi diverse a occupare sottospazi lineari distinti.
Viene introdotto un regolarizzatore di ortogonalità (ROrtho) che garantisce che i centri delle classi non siano correlati negativamente o ridondanti, massimizzando la separabilità angolare.

C. Integrazione di Mixup e Label Smoothing

Le tecniche di regolarizzazione Mixup e Label Smoothing (LS) non vengono applicate solo al classificatore, ma sono integrate direttamente nella fase di apprendimento delle rappresentazioni.

Questo genera campioni sintetici ambigui (tramite Mixup) che simulano classi sconosciute, costringendo il modello a imparare a gestire le regioni di "spazio aperto" tra le classi note.
Teoricamente, questo spinge i campioni ambigui lontano dai centri delle classi, migliorando la robustezza.

Fasi di Addestramento

Fase 1 (Representation Learning): Addestramento dell'encoder e dei vettori di embedding delle etichette utilizzando una funzione di perdita basata su vMF ( $L_{vMFAL}$ ) combinata con il regolarizzatore di ortogonalità ( $R_{Ortho}$ ).
Fase 2 (Classifier Training): L'encoder viene congelato (o riutilizzato) e viene addestrato un semplice classificatore lineare sulle feature estratte, utilizzando la classica Cross-Entropy.

3. Contributi Chiave

Metodo a due stadi: Un approccio decoupled che separa l'apprendimento delle rappresentazioni dall'addestramento del classificatore, permettendo una modellazione esplicita dello spazio aperto.
Nuove Metriche di Valutazione: Introduzione di Angular Separability (AS) e Norm Separability (NS) per quantificare quanto bene le rappresentazioni separano le classi note da quelle sconosciute, sia in termini angolari che di norma vettoriale.
Analisi Teorica: Dimostrazione matematica di come la funzione di perdita proposta induca allineamento e uniformità, risolvendo il problema del collasso degli embedding.
Efficienza Computazionale: A differenza dei metodi contrastivi che richiedono complessità quadratica $O(B^2)$ per i confronti tra coppie, SpHOR ha una complessità lineare $O(B \cdot C)$ , rendendolo più efficiente e robusto anche con batch size piccoli.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark sia a grana fine (Semantic Shift Benchmark - SSB) che a grana grossa (Legacy CNN-32).

Semantic Shift Benchmark (SSB): Su dataset come CUB, Stanford Cars e FGVC-Aircraft, SpHOR ha ottenuto risultati State-of-the-Art (SOTA).
- Miglioramenti fino al 5.1% in OSCR (Open Set Classification Rate) e 5.2% in AUROC rispetto ai metodi precedenti.
- Ha dimostrato una robustezza superiore anche senza pre-addestramento su ImageNet, mantenendo prestazioni competitive dove altri metodi crollano.
- È meno sensibile alla scelta della regola di scoring (es. MaxLogit, KNN) rispetto ad altri approcci.
Legacy Benchmarks: Su benchmark più vecchi (SVHN, CIFAR), SpHOR ha superato metodi consolidati come ARPL, MLS e ConOSR, confermando la sua versatilità.
Ablation Study: Gli esperimenti hanno dimostrato che la combinazione di Mixup e Label Smoothing migliora sia la separabilità angolare che quella basata sulla norma. Il regolarizzatore di ortogonalità (ROrtho) ha ulteriormente migliorato la dispersione delle classi e l'AUROC.

5. Significato e Impatto

SpHOR rappresenta un cambio di paradigma nel Riconoscimento in Aperto: invece di affidarsi a modifiche complesse del classificatore o a metodi generativi costosi, si concentra sulla strutturazione geometrica dello spazio delle caratteristiche.

Risoluzione del Familiarity Trap: L'uso di embedding ortogonali e vincoli sferici impedisce alle classi sconosciute di "nascondersi" vicino a quelle note.
Generalizzazione: La capacità di funzionare bene sia su dataset pre-addestrati che da zero, e su diversi livelli di difficoltà (shift semantico facile vs. difficile), lo rende una soluzione pratica per applicazioni reali.
Efficienza: La scalabilità lineare lo rende adatto a scenari con risorse limitate o un gran numero di classi.

In sintesi, il paper dimostra che progettare esplicitamente le rappresentazioni per l'OSR, piuttosto che affidarsi all'adattamento implicito durante l'addestramento congiunto, porta a una migliore identificazione delle classi sconosciute e a una maggiore sicurezza nei sistemi di intelligenza artificiale.