Riepilogo Tecnico: Recupero Relazionale per la Scoperta Generalizzata di Categorie

Definizione del Problema

Il documento affronta la Scoperta Generalizzata di Categorie (GCD), un compito che estende la classificazione tradizionale a scenari di mondo aperto. L'obiettivo è riconoscere congiuntamente classi note utilizzando dati etichettati ($D_L$) e scoprire nuove categorie all'interno di dati non etichettati ($D_U$). Una sfida critica negli approcci GCD esistenti è che tipicamente trattano i dati etichettati e non etichettati come flussi di apprendimento separati: i dati etichettati subiscono un apprendimento supervisionato, mentre i dati non etichettati si affidano a segnali auto-supervisionati. Questa separazione porta a due limitazioni principali identificate dagli autori:

1. Spreco di Conoscenza Semantica: I campioni non etichettati appartenenti a classi note si affidano esclusivamente all'auto-supervisione, ignorando le caratteristiche altamente discriminative già catturate dai campioni etichettati delle stesse classi.
2. Scoperta Inefficace: La scoperta delle categorie procede spesso senza considerare i pattern relazionali. I campioni della stessa nuova categoria, pur essendo distinti dalle classi note, mantengono relazioni coerenti con i prototipi delle classi note, un segnale spesso trascurato a favore di etichette pseudo-affidabili.

Metodologia: Coerenza del Pattern Relazionale (RPC)

Il framework proposto, Coerenza del Pattern Relazionale (RPC), accoppia esplicitamente dati etichettati e non etichettati attraverso un trasferimento di conoscenza bidirezionale. Il metodo si basa sulla baseline SimGCD per l'apprendimento delle rappresentazioni e incorpora la decomposizione One-vs-All (OVA) di DebGCD per identificare se i campioni non etichettati appartengono a classi note (ID) o nuove (OOD).

Il nucleo di RPC consiste in due meccanismi:

1. Preservazione delle Classi Note tramite Trasferimento Semantico

Per prevenire la perdita della struttura semantica nei campioni non etichettati di classi note, RPC trasferisce pattern robusti dai dati etichettati a quelli non etichettati.

• Decomposizione Morbida ID/OOD: I classificatori OVA generano pesi morbidi ($w_{old}$ e $w_{new}$) per stimare la probabilità che un campione appartenga a classi note o nuove.
• Fusione di Embedding Ponderata per la Confidenza: Per i batch contenenti sia campioni etichettati che campioni non etichettati ad alta confidenza (ID), il modello costruisce una matrice di fusione. Questa matrice esegue uno spostamento circolare per iniettare informazioni dai campioni etichettati nelle loro controparti non etichettate accoppiate. La fusione è ponderata da $w_{old}$, garantendo che solo i campioni ID ad alta confidenza siano influenzati in modo significativo.
• Allineamento Comportamentale: Il framework impone coerenza tra i cambiamenti comportamentali indotti dall'aumento ($\Delta$) dei campioni etichettati e le loro controparti non etichettate fuse. Ciò garantisce che i campioni non etichettati di classi note ereditino rappresentazioni robuste dai dati etichettati.

2. Scoperta di Categorie tramite Corrispondenza Relazionale

Per la scoperta di nuove categorie, RPC va oltre il clustering mal posto sfruttando la coerenza relazionale.

• Firme Relazionali: Il metodo postula che i campioni della stessa nuova categoria esibiscano relazioni invarianti con i prototipi delle classi note. Nello specifico, due campioni della stessa nuova classe dovrebbero avere distanze simili (pattern di similarità) rispetto a tutti i prototipi delle classi note.
• Corrispondenza di Pattern: Ogni campione è codificato come un vettore di similarità rispetto ai prototipi delle classi note ($r(x)$). Il modello minimizza quindi la distanza tra queste firme relazionali per campioni con caratteristiche simili, ponderate dai loro punteggi di novità ($w_{new}$). Ciò trasforma il compito di scoperta in un problema di corrispondenza di pattern ben definito all'interno del sistema di riferimento delle classi note.

L'obiettivo di addestramento totale combina le perdite baseline (rappresentazione e classificatore) con la nuova perdita di allineamento ($L_{align}$) e la perdita di scoperta delle novità ($L_{new}$).

Contributi Chiave

Gli autori delineano tre contributi principali:

1. Accoppiamento Bidirezionale: RPC è il primo framework GCD ad accoppiare esplicitamente dati etichettati e non etichettati attraverso un trasferimento di conoscenza bidirezionale, utilizzando la decomposizione morbida ID/OOD per abilitare interazioni mirate piuttosto che mantenere flussi di apprendimento disgiunti.
2. Nuovi Meccanismi:
   • Introduzione della fusione di embedding ponderata per la confidenza con allineamento comportamentale per preservare la semantica delle classi note.
   • Sviluppo dell'apprendimento della coerenza relazionale, che scopre nuove categorie basandosi sulle loro relazioni invarianti con i prototipi delle classi note, evitando l'affidamento su etichette pseudo-affidabili.
3. Prestazioni all'Avanguardia: Esperimenti estensivi dimostrano che RPC ottiene prestazioni superiori su benchmark sia generici che a grana fine, con miglioramenti coerenti sia nell'accuratezza delle classi note (Old) che di quelle nuove (New).

Risultati Sperimentali

Il metodo è stato valutato su sei benchmark: tre dataset a grana fine (CUB, Stanford Cars, FGVC-Aircraft) e tre dataset generali (CIFAR-10, CIFAR-100, ImageNet-100).

• Prestazioni: RPC ha ottenuto risultati all'avanguardia sulla maggior parte dei benchmark. In particolare, sul dataset CUB, ha migliorato l'accuratezza "All" al 67.1% (rispetto al 66.3% del precedente migliore, DebGCD), con guadagni significativi nell'accuratezza "Old" (73.2% vs 71.8%) e "New" (64.8% vs 63.5%).
• Studi di Ablazione: La rimozione della fusione degli embedding o della perdita di allineamento ($L_{align}$) ha comportato un calo di circa il 3% nell'accuratezza delle classi note su CUB. La rimozione della perdita di scoperta relazionale ($L_{new}$) ha causato un calo del 3.3% nell'accuratezza delle nuove categorie, confermando la necessità di entrambi i componenti.
• Efficienza: Il metodo introduce un sovraccarico computazionale minimo, aggiungendo solo l'1.40% al numero di parametri e l'1.82% ai FLOPs rispetto alla baseline SimGCD.
• Visualizzazione: Le visualizzazioni t-SNE indicano che RPC produce uno spazio latente più strutturato con raggruppamenti intra-classe più stretti e confini inter-classe più chiari rispetto ai metodi baseline, riducendo efficacemente l'impigliamento semantico tra categorie vicine.

Significato e Affermazioni

Il documento afferma che RPC sposta fondamentalmente il paradigma GCD dall'apprendimento parallelo (dove dati etichettati e non etichettati sono elaborati separatamente) al miglioramento reciproco. Sfruttando le interazioni strutturate tra dati noti e nuovi, il framework permette ai dati etichettati di guidare l'apprendimento delle rappresentazioni delle classi note non etichettate, utilizzando simultaneamente le firme relazionali collettive dei dati non etichettati per scoprire nuove categorie. Gli autori affermano che questo approccio convalida l'ipotesi secondo cui dati etichettati e non etichettati possono migliorarsi reciprocamente attraverso interazioni strutturate, portando a rappresentazioni di caratteristiche più robuste e a una scoperta di categorie più accurata in scenari di mondo aperto.