Riepilogo Tecnico: Oltre il Collasso Neurale Punto per Punto

1. Enunciazione del Problema

L'Apprendimento Incrementale di Classe (CIL) mira a consentire ai modelli di apprendere nuove categorie in sequenza senza dimenticare catastroficamente le conoscenze acquisite in precedenza. Sebbene il classificatore Nearest Class Mean (NCM) sia diventato lo standard de facto per il CIL grazie alla sua robustezza contro l'oblio, la sua ottimalità dipende fortemente dalla teoria del Collasso Neurale (NC). La teoria NC postula che, durante la fase terminale dell'addestramento, le caratteristiche intra-classe collassino in singoli punti (medie di classe), rendendo il classificatore NCM equivalente a un classificatore lineare ottimale.

Tuttavia, gli autori sostengono che, nelle impostazioni pratiche del CIL, questo stato ideale viene frequentemente violato a causa di tre fattori:

1. Convergenza Insufficiente: I modelli spesso non vengono addestrati fino al punto di collasso per evitare l'overfitting.
2. Addestramento Vincolato: I passi incrementali utilizzano spesso regolarizzazione o distillazione che impediscono una convergenza completa sulle nuove classi.
3. Deriva delle Caratteristiche: Mentre il backbone si aggiorna per nuovi compiti, le rappresentazioni delle classi precedenti subiscono uno spostamento.

Il documento dimostra, tramite analisi della distanza di Procruste, che questa deriva delle caratteristiche non è una semplice trasformazione rigida ma coinvolge significative deformazioni non lineari (con distanze normalizzate che raggiungono 0,3–0,4). Di conseguenza, le caratteristiche delle classi risiedono su varietà complesse ad alta dimensionalità (ad esempio, strutture a "dumbbell" o "crescente") piuttosto che su punti collassati. Ciò rende il NCM a singolo prototipo subottimale, poiché non riesce a rappresentare queste geometrie complesse, portando a un degrado delle prestazioni.

2. Metodologia

Il framework proposto è composto da due componenti principali: un classificatore consapevole della topologia (HC-SOINN) e un meccanismo di adattamento alla deriva (STAR).

2.1. HC-SOINN (Hierarchical-Cluster SOINN)

Per catturare la struttura intrinseca delle varietà di classe, gli autori propongono HC-SOINN, che sostituisce l'ipotesi del singolo prototipo con una rappresentazione topologica "dal locale al globale".

• Inizializzazione Gerarchica: Invece di applicare il clustering incrementale direttamente ai flussi grezzi (che è sensibile al rumore e all'ordine), il metodo accumula prima le caratteristiche in un buffer ed esegue il Clustering Gerarchico Agglomerativo (utilizzando UPGMA e distanza coseno) per inizializzare uno scheletro di varietà stabile.
• Raffinamento SOINN Sferico: I nodi iniziali vengono raffinati utilizzando una rete neurale incrementale auto-organizzata (SOINN) semplificata e adattata all'ipersfera unitaria.
  • Apprendimento Topologico: Vengono creati collegamenti tra il nodo vincitore e il secondo classificato basandosi sull'Apprendimento Hebbiano Competitivo (CHL).
  • Aggiornamento Sferico: Le posizioni dei nodi vengono aggiornate utilizzando l'Interpolazione Lineare Sferica (SLERP) per garantire che i sub-prototipi evolvano lungo la superficie della varietà invece di derivare verso l'interno dell'ipersfera.
• Inferenza a Doppia Vista: Il punteggio decisionale finale combina una Vista Globale (similarità coseno rispetto alla media di classe $\mu_c$) e una Vista Locale (massima similarità coseno rispetto a qualsiasi sub-prototipo locale $v \in V_c$). Il punteggio è una somma pesata:
  $$S(x, c) = \alpha \cdot \cos\langle \tilde{f}_\theta(x), \mu_c \rangle + (1-\alpha) \cdot \max_{v \in V_c} \cos\langle \tilde{f}_\theta(x), v \rangle$$

2.2. STAR (Structure-Topology Alignment via Residuals)

Per affrontare la deriva non lineare delle caratteristiche che i metodi topologici statici non possono sopportare completamente, STAR introduce un paradigma di "adattamento alla deriva".

• Tracciamento della Traiettoria Punto per Punto: STAR stabilisce una mappatura uno-a-uno tra nodi topologici e campioni di ancoraggio. Traccia la deriva di ciascun nodo individualmente confrontando le caratteristiche correnti con le caratteristiche di riferimento memorizzate.
• Allineamento Residuale: Una Media Mobile Esponenziale (EMA) smussa i vettori di deriva ($\delta_i$). Questi residui vengono applicati per trasportare i sub-prototipi nello spazio delle caratteristiche corrente, permettendo alla struttura della varietà di deformarsi attivamente e allinearsi alla distribuzione delle caratteristiche in evoluzione senza riaddestrare il backbone.
• Sincronizzazione Globale: La media globale di classe viene aggiornata in modo sincrono utilizzando la deriva media di tutti i nodi.

3. Contributi Chiave

1. Riesame dell'Ottimalità NCM: Gli autori utilizzano l'analisi di Procruste per dimostrare empiricamente che la deriva delle caratteristiche nel CIL causa significative deformazioni strutturali non lineari, esponendo i limiti dei metodi a singolo prototipo negli scenari pratici.
2. Classificatore HC-SOINN: Un nuovo classificatore consapevole della topologia che rappresenta le varietà di classe utilizzando una struttura gerarchica di centri locali e un centro globale, offrendo una rappresentazione geometrica più accurata rispetto ai singoli prototipi.
3. Meccanismo STAR: Un passaggio dalla "resistenza alla deriva" (tentativo di prevenire gli spostamenti delle caratteristiche) all'"adattamento alla deriva" (deformazione attiva del confine decisionale per adattarsi allo spostamento). Sfruttando il tracciamento della traiettoria punto per punto, STAR permette alla topologia appresa di deformarsi attivamente per adattarsi all'evoluzione complessa e non lineare delle caratteristiche.
4. Validazione Estensiva: L'approccio è integrato in sette metodi CIL all'avanguardia (inclusi paradigmi basati su prompt, adapter e rappresentazione) su tre benchmark, dimostrando miglioramenti coerenti.

4. Risultati Sperimentali

Il metodo è stato valutato su Split CIFAR-100, Split CUB-200 e Split ImageNet-R.

• Guadagni di Prestazione: L'integrazione di HC-SOINN (con o senza STAR) in sette baseline (ad esempio SimpleCIL, DualPrompt, CODA-Prompt, SEMA, CL-LoRA) ha portato a miglioramenti coerenti sia nell'Accuratezza Media (AAvg) che nell'Accuratezza sull'Ultimo Compito (ALast).
  • Guadagni notevoli includono SEMA + HC-SOINN che ottiene un miglioramento del +21,00% su Split CUB-200 (ALast) e CODA-Prompt + HC-SOINN che supera altri metodi SOTA su Split CUB-200.
• Analisi del Classificatore: Isolando il contributo del classificatore (fissando il backbone), il proposto HC-SOINN + STAR ha costantemente superato i livelli FC parametrici, il NCM standard e il Classificatore non lineare di Kolmogorov-Arnold (KAC), in particolare in compiti a sequenza lunga e fuori distribuzione.
• Efficienza:
  • Addestramento: Il metodo completo aggiunge solo un sovraccarico di ~3,96% rispetto alla baseline, ottenuto tramite parallelizzazione per classe.
  • Inferenza: Il metodo introduce un sovraccarico di latenza virtualmente nullo (+0,01%) perché il backbone (99,7% del tempo di calcolo) domina il costo dell'inferenza e i calcoli delle distanze topologiche sono vettorializzati sulla GPU.
• Archiviazione: La topologia adattiva richiede la memorizzazione di una media di ~18–21 nodi per classe, che è comparabile o inferiore ai buffer di 20 esemplari utilizzati nei metodi tradizionali basati su rehearsal, senza tuttavia la necessità di riaddestramento basato su gradienti.

5. Significato e Affermazioni

Il documento afferma che la dipendenza da classificatori a singolo prototipo nel CIL è teoricamente infondata quando il Collasso Neurale è incompleto. Modellando le classi come varietà complesse anziché punti, il framework proposto colma il divario tra ottimalità teorica e vincoli pratici del CIL.

• Cambiamento di Paradigma: Il lavoro sostiene un passaggio dalla "resistenza alla deriva" (tentativo di prevenire gli spostamenti delle caratteristiche) all'"adattamento alla deriva" (deformazione attiva del confine decisionale per adattarsi allo spostamento).
• Robustezza: Il metodo è presentato come "tuning-free", mantenendo alte prestazioni su dataset e backbone diversi con un unico insieme unificato di iperparametri.
• Limiti: Gli autori riconoscono che i guadagni di prestazione comportano un sovraccarico computazionale moderato per la manutenzione topologica e un'archiviazione aggiuntiva per i buffer di ancoraggio. Inoltre, l'attuale meccanismo di punteggio si basa esclusivamente sulle distanze dei nodi, lasciando inesplorata la ricca connettività degli archi del grafo appreso durante la classificazione.

Gli autori concludono che il loro framework topologico fornisce una soluzione più affidabile per complessi spostamenti incrementali rispetto ai confini lineari esistenti o fissi non lineari, stabilendo nuove prestazioni all'avanguardia sui dataset valutati.