Riepilogo Tecnico: Fusione Relazionale Cross-Campioni (CORF)

1. Formulazione del Problema: Apprendimento Incrementale di Classe Cross-Dominio (CDCIL)

Il documento affronta un divario critico nella ricerca attuale sull'apprendimento continuo: la sfida simultanea dell'Oblio Catastrofico e dello Shift di Dominio. Mentre l'Apprendimento Incrementale di Classe (CIL) standard si concentra sull'apprendimento di nuove classi senza dimenticare quelle vecchie, e la Generalizzazione di Dominio (DG) si concentra sulla robustezza attraverso i domini, nessuno dei due affronta pienamente lo scenario in cui un modello deve apprendere nuove classi in sequenza incontrando dati sia da domini visti che da domini non visti.

Gli autori formulano questo scenario come Apprendimento Incrementale di Classe Cross-Dominio (CDCIL). In questo contesto:

• Addestramento: Il modello riceve un flusso di attività, dove ogni attività contiene campioni provenienti da più domini "visti".
• Inferenza: Il modello viene valutato su tutte le classi apprese in precedenza attraverso sia i domini visti che un dominio completamente "non visto" escluso dall'addestramento.
• Sfida: I metodi CIL esistenti falliscono sotto gli shift di dominio a causa della mancanza di meccanismi di generalizzazione, mentre i metodi DG falliscono in contesti incrementali perché mancano di meccanismi per resistere all'oblio quando lo spazio delle etichette si espande.

2. Metodologia: Fusione Relazionale Cross-Campioni (CORF)

Gli autori propongono CORF, un framework unificato progettato per apprendere rappresentazioni agnostiche al dominio e incrementalmente stabili. CORF integra due componenti sinergiche: Raffinamento Sensibile Duale (DSR) per l'aumento dei dati a livello di campione e Distillazione Gerarchica Basata su Kernel (HKD) per la conservazione della conoscenza strutturale.

A. Raffinamento Sensibile Duale (DSR)

DSR mira a costruire uno spazio di rappresentazione agnostico al dominio sintetizzando strategicamente un dataset ausiliario. Sfrutta le mappe di contributo spaziale (tramite Grad-CAM) e la confidenza predittiva per guidare la fusione dei campioni:

1. Fusione ad Alta Confidenza:

   • I campioni con alta confidenza predittiva sono identificati come ancoraggi semantici affidabili.
   • Per un campione ad alta confidenza $x_H$, viene recuperato un corrispettivo $\tilde{x}_H$ da un dominio diverso ma della stessa classe.
   • Una mappa di contributo spaziale identifica le regioni critiche per la classificazione. Il modello fonde le regioni a basso contributo (spesso contenenti rumore specifico del dominio) di $x_H$ e $\tilde{x}_H$, preservando al contempo le regioni ad alto contributo di $x_H$.
   • Obiettivo: Costringere il modello a fare affidamento su caratteristiche semanticamente coerenti attraverso i domini, ignorando gli artefatti specifici del dominio.

2. Fusione a Bassa Confidenza:

   • Vengono identificati i campioni a bassa confidenza (ambigui o rumorosi).
   • Questi vengono accoppiati con un campione di una classe diversa all'interno dello stesso batch.
   • La fusione avviene nelle regioni ad alto contributo per incoraggiare il disaccoppiamento delle caratteristiche.
   • Obiettivo: Questi campioni sintetizzati vengono assegnati a classi ausiliarie temporanee (disgiunte dallo spazio delle etichette originale) per evitare di corrompere i confini di classificazione originali, incoraggiando al contempo il modello ad apprendere confini decisionali robusti.

B. Distillazione Gerarchica Basata su Kernel (HKD)

Per mitigare l'oblio catastrofico senza fare affidamento sulla distillazione a livello di logit (che assume coerenza distribuzionale), CORF impiega HKD. Questo metodo preserva la topologia relazionale dei campioni attraverso più gerarchie di caratteristiche.

• Mappe di Kernel Relazionali: Invece di allineare i logit globali, HKD costruisce mappe di kernel a più livelli della rete che catturano la similarità condizionale tra coppie di campioni all'interno di un batch.
• Design Ibrido del Kernel: Il metodo utilizza una combinazione di kernel Cosine (per preservare la direzione angolare/semantica) e kernel Student-t (per catturare le strutture dei vicini locali e gestire i valori anomali).
• Divergenza Simmetrica: Il modello corrente viene addestrato ad allineare le sue distribuzioni di kernel relazionali con quelle del modello vecchio (dall'attività precedente) utilizzando una funzione di perdita di divergenza simmetrica.
• Obiettivo: Ciò garantisce che le relazioni strutturali fini e sensibili al dominio tra i campioni siano preservate, anche mentre il modello si adatta a nuove attività e domini.

C. Obiettivo Unificato

L'obiettivo finale di addestramento combina la perdita di classificazione standard sui campioni originali e sintetizzati con la perdita di distillazione gerarchica:
$$\min \sum_{(x,y) \in S_n \cup A_n} L_{cls}(h_\Psi(x), y) + L_{reg} + \beta \cdot L_{kernel}$$
Dove $S_n$ è il set di addestramento originale, $A_n$ è il set ausiliario generato da DSR e $L_{kernel}$ è la perdita di distillazione aggregata.

3. Contributi Chiave

1. Formulazione del Problema: Il documento definisce formalmente il CDCIL, evidenziando i limiti dei metodi CIL e DG esistenti quando applicati a scenari che coinvolgono sia l'apprendimento sequenziale di classi che gli shift di dominio.
2. Raffinamento Sensibile Duale (DSR): Una strategia di aumento dei dati innovativa che utilizza la confidenza e le mappe di contributo spaziale per sintetizzare campioni invarianti al dominio, disaccoppiando efficacemente gli indizi semantici dai bias di dominio.
3. Distillazione Gerarchica Basata su Kernel (HKD): Una strategia di mitigazione dell'oblio che allinea le strutture relazionali attraverso le gerarchie di caratteristiche utilizzando kernel ibridi, offrendo un'alternativa più robusta alla distillazione basata sui logit sotto shift di dominio.
4. Framework Unificato: Dimostra che DSR e HKF possono essere integrati senza soluzione di continuità negli algoritmi CIL esistenti (ad es. iCaRL, DER, Replay) per migliorarne la generalizzabilità.

4. Risultati Sperimentali

Gli autori hanno valutato CORF su tre dataset di riferimento: OfficeHome, DomainNet e PACS, utilizzando ResNet-34 come backbone.

• Miglioramenti delle Prestazioni: CORF ha costantemente superato i metodi di base (inclusi FineTune, Replay, iCaRL, DER, MEMO, FOSTER) su tutti i dataset.
  • Su OfficeHome (5 attività), l'integrazione di CORF con DER ha migliorato la Media Armonica (HM) dei domini Visti e Non Visti dal 42,41% al 46,17%.
  • Su PACS, l'integrazione con FOSTER ha raggiunto un HM del 60,97%, superando la baseline con un margine significativo.
• Studi di Ablazione:
  • La rimozione di DSR ha portato a un calo della generalizzazione (prestazioni nel Dominio Non Visto).
  • La rimozione di HKD ha portato a un aumento dell'oblio (degrado delle prestazioni nel Dominio Visto).
  • La combinazione di entrambi ha prodotto i migliori risultati, confermando la loro natura complementare.
• Sensibilità agli Iperparametri: Il metodo ha mostrato robustezza alle variazioni del peso di raffinamento ($\alpha$) e del coefficiente di distillazione ($\beta$), con prestazioni ottimali a $\alpha=0,3$ e $\beta=0,01$.
• Analisi delle Caratteristiche: Le visualizzazioni delle matrici di similarità pairwise hanno mostrato che CORF ha prodotto cluster intra-classe più compatti e confini inter-classe meglio separati rispetto alle baseline.
• Compatibilità: Il framework è stato adattato con successo a backbone basati su Transformer (L2P e DualPrompt con ViT), sebbene i guadagni siano stati più modesti a causa dei parametri del backbone congelati, confermando la sua natura plug-and-play.

5. Significato e Affermazioni

Il documento afferma che CORF fornisce una soluzione unificata alle sfide duali dell'oblio e dello shift di dominio, che nella letteratura sono spesso trattati separatamente. Modellando esplicitamente le dipendenze relazionali tra i campioni attraverso domini e attività, CORF permette la costruzione di rappresentazioni che sono sia agnostico al dominio che incrementalmente stabili.

Gli autori sottolineano che il loro approccio non richiede la memorizzazione di grandi quantità di dati passati (oltre ai budget standard di esemplari) o modelli generativi complessi. Invece, si basa su un raffinamento selettivo e un allineamento strutturale per migliorare la robustezza. I risultati suggeriscono che affrontare lo shift di dominio e l'oblio catastrofico simultaneamente non è solo fattibile ma necessario per applicazioni reali come la guida autonoma, dove ambienti e categorie di oggetti evolvono continuamente.

Il documento conclude che, sebbene CORF sia attualmente più efficace con backbone convoluzionali addestrabili, offre una direzione promettente per la ricerca futura in scenari di apprendimento incrementale più diversificati e shift di dominio complessi.