The Stable Recovery Manifold: Geometric Principles Governing Recoverability in Continual Learning

Sintesi Tecnica: Il Manifold di Recupero Stabile (Stable Recovery Manifold)

Problematica
L'apprendimento continuo mira a consentire ai modelli di acquisire nuove conoscenze sequenzialmente senza cancellare le informazioni precedentemente apprese. L'ostacolo principale è il dimenticanza catastrofica (catastrophic forgetting), tradizionalmente vista come la distruzione permanente delle rappresentazioni codificate. Mentre le precedenti strategie di mitigazione (regolarizzazione, replay, isolamento architettonico) operano sull'assunto che l'informazione vada perduta, un lavoro recente degli autori [1] ha messo in discussione questa visione, dimostrando che la conoscenza "dimenticata" è spesso ancora accessibile tramite il probing rappresentazionale. Questo fenomeno, denominato collasso dell'accessibilità (accessibility collapse), suggerisce che la rete perda l'accesso all'informazione attraverso il suo classificatore attivo piuttosto che perdere l'informazione stessa. Tuttavia, la struttura geometrica e la dinamica temporale di questa conoscenza recuperabile rimanevano non caratterizzate.

Metodologia
Gli autori investigano la struttura geometrica della recuperabilità utilizzando un backbone ResNet-18 addestrato sequenzialmente su Split CIFAR-100 (dieci task, dieci classi ciascuno) senza buffer di replay, memoria degli esemplari o regolarizzazione. Lo studio impiega sei esperimenti per misurare:

1. Recuperabilità ($R_t$): l'accuratezza di un classificatore lineare riinizializzato casualmente e addestrato sulle feature congelate del task $t$ per predire il Task 0.
2. Deriva Geometrica: misurata tramite Deriva dell'Angolo Principale ($D_t$) (rotazione dei sottospazi) e Energia di Proiezione ($PE_t$) (allineamento della varianza con il sottospazio originale del Task 0).
3. Dimensionalità del Sottospazio ($k_t$): il rango minimo della matrice dei pesi del probe lineare necessario per preservare il 90% dell'accuratezza totale del probe.
4. Similarità Rappresentazionale: utilizzando la Centered Kernel Alignment (CKA) e il Participation Ratio (PR) per analizzare i cambiamenti strutturali a livello di layer.

Lo studio testa l'ipotesi iniziale di Diffusione della Recuperabilità (l'idea che la dimensionalità del sottospazio di recupero cresca monotonicamente man mano che vengono appresi più task) contro la proposta ipotesi del Manifold di Recupero Stabile (SRM).

Contributi Chiave e Risultati

1. Falsificazione della Diffusione della Recuperabilità:
   Contrariamente all'ipotesi iniziale, la dimensionalità del sottospazio di recupero ($k_t$) non cresce. Rimane sorprendentemente costante a circa 8 direzioni principali su un totale di 512 dimensioni in tutti i dieci task (Media $k_t = 8.0$, $\sigma = 0.82$). Ciò indica che la rete non richiede sottospazi via via più complessi per recuperare la vecchia conoscenza; la capacità di recupero è compatta e stabile.

2. L'Ipotesi del Manifold di Recupero Stabile (SRM):
   Il paper postula che la dimenticanza catastrofica sia principalmente un fallimento geometrico dell'accessibilità piuttosto che una distruzione rappresentazionale. La conoscenza dimenticata è preservata all'interno di un manifold compatto, stabile e a bassa dimensionalità. Sebbene il sottospazio rappresentazionale ruoti significativamente (la deriva media dell'angolo principale raggiunge i 65°) e i layer profondi si riorganizzino, l'informazione rimane recuperabile tramite un readout lineare.

3. Prevedibilità Geometrica della Recuperabilità:
   Un modello di regressione lineare utilizzando tre variabili geometriche — accuratezza del Linear Probe ($LP_t$), Energia di Proiezione ($PE_t$) e Deriva dell'Angolo Principale ($D_t$) — spiega l'82% della varianza nella recuperabilità ($R^2 = 0.82$).

• La Deriva dell'Angolo Principale ($D_t$) è il predittore dominante (Pearson $r = -0.862$), indicando che la recuperabilità è governata dall'orientamento del sottospazio rispetto al task originale, non dal volume di informazione trattenuta.
• La rete perde l'accesso all'informazione (allineamento del classificatore) molto prima di perdere l'informazione stessa.

4. Meccanismo di Stratificazione della Profondità:
   L'analisi del Participation Ratio rivela un nuovo effetto di stratificazione della profondità:

• Layer Iniziali (L1, L2): diventano più distribuiti (feature generali), con L1 che mostra una ritenzione quasi perfetta (100.02%) attraverso tutti i task.
• Layer Profondi (L3, L4): diventano più concentrati (compressione specifica per il task), subendo una significativa riorganizzazione strutturale.
  Questa stratificazione fornisce la base meccanicistica per cui i layer iniziali mantengono feature universali mentre i layer profondi guidano il collasso dell'accessibilità.

Significatività e Rivendicazioni
Il paper riformula la dimenticanza catastrofica da un problema di perdita di informazione a un problema di preservazione dell'orientamento del sottospazio. Gli autori affermano che:

• La dimenticanza è un disallineamento sistematico tra una struttura rappresentazionale stabile e un classificatore che si adatta dinamicamente.
• L'ipotesi della "Diffusione della Recuperabilità" è falsa; il sottospazio di recupero è stabile, non diffusivo.
• Le future strategie di mitigazione dovrebbero mirare alla preservazione dell'orientamento del manifold (prevenire la rotazione delle top-8 direzioni singolari) piuttosto che alla generale deriva dei parametri o alla preservazione del volume di informazione.
• I risultati suggeriscono che interventi mirati che preservano solo circa 8 dimensioni potrebbero mantenere una recuperabilità quasi totale, offrendo un'alternativa altamente efficiente allo stoccaggio di interi checkpoint o a grandi buffer di replay.

Gli autori rimangono modesti riguardo l'universalità del reperto $k_t \approx 8$, notando che è attualmente stabilito solo per ResNet-18 su Split CIFAR-100 e richiede validazione su architetture non residuali e sequenze di task più lunghe.