💻 computer science

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning

Il documento propone Miles, un metodo di apprendimento incrementale di classe che sfrutta modelli pre-addestrati disaccoppiando i moduli apprendibili e utilizzando uno spazio subdimensionale espandibile con l'apprendimento metrico per bilanciare efficacemente le prestazioni e il costo computazionale, mitigando al contempo l'oblio catastrofico.

Autori originali: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Pubblicato 2026-07-21

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kai Jiang, Zisong Lin, Hongyuan Zhang, Xueru Bai, Xuelong Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente a riconoscere cose nuove, come un nuovo tipo di uccello o un fiore raro, senza fargli dimenticare tutto ciò che già sa su cani e gatti. Questo è il mondo dell'Apprendimento Incrementale di Classe (CIL). In passato, se volevi insegnare un nuovo concetto a un robot, spesso dovevi riaddestrare l'intero suo cervello da zero, un processo lento e incline al "dimenticanza catastrofica" (catastrophic forgetting) — dove il robot improvvisamente dimenticava come riconoscere un cane solo perché aveva imparato a riconoscere un nuovo fiore.

Per risolvere questo problema, gli scienziati hanno iniziato a usare i Modelli Pre-Addestrati (PTM). Immagina questi come robot che hanno già passato anni a leggere ogni libro in biblioteca e a guardare ogni documentario sulla natura. Sanno già le basi del mondo. La sfida ora è come insegnare a questi robot "esperti" nuove abilità specifiche senza rovinare la loro conoscenza esistente o renderli troppo pesanti e lenti nel funzionare. La grande domanda è: come possiamo aggiungere nuove abilità al cervello di un esperto in modo efficiente, mantenendo le vecchie abilità affilate mentre si imparano le nuove, il tutto senza aver bisogno di una biblioteca massiccia di vecchie foto da rivedere?

Entra in gioco MILES (Metric Learning with Expandable Subspace), un nuovo metodo proposto dai ricercatori Kai Jiang e dal suo team. Hanno notato che, anche se questi robot pre-addestrati sono intelligenti, a volte si confondono quando cercano di imparare nuove categorie perché lo "spazio mentale" dove conservano le idee si intasa. Le vecchie idee e le nuove idee iniziano a sovrapporsi, come cercare di parcheggiare una nuova auto in un garage che è già pieno di auto vecchie.

Per risolvere il problema, MILES utilizza una strategia intelligente in due parti. Per prima cosa, crea una Proiezione del Prototipo di Sottospazio (SPP). Immagina che il robot abbia un garage gigante e disordinato (lo spazio delle caratteristiche). MILES costruisce una serie di piccoli "mini-garage" specializzati o sottospazi per ogni nuovo compito. Quando arriva una nuova categoria, il robot proietta le sue caratteristiche in questo nuovo mini-garage, dove può organizzare ordinatamente i nuovi elementi proprio accanto a un "prototipo" (un esempio perfetto) di quell'oggetto, tenendoli lontani dagli oggetti vecchi e non correlati. È come avere uno scaffale dedicato per la tua nuova collezione di francobolli in modo che non si mescoli alla tua vecchia collezione di monete.

Tuttavia, costruire solo uno scaffale non basta se gli occhi del robot (il modello pre-addestrato) non vedono i dettagli abbastanza chiaramente per il nuovo compito. Così, MILES aggiunge una Estensione della Rappresentazione del Sottospazio (SRE). Questo è come dare al robot un paio di occhiali speciali e leggeri per ogni nuovo compito. Questi occhiali non sostituiscono la visione principale del robot; aggiungono solo un po' di extra zoom e chiarezza ai passaggi intermedi del vedere, permettendo al robot di apprendere il nuovo compito molto meglio senza dover ricostruire l'intero cervello.

Infine, i ricercatori hanno notato un problema: a volte il robot diventa troppo bravo nel nuovo compito e inizia a ignorare gli altri, o la "distanza" tra gli elementi diventa stranamente inconsistente. Per fermare questo, hanno introdotto la Regolarizzazione della Distanza (DR). Pensa a questo come a un bibliotecario severo che assicura che la distanza tra due libri qualsiasi sullo scaffale sia sempre equa e coerente, indipendentemente dalla sezione della biblioteca in cui ci si trova. Questo evita che il robot diventi troppo ossessionato dalle cose nuove e dimentichi l'equilibrio dell'intera biblioteca.

Il team ha testato MILES su sei diversi dataset, che vanno da immagini semplici come CIFAR-100 a foto complesse del mondo reale come ImageNet-R. I risultati sono stati impressionanti: MILES ha raggiunto la massima accuratezza nella maggior parte dei contesti, superando altri metodi d'eccellenza. Ad esempio, sul dataset CIFAR-100 con 10 task, ha raggiunto un'accuratezza del 93,93%, che è quasi l'1% superiore al secondo miglior metodo, pur avendo dimenticato pochissimo di ciò che aveva appreso in precedenza. Il metodo si è anche dimostrato efficiente, utilizzando pochissime risorse informatiche e memoria aggiuntiva rispetto ad altri approcci.

In breve, MILES suggerisce che combinando la potenza della conoscenza pre-addestrata con aggiunte intelligenti e leggere che organizzano le nuove informazioni in spazi dedicati e mantengono tutto in equilibrio, possiamo insegnare all'IA di apprendere continuamente senza dimenticare. È un passo verso la creazione di un'IA capace di crescere e adattarsi come un essere umano, imparando cose nuove ogni giorno senza perdere il proprio passato.

Riepilogo Tecnico: MILES (Metric Learning with Expandable Subspace)

Problematica
L'Apprendimento Incrementale di Classe (Class-Incremental Learning, CIL) mira a apprendere nuovi concetti sequenzialmente da un flusso di dati senza dimenticare le categorie precedentemente apprese. Mentre i metodi CIL tradizionali spesso addestrano i modelli da zero — portando a lunghi tempi di addestramento e una scarsa generalizzazione — gli approcci basati su Modelli Pre-addestrati (PTM) offrono un'alternativa promettente sfruttando la conoscenza pregressa. Tuttavia, gli esistenti metodi CIL basati su PTM affrontano un critico compromesso tra prestazioni ed efficienza computazionale. I metodi che condividono lo stesso spazio dei parametri soffrono spesso di dimenticanza catastrofica, mentre quelli che espandono un nuovo ramo per ogni task incorrono in costi computazionali significativi a causa di molteplici propagazioni in avanti o di un aumento lineare dei tempi di inferenza con il numero di task. Inoltre, il semplice fine-tuning dei PTM attraverso molteplici task a valle incontra ancora una grave dimenticanza, e i metodi esistenti spesso faticano a bilanciare la plasticità del modello (apprendimento di nuovi task) e la stabilità (ritenzione della vecchia conoscenza) senza modificare il backbone congelato o andare in overfitting sui nuovi task.

Metodologia
Il metodo proposto, MILES (Metric Learning with Expandable Subspace), affronta queste sfide disaccoppiando i moduli apprendibili dal backbone pre-addestrato e orchestrando un'espansione efficiente dello spazio dei parametri attraverso un'ottimizzazione guidata. L'architettura consiste in un backbone pre-addestrato congelato (ad es., Vision Transformer) e tre componenti chiave:

Proiezione del Prototipo del Sottospazio (Subspace Prototype Projection, SPP):
- Motivazione: Le osservazioni indicano che le categorie non viste negli spazi delle caratteristiche dei PTM esibiscono un raggruppamento (clustering) piuttosto che una dispersione. MILES sfrutta questo aspetto calcolando i prototipi di classe per le nuove categorie senza addestramento.
- Meccanismo: Per ogni nuovo task $t$ , un adattatore leggero e apprendibile ( $A_t$ ) è concatenato dopo il backbone. Questo adattatore proietta le caratteristiche originali in un sottospazio specifico per il task.
- Struttura: L'adattatore utilizza un design residuo che comprende un ramo MLP a dimensionalità completa e un ramo di proiezione progressiva down/up (simile a una 1D U-Net operante sulle dimensioni dei canali). Questa struttura comprime le caratteristiche in un collo di bottiglia (bottleneck) a bassa dimensionalità e le ripristina, consentendo una ri-parametrizzazione delle caratteristiche specifica per il task mantenendo la compatibilità con il backbone congelato.
- Ottimizzazione: Una loss di centro (center loss) minimizza la distanza tra le caratteristiche intra-task e i loro corrispondenti prototipi. Per prevenire l'overfitting sui nuovi task, viene introdotta una loss di stabilità, che massimizza la distanza tra le pseudo-caratteristiche delle vecchie categorie (modellate tramite distribuzioni Gaussiane) e i nuovi prototipi del task.
Estensione della Rappresentazione del Sottospazio (Subspace Representation Extension, SRE):
- Motivazione: Affidarsi esclusivamente al backbone congelato limita la capacità del modello di apprendere caratteristiche ad alta dimensione dai nuovi dati, poiché il backbone non può adattarsi alle nuove distribuzioni dei task.
- Meccanismo: Una sottorete a basso rango ( $S_t$ ) viene estesa per ogni task per apprendere le caratteristiche intermedie dal modello pre-addestrato.
- Struttura: La sottorete SRE imita l'architettura dei blocchi transformer del backbone utilizzando due moduli MLP a basso rango per blocco. Uno approssima il modulo di attenzione e l'altro approssima la rete Feed-Forward (FFN).
- Integrazione: L'output della sottorete SRE viene concatenato con le caratteristiche originali del backbone prima di essere inviato all'adattatore SPP. Ciò potenzia la capacità rappresentativa del modello senza modificare i pesi pre-addestrati o richiedere molteplici passaggi in avanti durante l'inferenza (è necessario un solo passaggio in avanti attraverso il backbone, seguito dall'elaborazione parallela dei rami SRE).
Regolarizzazione della Distanza (Distance Regularization, DR):
- Motivazione: Senza vincoli unificati, il modello può andare in overfitting su specifici sottospazi di task, risultando in distanze significativamente più piccole per i nuovi task rispetto ai precedenti, portando a un bias.
- Meccanismo: Due termini di regolarizzazione vengono aggiunti alla funzione di perdita:
  - Vincolo della Distanza Media del Task: Assicura che la distanza media dai vettori di caratteristiche ai prototipi di task irrilevanti rimanga costante tra i task.
  - Vincolo della Distanza Media della Classe: Mantiene una distanza media costante tra le caratteristiche intra-task e i loro prototipi attraverso tutti i sottospazi di task.
- Obiettivo: Questi termini bilanciano l'equilibrio metrico tra i task, mitigando l'overfitting e garantendo un criterio di classificazione coerente.

Contributi Chiave

Integrazione di Metric Learning e PTM: Il documento integra il metric learning con i modelli pre-addestrati in un contesto CIL, proponendo SPP per ottimizzare la distanza tra le caratteristiche dell'attuale task e i corrispondenti prototipi all'interno di un nuovo sottospazio di task.
Estensione della Rappresentazione del Sottospazio (SRE): Viene introdotta una nuova sottorete a basso rango per apprendere le caratteristiche intermedie dal PTM. Questo rafforza la capacità rappresentativa del modello con modifiche minime alla rete pre-addestrata ed evita l'aumento lineare dei tempi di inferenza associato alle architetture multi-branch.
Regolarizzazione della Distanza (DR): Viene proposta una strategia di regolarizzazione per mantenere distanze medie coerenti per ogni task, risolvendo efficacemente il problema dell'overfitting spesso osservato nei nuovi sottospazi di task.

Risultati Sperimentali
Sono stati condotti estesi esperimenti su sei dataset di riferimento: CIFAR-100, CUB-200, Omnibenchmark, ImageNet-A, ImageNet-R e FOOD-101. La valutazione ha coperto sia sequenze di task brevi ( $T=10$ ) che lunghe ( $T=50$ ).

Prestazioni: MILES ha raggiunto prestazioni allo stato dell'arte (SOTA) in vari scenari CIL. Ad esempio, su CIFAR-100 ( $T=10$ ), ha ottenuto un'accuratezza media del 93,93% con un tasso di dimenticanza del 3,12%, superando il secondo classificato (DGR) dello 0,88% in accuratezza e del 1,73% nel tasso di dimenticanza. Risultati superiori simili sono stati osservati su CUB, Omnibenchmark e varianti di ImageNet.
Efficienza: Il metodo mantiene un basso overhead computazionale. Richiede un solo passaggio in avanti attraverso il backbone congelato durante l'inferenza. Il numero di parametri addestrabili è paragonabile ai metodi concorrenti più piccoli (ad es., FeCAM), e le Operazioni di Moltiplicazione-Accumulo (MACs) sono minime rispetto ai metodi che richiedono molteplici passaggi in avanti (come EASE) o estesi aggiornamenti dei parametri.
Studi di Ablazione: Gli esperimenti hanno confermato l'efficacia di ogni componente. L'aggiunta di SPP ha migliorato le prestazioni rispetto a un baseline; l'aggiunta di SRE ha ulteriormente potenziato la capacità rappresentativa; e l'aggiunta di DR ha costantemente ridotto il tasso di dimenticanza e stabilizzato le prestazioni attraverso diverse impostazioni di iperparametri.
Robustezza: Il metodo ha dimostrato robustezza rispetto a diversi ordini di apprendimento e combinazioni di iperparametri.

Significatività e Rivendicazioni
Il documento afferma che MILES orchestra con successo un'espansione efficiente dello spazio dei parametri sfruttando le informazioni pregresse all'interno della conoscenza pre-addestrata. Disaccoppiando i moduli apprendibili e impiegando un'ottimizzazione guidata tramite metric learning, MILES raggiunge un compromesso superiore tra prestazioni e spesa computazionale rispetto agli esistenti metodi PTM-based CIL. Il lavoro valida che sfruttare la natura di clustering delle caratteristiche negli spazi PTM, combinata con estensioni di sottospazio leggere e regolarizzazione della distanza, permette un apprendimento continuo efficace senza dimenticanza catastrofica o costi computazionali eccessivi.

Limitazioni e Lavoro Futuro
Gli autori riconoscono che l'attuale studio si concentra su scenari standard di incremento di classe in cui il backbone pre-addestrato fornisce rappresentazioni trasferibili e i dati a valle rimangono entro l'ambito semantico target. La robustezza del metodo sotto spostamenti Out-of-Distribution (OOD) (stile, condizioni di acquisizione o contenuto semantico) non è stata investigata sistematicamente. Il lavoro futuro mira a estendere MILES verso un CIL consapevole di OOD incorporando la modellazione dell'incertezza e la correzione dello shift al tempo di test.

Riepilogo Tecnico: MILES (Metric Learning with Expandable Subspace)

Articoli simili