One-Prompt Strikes Back: Sparse Mixture of Experts for Prompt-based Continual Learning

Il paper propone SMoPE, un nuovo framework per l'apprendimento continuo basato su prompt che integra una struttura a Mixture of Experts sparsa per bilanciare efficienza computazionale e prestazioni, mitigando l'interferenza tra compiti attraverso l'attivazione dinamica di un sottoinsieme di "esperti prompt" condivisi.

L'essenziale

Ecco una spiegazione semplice e creativa del paper "ONE-PROMPT STRIKES BACK" (Un Prompt Colpisce di Nuovo), che introduce un metodo chiamato SMoPE.

Immagina di dover insegnare a un cuoco esperto (il nostro modello di intelligenza artificiale) a cucinare piatti di tutto il mondo, uno dopo l'altro, senza poter mai guardare le ricette vecchie.

Il Problema: Dimenticare o Impazzire?

Finora, ci sono stati due modi principali per far imparare al cuoco nuovi piatti:

1. Il Metodo "Libro di Ricette Infinito" (Prompt Specifici):
   Per ogni nuovo paese (task), dai al cuoco un nuovo libro di ricette dedicato solo a quel paese.

   • Vantaggio: Non confonde mai i piatti cinesi con quelli italiani.
   • Svantaggio: Dopo 100 paesi, hai 100 libri pesantissimi da portare in giro. Inoltre, se il cuoco deve cucinare un piatto italiano ma non sa quale libro prendere, deve sfogliare tutti i 100 libri per trovare quello giusto (lento e costoso).

2. Il Metodo "Un Solo Quaderno" (Prompt Condiviso):
   Dai al cuoco un unico quaderno che usa per tutto. Quando arriva un nuovo paese, aggiungi le ricette nel stesso quaderno.

   • Vantaggio: Leggerissimo, un solo quaderno.
   • Svantaggio: Il cuoco si confonde! Le ricette del Giappone cancellano quelle della Francia. Alla fine, il cuoco sa fare un po' di tutto ma male, perché le istruzioni si mescolano e si cancellano a vicenda (questo si chiama "dimenticanza catastrofica").

La Soluzione: SMoPE (Il Cuoco con gli "Specialisti")

Gli autori di questo paper hanno detto: "Perché non uniamo il meglio dei due mondi?".

Hanno creato SMoPE. Immagina che il tuo unico quaderno non sia fatto di pagine normali, ma contenga 25 "esperti" virtuali (chiamati Prompt Experts).

Ecco come funziona la magia:

1. Il Quaderno Intelligente (Mixture of Experts):
   Il quaderno contiene 25 esperti diversi. Uno è bravo con i sapori asiatici, uno con quelli mediterranei, uno con i dolci, ecc.

   • Analogia: È come avere un team di 25 assistenti dentro la tua testa, ma tu ne usi solo 5 alla volta.

2. La Selezione Dinamica (Sparse Selection):
   Quando il cuoco riceve un nuovo ordine (un'immagine da classificare), non attiva tutti i 25 esperti. Ne sceglie solo 5 che sono più rilevanti per quel piatto specifico.

   • Perché è geniale? Se oggi impari a fare sushi, attivi solo gli "esperti sushi". Non tocchi gli "esperti pizza". Così, le conoscenze della pizza rimangono intatte e non vengono cancellate.

3. Il "Rumore" Adattivo (Adaptive Noise):
   A volte, gli stessi 5 esperti si attivano sempre, ignorando gli altri. È come se il cuoco usasse sempre lo stesso coltello per tutto.
   SMoPE introduce un piccolo "rumore" o disturbo intelligente: se un esperto è stato usato troppo spesso, il sistema gli dà una leggera "scossa" per dire: "Ehi, riposa un po', prova a usare quell'altro esperto che non si è mai svegliato!". Questo assicura che tutti gli esperti nel quaderno vengano allenati e che nessuno venga dimenticato.

4. I "Ricordi Fantasma" (Prototype Loss):
   Per non dimenticare mai le ricette vecchie, il sistema tiene traccia delle "chiavi" (i prefix keys) degli esperti che hanno lavorato bene in passato. Sono come dei fantasmi di ricette che ricordano come si facevano i piatti vecchi. Quando si allena il cuoco su un nuovo piatto, questi fantasmi controllano che non si stia cancellando una ricetta fondamentale.

I Risultati: Perché è un "Colpo di Genio"?

• Efficienza: Usa un solo "quaderno" (un solo prompt condiviso), quindi è leggerissimo e veloce. Non deve cercare tra 100 libri.
• Performance: Dimentica molto meno degli altri metodi. Sa fare il sushi senza dimenticare come si fa la carbonara.
• Risparmio: Risparmia fino al 50% di potenza di calcolo rispetto ai metodi che usano un libro diverso per ogni task.

In Sintesi

SMoPE è come trasformare un unico quaderno di appunti in un laboratorio di specialisti dinamico. Invece di scrivere tutto su una pagina unica (che si sporca) o di avere 100 quaderni separati (che sono pesanti), hai un unico strumento che sa chi chiamare per ogni compito specifico, proteggendo le conoscenze passate mentre impara quelle nuove.

È il modo perfetto per insegnare a un'intelligenza artificiale a imparare per tutta la vita, senza mai dimenticare chi era all'inizio.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "ONE-PROMPT STRIKES BACK: SPARSE MIXTURE OF EXPERTS FOR PROMPT-BASED CONTINUAL LEARNING" (SMoPE), presentato come articolo di conferenza all'ICLR 2026.

1. Il Problema: Apprendimento Continuo (CL) e Limiti degli Approcci Attuali

L'Apprendimento Continuo (Continual Learning - CL) mira ad addestrare modelli neurali su una sequenza di compiti senza dimenticare le conoscenze apprese in precedenza. Una sfida centrale è il dimenticatoio catastrofico, dove l'apprendimento di nuovi compiti degrada le prestazioni su quelli vecchi.

Negli ultimi anni, i metodi basati sui prompt (che adattano modelli pre-addestrati, come i Vision Transformer, utilizzando un piccolo numero di parametri apprendibili) hanno ottenuto ottimi risultati. Tuttavia, esistono due paradigmi principali con compromessi significativi:

• Prompt Specifici per Compito: Assegnano un sottoinsieme dedicato di prompt a ogni compito. Sebbene efficaci nel ridurre l'interferenza, richiedono che il numero di parametri cresca linearmente con il numero di compiti, rendendo il metodo poco scalabile. Inoltre, richiedono spesso un passaggio completo attraverso il modello per inferire il prompt corretto, aumentando il costo computazionale.
• Prompt Condivisi (Single Shared Prompt): Utilizzano un unico prompt per tutti i compiti (es. OVOR). Questo è molto efficiente in termini di parametri, ma soffre di una forte interferenza di conoscenza: aggiornare continuamente lo stesso prompt per compiti diversi porta a una sovrascrittura delle informazioni specifiche, degradando le prestazioni.

Il paper si pone la domanda chiave: È possibile bilanciare l'efficienza parametrica di un singolo prompt condiviso con le prestazioni elevate dei metodi specifici per compito?

2. Metodologia: SMoPE (Sparse Mixture of Prompt Experts)

Gli autori propongono SMoPE, un nuovo framework che integra l'architettura Sparse Mixture of Experts (SMoE) nel meccanismo di Prefix Tuning. L'idea fondamentale è trattare un singolo prompt condiviso non come un blocco monolitico, ma come una collezione di "esperti di prompt" all'interno di un'architettura MoE sparsa.

Componenti Chiave della Metodologia:

1. Architettura MoE nei Layer di Attenzione:

   • Il lavoro si basa sulla scoperta che ogni testa di attenzione in un ViT può essere vista come una composizione di esperti.
   • SMoPE organizza il prompt condiviso in $N_p$ "esperti di prompt". Per ogni input, viene attivata solo una piccola sottoinsieme sparsa ($K$) di questi esperti, invece di aggiornare tutti i parametri del prompt contemporaneamente.
   • Questo crea una partizionamento implicito dei parametri, riducendo l'interferenza tra compiti.

2. Aggregazione del Punteggio di Attenzione del Prompt (Prompt-Attention Score Aggregation):

   • In un MoE standard, ogni esperto ha una funzione di punteggio. Nel Prefix Tuning, ogni esperto avrebbe $N$ funzioni di punteggio (una per ogni token), rendendo il calcolo costoso.
   • SMoPE introduce un punteggio proxy unificato aggregando i punteggi individuali. Calcola la media delle rappresentazioni dei token ($\tilde{x}$) e usa questa per generare un unico punteggio per ogni esperto di prompt.
   • Questo riduce la complessità computazionale da $O(N \cdot d_k)$ a $O(d_k)$, permettendo una selezione dinamica ed efficiente degli esperti senza bisogno di un passaggio completo del modello per inferire il task.

3. Meccanismo di Rumore Adattivo (Adaptive Noise):

   • Un problema comune negli SMoE è lo sbilanciamento nell'utilizzo degli esperti (alcuni dominano, altri rimangono inattivi).
   • SMoPE introduce un meccanismo di rumore adattivo che penalizza gli esperti già frequentemente attivati (quelli che probabilmente contengono conoscenze essenziali di compiti precedenti) durante l'addestramento.
   • La penalità è applicata solo se la frequenza di attivazione dell'experto supera la media. Questo incoraggia l'attivazione di esperti sottoutilizzati per nuovi compiti, preservando al contempo le conoscenze critiche negli esperti "importanti".

4. Funzione di Perdita basata su Prototipi (Prototype-based Loss):

   • Per favorire la specializzazione degli esperti e prevenire la dimenticanza, gli autori usano le chiavi del prefix (prefix keys) come rappresentazioni implicite della memoria dei compiti passati.
   • Le chiavi dei compiti precedenti (per esperti frequentemente attivati) fungono da "prototipi". Una nuova funzione di perdita ($L_{proto}$) assicura che gli aggiornamenti attuali non spostino troppo le chiavi degli esperti attivi lontano dai loro prototipi storici, preservando così la specializzazione appresa in precedenza.

5. Strategia di Addestramento:

   • Include una fase iniziale di addestramento denso (senza selezione sparsa) per stabilizzare le rappresentazioni degli esperti.
   • Utilizza una previsione adattiva al compito (Task-Adaptive Prediction) per correggere il bias del classificatore verso le nuove classi.

3. Contributi Principali

1. SMoPE: Un nuovo approccio che integra un MoE sparso nel Prefix Tuning, permettendo di usare un singolo prompt condiviso ma selezionando dinamicamente solo gli esperti rilevanti per ogni input.
2. Meccanismi Innovativi: Introduzione di un meccanismo di rumore adattivo per bilanciare l'utilizzo degli esperti e una perdita basata su prototipi che usa le chiavi del prefix come memoria implicita, risolvendo il problema della sovrascrittura delle conoscenze.
3. Efficienza e Prestazioni: SMoPE riduce drasticamente il numero di parametri apprendibili e i costi computazionali rispetto ai metodi basati su prompt specifici per compito, mantenendo o superando le prestazioni di stato dell'arte.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard di CL: ImageNet-R, CIFAR-100 e CUB-200 (con split in 10 o 20 compiti).

• Prestazioni: SMoPE ha ottenuto i migliori risultati complessivi su tutti i benchmark, superando sia i metodi con prompt specifici per compito (come HiDe-Prompt, NoRGa) che quelli con prompt condiviso (OVOR).
  • Su ImageNet-R (10 task), SMoPE ha raggiunto un FAA (Final Average Accuracy) di 79.32% contro il 78.71% di VQ-Prompt (SOTA precedente) e il 75.25% di OVOR.
  • Su CUB-200, ha raggiunto un FAA di 87.43%, superando tutti i baselines.
• Efficienza:
  • Parametri: SMoPE utilizza significativamente meno parametri apprendibili rispetto ai metodi task-specific (es. 0.38M vs 4.21M di NoRGa).
  • Costo Computazionale: Grazie alla selezione sparsa e all'assenza di bisogno di inferire il task tramite un passaggio completo del modello, SMoPE riduce il costo computazionale (GFLOPs) fino al 50% rispetto ai metodi task-specific, mantenendo un costo di inferenza simile a OVOR.
• Robustezza: I risultati sono stati confermati anche con diversi paradigmi di pre-addestramento (supervisionato, iBOT, DINO) e con un numero variabile di compiti (fino a 50 task), dimostrando la scalabilità del metodo.

5. Significato e Impatto

Il lavoro SMoPE rappresenta un passo avanti significativo nell'Apprendimento Continuo basato su prompt. Dimostra che non è necessario sacrificare l'efficienza (usando un solo prompt) per ottenere alte prestazioni, né è necessario sacrificare le prestazioni per l'efficienza (usando molti prompt).

• Superamento del Trade-off: SMoPE risolve il compromesso tra efficienza parametrica e gestione dell'interferenza, dimostrando che una struttura MoE sparsa all'interno di un prompt condiviso può gestire la plasticità necessaria per nuovi compiti e la stabilità per quelli vecchi.
• Scalabilità: Il metodo è particolarmente adatto per scenari di CL a lungo termine dove il numero di compiti è elevato, evitando l'esplosione dei parametri tipica dei metodi task-specific.
• Generalizzazione: L'approccio è stato validato su diverse architetture e dataset, suggerendo che il principio di "Prompt Experts" potrebbe essere esteso ad altri modelli foundation oltre ai ViT.

In sintesi, SMoPE offre una soluzione elegante ed efficiente per l'apprendimento continuo, permettendo ai modelli di "colpire di nuovo" (strikes back) con un'unica strategia di prompt che è sia potente che economica.