SLAD : Shared LoRA Adapters for Task Specific Distillation

Riepilogo Tecnico: SLAD – Adattatori LoRA Condivisi per Distillazione Specifica di Compito

Enunciato del Problema
In ambienti con risorse limitate (ad esempio, sistemi embedded), il deployment di grandi modelli fondazione è spesso impraticabile a causa delle elevate richieste computazionali e di memoria. Sebbene la distillazione della conoscenza (KD) offra una soluzione trasferendo la conoscenza da un grande "insegnante" a un più piccolo "studente", sorge una sfida specifica nella distillazione specifica di compito. Lavori recenti (Marrie et al., 2024) hanno dimostrato che, sebbene il fine-tuning completo di un modello insegnante migliori le sue prestazioni a valle, paradossalmente degrada il trasferimento di conoscenza allo studente rispetto alla semplice analisi lineare (linear probing) dell'insegnante.

Gli autori ipotizzano che questo degrado derivi da un disallineamento nelle rappresentazioni delle caratteristiche tra insegnante e studente. Il fine-tuning completo altera lo spazio delle caratteristiche intrinseco dell'insegnante (un fenomeno analogo all'oblio catastrofico nell'apprendimento continuo), creando un disallineamento che ostacola una distillazione efficiente. Al contrario, l'analisi lineare preserva l'allineamento ma non riesce a catturare sufficienti sfumature specifiche del compito, risultando in un insegnante subottimale. La sfida principale è addestrare un insegnante più espressivo (tramite fine-tuning) mantenendo al contempo l'allineamento delle caratteristiche necessario per una distillazione efficace.

Metodologia
Il documento propone SLAD (Shared LoRA Adapters), un metodo che integra l'Adattamento a Basso Rango (LoRA) con una strategia di condivisione dei parametri per risolvere il compromesso tra espressività dell'insegnante e allineamento delle caratteristiche.

1. Analisi di Base (Distillazione in Due Fasi): Gli autori analizzano innanzitutto la pipeline standard a due fasi in cui un insegnante viene adattato (tramite analisi o fine-tuning) e successivamente distillato in uno studente. Utilizzano l'Allineamento del Kernel Centrato (CKA) per misurare la similarità delle caratteristiche. I risultati mostrano che il fine-tuning completo causa un calo significativo del CKA (9,4% su CUB), mentre l'analisi lineare mantiene un alto allineamento ma manca di espressività.
2. Adattamento LoRA: Per mitigare la perturbazione delle caratteristiche, gli autori propongono inizialmente di utilizzare adattatori LoRA per l'adattamento dell'insegnante. LoRA congela i pesi pre-addestrati e addestra matrici a basso rango ($A$ e $B$) in parallelo ai pesi originali. Questo riduce il grado di libertà nella modifica delle caratteristiche, preservando un migliore allineamento (calo del CKA del 5,1%) rispetto al fine-tuning completo, offrendo al contempo maggiore espressività rispetto all'analisi.
3. SLAD (Addestramento Congiunto con Condivisione dei Pesi): L'innovazione centrale è la strategia LoRA Condivisa. Invece di addestrare insegnante e studente in sequenza, SLAD li addestra congiuntamente in un singolo passaggio.
   • Condivisione dei Pesi: I pesi dell'adattatore LoRA sono condivisi tra gli encoder dell'insegnante e dello studente. Poiché i modelli insegnante e studente spesso differiscono per dimensionalità (ad esempio, ViT-L vs. ViT-S), il metodo condivide un sottoinsieme dei pesi LoRA dell'insegnante che corrispondono alle dimensioni dello studente.
   • Mappatura: Una funzione di mappatura allinea i blocchi dello studente ai blocchi dell'insegnante. Gli autori valutano mappature "Primo", "Ultimo" e "Pari" (uniformemente distribuite), riscontrando che la mappatura "Pari" generalmente performa meglio.
   • Funzione di Perdita: L'ottimizzazione congiunta minimizza una perdita combinata:
     $$L_{SLAD} = \alpha_s L_{task}(f_s) + \alpha_t L_{task}(f_t) + \alpha_{KL} T^2 D_{KL}(f_s, f_t)$$
     Ciò garantisce che entrambi i modelli ottimizzino per il compito, mentre la divergenza KL impone il trasferimento di conoscenza e i pesi condivisi impongono l'allineamento delle caratteristiche.

Contributi Chiave

• Analisi del Disallineamento delle Caratteristiche: Il documento identifica e quantifica che il fallimento degli insegnanti con fine-tuning completo nella distillazione è dovuto principalmente al disallineamento delle rappresentazioni delle caratteristiche tra insegnante e studente.
• LoRA per la Distillazione: Gli autori dimostrano che l'uso di adattatori LoRA per l'adattamento dell'insegnante migliora il compromesso tra la cattura di informazioni specifiche del compito e la preservazione dell'allineamento delle caratteristiche, rispetto sia al fine-tuning completo che all'analisi lineare.
• Framework SLAD: La proposta di un framework di addestramento congiunto in cui gli adattatori LoRA sono condivisi tra insegnante e studente. Ciò impone un allineamento delle caratteristiche esplicito attraverso la condivisione dei parametri piuttosto che solo attraverso le perdite di distillazione.
• Efficienza: SLAD ottiene questi risultati in un singolo passaggio di addestramento, rendendolo circa 2 volte più veloce della pipeline standard di fine-tuning e distillazione in due fasi.

Risultati
Sono stati condotti esperimenti estensivi su classificazione fine-granulare (CUB, FGVC-Aircraft, DTD) e segmentazione semantica (Cityscapes) utilizzando backbones DINOv2 (ViT-L, ViT-B, ViT-S).

• Prestazioni: SLAD ottiene prestazioni all'avanguardia nel framework di distillazione specifica di compito.
  • Produce un miglioramento medio dell'accuratezza del 2,16% rispetto ai metodi esistenti all'avanguardia sui benchmark di classificazione.
  • Nel setting da ViT-L a ViT-S, SLAD migliora l'accuratezza del 2,71% in media rispetto alle baseline basate sull'analisi.
  • Su Cityscapes, SLAD supera le baseline di analisi reimplementate in termini di media Intersezione su Unione (mIoU).
• Prestazioni dell'Insegnante: Contrariamente all'assunzione che l'insegnante sia meramente una fonte di conoscenza, l'addestramento congiunto in SLAD migliora effettivamente le prestazioni proprie dell'insegnante. L'insegnante addestrato con SLAD supera un insegnante addestrato con LoRA da solo (guadagni fino allo 0,8% di accuratezza), suggerendo un effetto di apprendimento collaborativo simile al Deep Mutual Learning.
• Efficienza di Addestramento: Sul dataset Aircraft, SLAD ha ridotto il tempo di addestramento da ~8,3 ore (pipeline standard) a 5,6 ore, nonostante il costo computazionale dei passaggi in avanti/indietro attraverso due modelli, grazie all'eliminazione della fase di addestramento sequenziale.

Significato e Affermazioni
Il documento afferma che SLAD offre un approccio superiore alla distillazione specifica di compito affrontando la causa radice del degrado delle prestazioni: il disallineamento delle caratteristiche. Sfruttando l'adattamento a basso rango e la condivisione dei parametri, il metodo bilancia con successo la necessità di un insegnante altamente espressivo con il requisito di rappresentazioni delle caratteristiche coerenti.

Gli autori posizionano SLAD come una soluzione pratica per il deployment di modelli fondazione in ambienti con risorse limitate, offrendo miglioramenti simultanei in accuratezza e velocità di addestramento. Il lavoro suggerisce che il "migliore" insegnante non è necessariamente quello con la più alta accuratezza autonoma (ottenuta tramite fine-tuning completo), ma quello il cui spazio delle caratteristiche rimane più allineato con lo studente, uno stato raggiunto qui tramite adattatori LoRA condivisi. Il documento conclude che questo approccio stabilisce un nuovo benchmark per la distillazione specifica di compito sia nelle attività di classificazione che di segmentazione.