Fast Speech Foundation Model Distillation Using Interleaved Stacking

Sintesi Tecnica: Distillazione di Modelli Foundation per il Fast Speech tramite Interleaved Stacking

Definizione del Problema
La distillazione della conoscenza (Knowledge Distillation, KD) è una tecnica standard per l'implementazione di modelli student efficienti da grandi Speech Foundation Models (SFM), come HuBERT, al fine di ridurre la latenza di inferenza e i costi computazionali. Sebbene gli approcci esistenti utilizzino spesso architetture student "deep-and-narrow" (profonde e strette) per mantenere le prestazioni sotto i vincoli di memoria, questi modelli soffrono di velocità di addestramento ridotte rispetto alle architetture "shallow-and-wide" (poco profonde e larghe) a causa della limitata parallelizzazione. Sebbene l'addestramento a stadi tramite model stacking (aumento progressivo della profondità del modello) sia stato esplorato per accelerare l'addestramento in altri domini, la sua applicazione alla distillazione degli SFM rimane non investigata. Inoltre, i metodi di stacking esistenti (ad esempio, gradual stacking, MIDAS) causano spesso una degradazione delle prestazioni negli SFM perché interrompono la coerenza delle posizioni degli strati durante le fasi di addestramento. Poiché gli SFM codificano una conoscenza distinta e specifica per ogni strato, la ricollocazione degli strati durante il processo di stacking ostacola il trasferimento efficace di tale conoscenza.

Metodologia
Gli autori propongono l'Interleaved Stacking, un nuovo framework di accelerazione dell'addestramento progettato specificamente per la distillazione di SFM. Il metodo opera attraverso i seguenti meccaniche:

1. Addestramento a stadi con interleaving: Il processo di addestramento è diviso in $B$ stadi. Inizialmente, viene addestrato un modello student poco profondo con $K$ strati ($K = N/B$, dove $N$ è la profondità target). Alla fine di ogni stadio, invece di appendere strati copiati alla parte superiore o centrale della rete, il metodo seleziona ogni $b$-esimo strato dal modello attuale di $bK$ strati, lo copia e inserisce la copia immediatamente dopo il suo strato originale. Ciò produce un modello di $(b+1)K$ strati per lo stadio successivo.
2. Coerenza della posizione degli strati: A differenza del gradual stacking (che copia gli ultimi $K$ strati) o di MIDAS (che copia blocchi intermedi), l'interleaved stacking assicura che gli strati mantengano le loro posizioni proporzionali relative (gli strati iniziali rimangono iniziali, gli strati finali rimangono finali) durante tutte le fasi di addestramento.
3. Integrazione con la KD a livello intermedio: Il metodo supporta naturalmente le perdite di Knowledge Distillation a livello intermedio. Poiché le posizioni degli strati rimangono coerenti, il $k$-esimo strato dello studente può essere allineato costantemente con specifici strati del docente (ad esempio, ogni $M/K$-esimo strato del docente) in tutti gli stadi. Ciò consente l'uso di perdite MSE strato-per-strato senza l'instabilità osservata in altri metodi di stacking in cui gli indici degli strati cambiano.
4. Funzione di Perdita: La perdita totale combina la perdita di KD a livello di output (MSE tra l'output del docente e quello proiettato dello studente) e la perdita di KD a livello intermedio. La perdita intermedia mira a indici fissi degli strati del docente rispetto alla profondità attuale dello studente, garantendo una supervisione stabile.

Contributi Chiave

• Prima investigazione dello stacking per la distillazione di SFM: Il documento è il primo a esplorare l'efficacia dell'accelerazione dell'addestramento tramite stacking specificamente per la distillazione di Speech Foundation Models.
• Algoritmo di Interleaved Stacking: Gli autori introducono una strategia di stacking che preserva la coerenza della posizione degli strati, affrontando la degradazione delle prestazioni causata dal disallineamento degli strati nei metodi esistenti.
• Compatibilità con la supervisione intermedia: Il metodo proposto consente l'integrazione fluida delle perdite di KD a livello intermedio, che sono critiche per le prestazioni degli SFM, mentre i baselines di stacking esistenti faticano a incorporarle senza causare divergenza nell'addestramento.
• Validazione Empirica: Il metodo è validato sul benchmark SUPERB attraverso quattro task downstream: Phoneme Recognition (PR), Automatic Speech Recognition (ASR), Slot Filling (SF) e Speaker Identification (SID).

Risultati Sperimentali
Gli autori hanno valutato il metodo utilizzando un modello student Transformer a 12 strati distillato da un docente HuBERT base.

• Performance vs. Baselines: L'interleaved stacking ha superato significativamente i baselines di stacking esistenti (Gradual Stacking e MIDAS) in tutti i task e le strategie di scheduling (Equal e Prop-1). Ad esempio, nel task PR con equal scheduling, l'Interleaved Stacking ha ottenuto un Perplexity Error Rate (PER) di 9.08, rispetto a 11.50 per il Gradual Stacking e 10.75 per MIDAS.
• Performance vs. Full Training: Sorprendentemente, sotto la strategia di scheduling Prop-1, il metodo proposto ha raggiunto prestazioni comparabili o migliori di un modello a piena profondità addestrato senza stacking (Full L2L) nei task PR, SF e SID, nonostante richieda un tempo di addestramento ridotto (circa 1.16x di velocità in più).
• Impatto della Perdita Intermedia: L'inclusione delle perdite di KD a livello intermedio ha aumentato significativamente le prestazioni. Il metodo ha mantenuto la superiorità sui baselines anche senza perdite intermedie, ma i guadagni sono stati più pronunciati con esse. Al contrario, l'applicazione delle perdite intermedie al Gradual Stacking ha causato instabilità nell'addestramento e cali di prestazioni.
• Analisi della Similarità tra Strati: L'analisi della similarità cross-layer ha confermato che gli strati adiacenti negli SFM esibiscono un'alta correlazione. L'approccio interleaved ha preservato queste relazioni, risultando in una struttura di similarità "a blocchi" dove gli strati copiati e i loro originali mantengono un'alta similarità, validando la scelta di design dell'inserimento adiacente.

Significato e Rivendicazioni
Il documento afferma che l'Interleaved Stacking offre una soluzione pratica al compromesso tra efficienza dell'addestramento e prestazioni nella distillazione di SFM. Mantenendo la coerenza della posizione degli strati, il metodo consente la preservazione della conoscenza specifica per strato inerente agli SFM, che viene spesso persa in altre tecniche di accelerazione. Gli autori sostengono che questo approccio non solo accelera l'implementazione di modelli student efficienti riducendo i costi di addestramento, ma mitiga anche la degradazione delle prestazioni tipicamente associata all'addestramento a stadi. Il lavoro evidenzia che l'efficienza dell'addestramento è un fattore critico, sebbene poco esplorato, nell'implementazione reale degli SFM e dimostra che una manipolazione architettonica accurata durante l'addestramento può produrre modelli che siano sia veloci da addestrare che altamente efficaci.