Distilling Conversations: Abstract Compression of Conversational Audio Context for LLM-based ASR

Titolo: Distillazione delle Conversazioni: Compressione Astratta dell'Audio Conversazionale per l'ASR basato su LLM

1. Il Problema

I sistemi di riconoscimento automatico del parlato (ASR) basati su Large Language Models (LLM) stanno diventando sempre più comuni, ma tendono a elaborare gli enunciati in isolamento. Questo approccio limita la capacità di sfruttare il contesto conversazionale (turni precedenti), che è cruciale per risolvere ambiguità, riconoscere entità contestuali (nomi, luoghi, terminologia specifica) e allineare le pronunce.

Sebbene i modelli LLM multimodali possano teoricamente condizionare la trascrizione corrente su audio e testo precedenti, l'uso diretto di questo contesto presenta due sfide principali:

1. Inefficienza: L'audio dei turni precedenti è rappresentato da lunghe sequenze di token. Aumentare il numero di turni fa crescere esponenzialmente la lunghezza del prompt, portando a costi elevati di cache (KV cache), latenza e colli di bottiglia nella memoria.
2. Performance: L'inserimento semplice del contesto "grezzo" (raw) durante l'inferenza, senza un addestramento specifico, spesso degrada le prestazioni invece di migliorarle.

2. Metodologia

Gli autori propongono un approccio in due fasi per integrare il contesto conversazionale in modo efficiente, introducendo una tecnica chiamata Abstract Compression.

A. Analisi del Contesto Grezzo (Raw Context)

• Gli autori hanno prima verificato se il modello potesse beneficiare del contesto multimodale (audio + trascrizione) dei turni precedenti.
• Risultato preliminare: L'inferenza con prompting multimodale grezzo senza addestramento specifico ha peggiorato le prestazioni.
• Soluzione: È stato necessario un Fine-Tuning Supervisionato (SFT) su dati multi-turno. Dopo l'addestramento, il modello ha mostrato miglioramenti, specialmente nel riconoscimento di entità contestuali, ma a scapito di un enorme costo computazionale dovuto alla lunghezza della sequenza audio.

B. Abstract Compression (Compressione Astratta)
Per mitigare il costo dei token, gli autori propongono di comprimere solo la parte audio dei turni precedenti, mantenendo le trascrizioni testuali intatte (poiché il testo è molto più compatto dell'audio).

• Meccanismo: Sostituisce la lunga sequenza di token audio di un turno precedente con un numero fisso e piccolo di token latenti (token compressi).
• Architettura: Utilizza un meccanismo di cross-attention con matrici di query apprese specifiche per la posizione del turno. Ogni turno viene mappato in un vettore latente di dimensione fissa $K$.
• Input al modello: Il prompt per il turno corrente contiene l'audio completo (non compresso) del turno attuale, ma solo i token latenti compressi e le trascrizioni testuali dei turni precedenti.

C. Strategia di Addestramento in Due Fasi
Per rendere efficace questa compressione, è stato adottato un curriculum di addestramento:

1. Fase 1 (Allineamento): Addestramento del modulo di compressione per allineare i token audio compressi allo spazio di input dell'LLM. In questa fase, il modello base è congelato e si ottimizza solo il compressore per trascrivere l'audio compresso in un contesto single-turn.
2. Fase 2 (Fine-tuning Contestuale): Addestramento congiunto del modulo di compressione e dei parametri dell'LLM (tramite LoRA) su input multi-turno compressi. Si utilizza un approccio curriculare che aumenta progressivamente il numero di turni di contesto disponibili durante l'addestramento (da 0 a 10).

3. Contributi Chiave

1. Dimostrazione dell'efficacia del contesto multimodale: Hanno provato che il contesto conversazionale (audio + testo) migliora l'ASR basato su LLM, ma solo dopo un addestramento supervisionato multi-turno. I guadagni maggiori si osservano sulle entità contestuali.
2. Introduzione di Abstract Compression: Un metodo innovativo che riduce drasticamente l'impronta dei token del contesto precedente comprimendo l'audio in un budget latente fisso, mantenendo però il testo esplicito.
3. Analisi dei compromessi (Trade-off): Forniscono un'analisi dettagliata su come la dimensione del collo di bottiglia (numero di token latenti $K$) e la strategia di addestramento influenzino il bilanciamento tra qualità e efficienza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset in-domain (DefinedAI) e out-of-domain (WoW).

• Performance Generali:
  • Il modello con contesto grezzo (dopo SFT) ottiene i migliori risultati, riducendo il Bias-WER (errore sulle entità) da 13.5% a 13.1% su DefinedAI e da 25.6% a 23.3% su WoW.
  • Il modello con Abstract Compression recupera una parte significativa di questi guadagni pur utilizzando molti meno token. Su DefinedAI, il Bias-WER scende a 13.3% (vs 13.5% senza contesto), e su WoW a 24.5% (vs 25.6% senza contesto).
• Efficienza:
  • La compressione riduce drasticamente la crescita dei token audio al crescere del numero di turni. Mentre l'audio grezzo cresce linearmente, la versione compressa aggiunge solo $K$ token per turno.
  • L'analisi mostra che la maggior parte dei benefici contestuali si ottiene già con 5 turni di contesto compressi, suggerendo che un contesto moderato è sufficiente.
• Ablation Study:
  • Una dimensione del collo di bottiglia più grande ($K=16$) funziona meglio di dimensioni più piccole ($K=4$ o $8$).
  • L'uso di dati extra (LibriSpeech) nella Fase 1 non ha garantito migliori risultati nella Fase 2 contestuale, suggerendo che l'allineamento specifico al dominio è più importante della semplice capacità di ricostruzione audio.

5. Significato e Implicazioni

Questo lavoro è significativo perché:

• Ridefinisce l'ASR contestuale: Sposta il focus dall'uso di semplici liste di biasing (come nomi di contatti) all'uso di un contesto conversazionale multimodale completo (audio e testo) all'interno di un'architettura LLM.
• Rende praticabile il contesto lungo: Dimostra che è possibile mantenere i benefici del contesto conversazionale in scenari reali (assistenti vocali, chiamate di supporto) senza incorrere nei costi proibitivi dell'elaborazione di sequenze audio lunghe.
• Efficienza operativa: Offre una soluzione scalabile per l'inferenza su dispositivi con risorse limitate o per servizi cloud che devono gestire molte conversazioni simultanee, riducendo la latenza e l'uso della memoria KV cache.

In sintesi, gli autori dimostrano che la "distillazione" dell'audio conversazionale in rappresentazioni latenti compatte è una strategia efficace per abilitare l'ASR contestuale di alta qualità su modelli LLM multimodali, risolvendo il conflitto tra ricchezza informativa e vincoli computazionali.