Efficiency-Performance Trade-offs in Neural Speaker Diarization via Structured Pruning and Low-Bit Quantization

Sintesi Tecnica: Compromessi tra Efficienza e Prestazioni nella Diarizzazione del Parlatore Neurale

Definizione del Problema
La diarizzazione del parlatore in streaming è essenziale per applicazioni critiche in termini di tempo, come il soccorso medico d'emergenza, dove l'attribuzione accurata del parlatore supporta l'elaborazione a valle. Tuttavia, l'implementazione di questi sistemi su hardware con risorse limitate presenta sfide significative. Le moderne pipeline di diarizzazione neurale, che spesso si basano sulla scalabilità degli encoder transformer, aumentano il numero di parametri e la memoria durante l'inferenza, creando un conflitto tra accuratezza ed efficienza. Inoltre, la mancanza di dataset pubblici e specifici per il dominio (a causa delle preoccupazioni relative alla privacy delle informazioni sanitarie protette) limita l'evidenza sistematica riguardante il comportamento della diarizzazione sotto vincoli di implementazione realistici. La letteratura esistente tratta spesso la latenza e i budget di runtime come vincoli post-hoc piuttosto che come fattori sperimentali espliciti, e vi è una lacuna nelle caratterizzazioni end-to-end di come le tecniche di compressione (pruning e quantizzazione) influenzino l'accuratezza della diarizzazione all'interno di pipeline conversazionali mediche fisse e riproducibili.

Metodologia
Lo studio utilizza SIMSAMU, un corpus pubblico di dialoghi telefonici simulati di soccorso medico francese annotati per la diarizzazione e la trascrizione. Gli autori impiegano una pipeline fissa basata sull'implementazione di riferimento SIMSAMU, composta da un modello di segmentazione del parlatore PyanNet (inizializzato da pyannote/segmentation-3.0 con un front-end SincNet e strati BiLSTM), un estrattore di embedding del parlatore pre-addestrato (pyannote/wespeaker-voxceleb-resnet34-LM) e clustering agglomerativo.

L'approccio sperimentale prevede tre componenti principali:

1. Caratterizzazione della Latenza: Gli autori effettuano una scansione dei parametri di streaming per quantificare i compromessi tra latenza e accuratezza. Variano il contesto a destra (look-ahead, $R$) e la lunghezza del chunk ($C$) utilizzando valori su scala logaritmica, misurando contemporaneamente il Diarization Error Rate (DER) e il Real-Time Factor (RTF).
2. Pruning Strutturato: Il pruning strutturato iterativo basato sulla magnitudo viene applicato esclusivamente ai parametri del modello di segmentazione. Vengono testate due strutture:
   • Pruning delle unità nascoste (Hidden-unit pruning): Rimozione delle unità nascoste BiLSTM (raggruppate tra gate e direzioni).
   • Pruning dei canali lineari (Linear-channel pruning): Rimozione di neuroni/canali nello stack lineare post-LSTM.
     Il pruning viene eseguito gradualmente attraverso iterazioni con fine-tuning di recupero su un sottoinsieme di addestramento per mantenere la stabilità.
3. Quantizzazione a Basso Bit: Il modello con il miglior pruning (Linear–40) è sottoposto a varie modalità di precisione: FP32 (baseline), FP16, INT8 (Post-Training Quantization [PTQ] e Quantization-Aware Training [QAT]) e INT4 (PTQ e QAT). La larghezza di bit delle attivazioni è mantenuta a 8-bit nelle configurazioni INT4 per mitigare gli shift di distribuzione.

Contributi Chiave
L'articolo apporta tre contributi primari al campo dell'elaborazione efficiente del parlato:

1. Caratterizzazione Latenza-Prestazioni: Dimostra che l'aggiunta di buffering (aumentando il contesto a destra) non è costantemente benefica per l'accuratezza della diarizzazione in questo dominio. Al contrario, punti operativi a bassissima latenza (chunk di lunghezza ridotta) possono degradare sostanzialmente le prestazioni.
2. Impatto della Struttura di Pruning: Lo studio rivela che la scelta della struttura di pruning influenza significativamente il compromesso accuratezza-efficienza. Il pruning delle unità nascoste riduce drasticamente la dimensione del modello ma causa una degradazione netta dell'accuratezza, mentre il pruning dei canali lineari preserva meglio l'accuratezza a livelli medio-bassi con solo modeste riduzioni di dimensione.
3. Compromessi di Compressione: Gli autori identificano un punto operativo specifico in cui l'applicazione della quantizzazione FP16 a un modello con pruning dei canali lineari (Linear–40) riduce la dimensione del modello della metà (da ~5,55 MB a ~2,78 MB) con un RTF sostanzialmente invariato, al costo di un aumento relativo del ~40% nel DER rispetto alla baseline.

Risultati

• Latenza: Le prestazioni rimangono stabili per valori di contesto a destra ($R$) piccoli o moderati, ma degradano bruscamente quando $R$ supera circa 1 secondo, probabilmente a causa della sfocatura dei confini di cambio parlatore nelle chiamate di soccorso. Allo stesso modo, lunghezze di chunk inferiori a 0,1 secondi causano un aumento significativo degli errori, mentre lunghezze superiori a 0,1 secondi raggiungono un plateau stabile.
• Pruning:
  • Pruning delle unità nascoste: Riduce i parametri fino a circa il 77% (da 1,47M a 0,33M) e la dimensione di circa il 78%, ma il DER aumenta dal 10,70% al 50,47% con un pruning dell'80%.
  • Pruning dei canali lineari: Riduce la dimensione di solo il ~2% anche con un pruning dell'80%, ma il DER aumenta più gradualmente. La variante Linear–40 (40% di pruning) raggiunge il miglior equilibrio tra i modelli prunati, con un DER del 12,66% (rispetto al 10,70% della baseline) e una riduzione minima della dimensione.
  • RTF: Il pruning strutturato produce guadagni trascurabili nel Real-Time Factor (l'RTF rimane tra ~0,022 e ~0,023 in tutte le varianti), suggerendo che il throughput end-to-end sia dominato dalle fasi non prunate della pipeline (es. estrazione delle caratteristiche, I/O, clustering) e dagli overhead dei kernel.
• Quantizzazione:
  • FP16: Ottiene il DER più basso tra i modelli quantizzati (15,02%) e riduce la dimensione del modello del 50% rispetto alla baseline di pruning FP32.
  • INT8/INT4: L'INT8 QAT supera l'INT8 PTQ (19,02% vs 23,67% di DER), ma entrambi soffrono di una perdita significativa di accuratezza rispetto a FP16. Le varianti INT4 risultano in una degradazione severa (DER > 44%).
  • Stabilità: FP16 mostra l'interquartile range più stretto nelle variazioni di errore per registrazione, mentre l'INT4 presenta una perdita di accuratezza sistematica attraverso la distribuzione.

Significatività e Rivendicazioni
Il documento si pone come un primo passo verso la rendere le affermazioni di efficienza nella diarizzazione del parlatore più interpretabili e confrontabili. Gli autori sostengono che le scelte di configurazione (lunghezza del chunk, look-ahead, precisione) influenzano significativamente l'accuratezza, il che significa che sistemi con architetture di alto livello simili potrebbero non essere direttamente confrontabili senza riportare queste impostazioni di deployment.

Una scoperta chiave è che il pruning del modello non si traduce automaticamente in guadagni di throughput end-to-end in uno stack di diarizzazione completo. Sebbene il pruning e la quantizzazione riducano l'impronta di archiviazione, non migliorano necessariamente l'RTF se il runtime è limitato da altri componenti della pipeline. Di conseguenza, gli autori raccomandano di valutare l'efficienza a livello di pipeline piuttosto che solo a livello di checkpoint. Chiedono alla comunità di riportare esplicitamente le impostazioni di deployment (budget di latenza, precisione, chunking) per facilitare confronti significativi in scenari di inferenza con risorse limitate.

Lo studio riconosce i limiti, notando che SIMSAMU è un corpus specializzato e di piccola scala e che i risultati potrebbero non generalizzarsi ad altre lingue, condizioni di interazione (es. alta sovrapposzione) o ambienti hardware. Il lavoro futuro suggerito include diverse condizioni di interazione e l'ottimizzazione congiunta dei parametri di latenza con le tecniche di compressione.