Efficiency-Performance Trade-offs in Neural Speaker Diarization via Structured Pruning and Low-Bit Quantization

Resumo Técnico: Trade-offs entre Eficiência e Desempenho em Diarização de Locutores Neural

Definição do Problema
A diarização de locutores em tempo real (streaming) é essencial para aplicações de tempo crítico, como o despacho médico de emergência, onde a atribuição precisa de locutores suporta o processamento subsequente. No entanto, implantar esses sistemas em hardware com recursos limitados apresenta desafios significativos. Pipelines modernos de diarização neural, que frequentemente dependem da escala de codificadores transformer, aumentam a contagem de parâmetros e a memória durante a inferência, criando um conflo entre precisão e eficiência. Além disso, a falta de conjuntos de dados públicos e específicos de domínio (dev devido a preocupações de privacidade relacionadas a informações de saúde protegidas) limita a evidência sistemática sobre o comportamento da diarização sob restrições de implantação realistas. A literatura existente frequentemente trata latência e orçamentos de tempo de execução como restrições post-hoc, em vez de fatores experimentais explícitos, e há uma lacuna nas caracterizações de ponta a ponta de como as técnicas de compressão (poda e quantização) afetam a precisão da diarização dentro de pipelines de conversação médica reproduzíveis e fixos.

Metodologia
O estudo utiliza o SIMSAMU, um corpus público de diálogos telefônicos de despacho médico simulados, anotados para diarização e transcrição. Os autores empregam um pipeline fixo baseado na implementação de referência do SIMSAMU, consistindo em um modelo de segmentação de locutor PyanNet (inicializado a partir de pyannote/segmentation-3.0 com um front-end SincNet e camadas BiLSTM), um extrator de embedding de locutor pré-treinado (pyannote/wespeaker-voxceleb-resnet34-LM) e agrupamento aglomerativo (agglomerative clustering).

A abordagem experimental envolve três componentes principais:

1. Caracterização de Latência: Os autores realizam varreduras nos parâmetros de streaming para quantificar os trade-offs entre latência e precisão. Eles variam o contexto à direita (olhar à frente, $R$) e o comprimento do bloco ($C$) usando valores em escala logarítmica, enquanto medem a Taxa de Erro de Diarização (DER) e o Fator de Tempo Real (RTF).
2. Poda Estruturada (Structured Pruning): A poda iterativa baseada em magnitude é aplicada exclusivamente aos parâmetros do modelo de segmentação. Duas estruturas são testadas:
   • Poda de unidades ocultas: Remoção de unidades BiLSTM (agrupadas entre portas e direções).
   • Poda de canais lineares: Remoção de neurônios/canais no stack linear pós-LSTM.
     A poda é realizada gradualmente ao longo de iterações com ajuste fino de recuperação (recovery fine-tuning) em um subconjunto de treinamento para manter a estabilidade.
3. Quantização de Baixa Precisão: O modelo podado de melhor desempenho (Linear–40) é submetido a vários modos de precisão: FP32 (base), FP16, INT8 (Quantização Pós-Treinamento [PTQ] e Treinamento com Consciência de Quantização [QAT]) e INT4 (PTQ e QAT). As larguras de bits de ativação são mantidas em 8 bits para configurações INT4 para mitigar mudanças de distribuição.

Principais Contribuições
O artigo apresenta três contribuições primárias para o campo do processamento de fala eficiente:

1. Caracterização de Latência-Desempenho: Demonstra que o aumento do buffering (aumentando o contexto à direita) não é consistentemente benéfico para a precisão da diarização neste domínio. Inversamente, pontos operacionais de baixíssima latência (comprimentos de bloco pequenos) podem degradar substancialmente o desempenho.
2. Impacto da Estrutura de Poda: O estudo revela que a escolha da estrutura de poda influencia significativamente o trade-off entre precisão e eficiência. A poda de unidades ocultas reduz drasticamente o tamanho do modelo, mas causa uma degradação aguda na precisão, enquanto a poda de canais lineares preserva melhor a precisão em níveis baixos a moderados, com apenas reduções modestas de tamanho.
3. Trade-offs de Compressão: Os autores identificam um ponto operacional específico onde a aplicação da quantização FP16 a um modelo com poda de canal linear (Linear–40) reduz o tamanho do modelo pela metade (de ~5,55 MB para ~2,78 MB) com um RTF essencialmente inalterado, ao custo de um aumento relativo de ~40% no DER em relação ao baseline.

Resultos

• Latência: O desempenho permanece estável para valores de contexto à direita ($R$) pequenos a moderados, mas degrada bruscamente conforme $R$ aumenta além de ~1 segundo, provavelmente devido ao borrão das fronteiras de mudança de locutor em chamadas de despacho. Da mesma forma, comprimentos de bloco abaixo de 0,1 segundos causam aumentos significativos de erro, enquanto comprimentos acima de 0,1 segundos atingem um platô estável.
• Poda:
  • Poda de unidades ocultas: Reduz os parâmetros em até ~77% (de 1,47M para 0,33M) e o tamanho em ~78%, mas o DER aumenta de 10,70% para 50,47% com 80% de poda.
  • Poda de canais lineares: Reduz o tamanho em apenas ~2% mesmo com 80% de poda, mas o DER aumenta de forma mais gradual. A variante Linear–40 (40% de poda) alcança o melhor equilíbrio entre os modelos podados, com um DER de 12,66% (vs. 10,70% do baseline) e redução mínima de tamanho.
  • RTF: A poda estruturada gera ganhos negligíveis no Fator de Tempo Real (RTF permanece em ~0,022–0,023 em todas as variantes), sugerindo que o throughput de ponta a ponta é dominado por estágios do pipeline não podados (ex: extração de características, I/O, agrupamento) e overheads de kernel.
• Quantização:
  • FP16: Alcança o menor DER entre os modelos quantizados (15,02%) e reduz o tamanho do modelo em 50% em comparação ao baseline FP32 podado.
  • INT8/INT4: O INT8 QAT supera o INT8 PTQ (19,02% vs. 23,67% de DER), mas ambos sofrem perda significativa de precisão em comparação ao FP16. Variantes INT4 resultam em degradação severa (DER > 44%).
  • Estabilidade: O FP16 apresenta o intervalo interquartil mais estreito em mudanças de erro por gravação, enquanto o INT4 exibe perda de precisão sistemática através da distribuição.

Significância e Alegações
O artigo posiciona-se como um primeiro passo para tornar as alegações de eficiência em diarização de locutores mais interpretáveis e comparáveis. Os autores argumentam que as escolhas de configuração (comprimento de bloco, look-ahead, precisão) influenciam significativamente a precisão, o que significa que sistemas com arquiteturas de alto nível semelhantes podem não ser diretamente comparáveis sem o relato dessas configurações de implantação.

Uma descoberta fundamental é que a compressão do modelo não se traduz automaticamente em ganhos de throughput de ponta a ponta em um pipeline completo de diarização. Embora a poda e a quantização reduzam a pegada de armazenamento, elas não necessariamente melhoram o RTF se o tempo de execução for limitado por outros componentes do pipeline. Consequentemente, os autores defendem a avaliação da eficiência no nível do pipeline, e não apenas no nível do checkpoint. Eles pedem que a comunidade reporte explicitamente as configurações de implantação (orçamentos de latência, precisão, fragmentação/chunking) para facilitar comparações significativas em cenários de inferência com recursos limitados.

O estudo reconhece limitações, observando que o SIMSAMU é um corpus especializado e de pequena escala, e que os resultados podem não se generalizar para outras línguas, condições de interação (ex: alta sobreposição) ou ambientes de hardware. Sugere-se que trabalhos futuros incluam diversas condições de interação e a otimização conjunta dos parâmetros de latência com técnicas de compressão.