SEAM: Shortcut-Aware Real-Time Detection of Scripted vs. Spontaneous Speech for Interview Guardrails

Resumo Técnico: SEAM – Detecção em Tempo Real de Fala Scriptada vs. Espontânea com Consciência de Atalhos (Shortcut-Aware)

1. Declaração do Problema

A detecção de fala scriptada versus espontânea é crítica para aplicações como salvaguardas de sistemas conversacionais e curadoria de corpora. No entanto, os benchmarks existentes frequentemente sofrem com métricas de desempenho infladas impulsionadas por "atalhos" (shortcuts) em vez de um reconhecimento genuíno do estilo de fala. Os modelos frequentemente dependem de correlações espúrias ligadas à identidade do corpus, condições de canal (ex: qualidade do microfone, acústica da sala) e artefatos de gravação (ex: efeitos de codec) em vez de pistas prosódicas ou temporais.

Em cenários de implantação no mundo real, como entrevistas de emprego assistidas por IA, um modelo que aprende esses atalhos falha ao enfrentar mudanças modestas nas condições de gravação ou fontes de corpus. O desafio é duplo: desenvolver um sistema compacto o suficiente para inferência de baixa latência e em tempo real junto a outros componentes de fala, e garantir que o pipeline de treinamento e avaliação desencoraje ativamente o aprendizado de atalhos para garantir a robustez em domínios externos.

2. Metodologia: O Framework SEAM

Os autores propõem o SEAM (Shortcut-aware Evaluation, Augmentation, and Modeling), um framework projetado para coordenar o design da tarefa, curadoria de dados, pré-processamento e avaliação para mitigar o aprendizado de atalhos.

• Curadoria de Dados e Pré-processamento:

  • Corpora: Os dados de treinamento agregam quatro corpora de inglês: People's Speech e PodcastFillers (espontâneo) e LibriSpeech e Spoken Wikipedia (scriptado).
  • Pré-processamento Uniforme de Forma de Onda: Para suprimir a variação de nível de canal, todo o áudio é convertido para mono 16 kHz e processado através de um pipeline que inclui remoção de DC, um filtro passa-alta de 70 Hz, normalização de sonoridade integrada (−23 LUFS) e limitador de pico.
  • Amostragem Consciente de Costura (Seam-Aware Sampling): Janelas de treinamento são amostradas estritamente de segmentos de proveniência consistente dentro de uma única gravação de origem. Isso evita que o modelo aprenda fronteiras artificiais ou "costuras" (seams) criadas pela junção de diferentes gravações, que poderiam servir como pistas de estilo não pretendidas.
  • Aumentação de Não-Fala: Para quebrar a heurística de que "áudio limpo implica fala scriptada", um banco de ruído dedicado (contendo ruído ambiente, respiração e artefatos de microfone) é injetado nas janelas de treinamento com uma razão de sobreposição aleatória de 40–70%.

• Arquitetura do Modelo:

  • Backbone: O sistema utiliza o DistilHuBERT, um codificador de fala auto-supervisionado compacto escolhido por seu equilíbrio favorável entre qualidade e eficiência.
  • Classificador: Um MLP leve de 2 camadas com ativações ReLU segue o pooling de média temporal das saídas do codificador.
  • Estratégia de Treinamento: Os autores empregam regimes de adaptação rasa em vez de ajuste fino (fine-tuning) completo de ponta a ponta. A configuração final descongelas apenas a camada transformer superior do codificador, mantendo o restante congelado, otimizando para restrições de implantação em tempo real.

• Protocolo de Avaliação:

  • Interno: Divisões agrupadas de 80/10/10 (treino/validação/teste) baseadas em chaves de locutor, usuário ou família de gravação para minimizar o vazamento de dados (data leakage).
  • Externo: Um dataset proprietário de domínio de entrevista é usado exclusivamente para avaliação. Este conjunto é deliberadamente adversário, cruzando estilos de fala com variadas condições de gravação (limpa vs. mista/sala/microfone) para testar a robustez contra mudanças de corpus e de canal.

3. Principais Resultados

• Desempenho: Sob o regime de treinamento total (240 horas por classe), o modelo SEAM final atinge 0,971 ± 0,004 ROC-AUC no conjunto de avaliação externo de domínio de entrevista e 0,9766 ± 0,0045 no teste interno.
• Ablação da Prevenção de Atalhos: Remover componentes de prevenção de atalhos (aumentação de ruído e amostragem consciente de costura) melhora as métricas de retenção interna (ex: o AUC do teste interno sobe de 0,9287 para 0,9557), mas degrada drasticamente o desempenho externo (o AUC externo cai de 0,8991 para 0,7324). Isso confirma que ganhos de benchmark ingênuos frequentemente refletem o aprendizado de atalhos em vez de um melhor modelamento de estilo.
• Hiperparâmetros:
  • Comprimento da Janela: Janelas de 8 segundos fornecem o equilíbrio ideal entre precisão e latência; janelas de 12 segundos oferecem ganhos marginais ao custo de maior latência.
  • Profundidade de Adaptação: Descongelar apenas a camada transformer superior produz resultados superiores em comparação com treinar apenas a cabeça ou descongelar camadas mais profundas.
• Eficiência de Implantação:
  • Quantização: A quantização pós-treinamento reduz a pegada do modelo de ~90 MB para 41,8 MB (INT4) com perda negligível na precisão externa (95,35% vs. 95,17%) e AUC (0,9743 vs. 0,9713).
  • Latência: O sistema opera com um fator de tempo real (RTF) de aproximadamente $5,60 \times 10^{-4}$ em uma GPU NVIDIA L4.

4. Significância e Alegações

O artigo argumenta que a detecção robusta de scriptado versus espontâneo depende tanto da construção de dados e do design de avaliação quanto da escolha do modelo de backbone. A principal contribuição é demonstrar que componentes "conscientes de atalhos" (shortcut-aware) — especificamente pré-processamento uniforme, amostragem consciente de costura e aumentação de não-fala — são essenciais para transferir o desempenho dos benchmarks internos para domínios externos do mundo real.

Os autores posicionam o SEAM não como um decisor autônomo, mas como um sinal de integridade estreito para revisão humana em salvaguardas de entrevistas. Eles reconhecem limitações, observando que o sistema é prioritariamente para o inglês, que a natureza scriptada permanece emaranhada com gênero e práticas de gravação, e que a transferência zero-shot para línguas não inglesas é apenas parcial. O trabalho enfatiza que a acurácia padrão de retenção pode ser enganosa se recompensar heurísticas específicas de corpus, defendendo a avaliação orientada à transferência como um padrão necessário para modelos de áudio prontos para implantação.