SEAM: Shortcut-Aware Real-Time Detection of Scripted vs. Spontaneous Speech for Interview Guardrails

Resumen Técnico: SEAM – Detección en Tiempo Real Consciente de Atajos para el Discurso Guionizado vs. Espontáneo

1. Planteamiento del Problema

La detección de discurso guionizado frente al espontáneo es crítica para aplicaciones como las salvaguardas de sistemas conversacionales y la curación de corpus. Sin embargo, los benchmarks existentes suelen sufrir de métricas de rendimiento infladas impulsadas por "atajos" (shortcuts) en lugar de un reconocimiento genuino del estilo de habla. Los modelos frecuentemente dependen de correlaciones espurias vinculadas a la identidad del corpus, condiciones del canal (p. ej., calidad del micrófono, acústica de la sala) y artefactos de grabación (p. ej., efectos de códec) en lugar de claves prosódicas o temporales.

En escenarios de despliegue en el mundo real, como entrevistas de trabajo asistidas por IA, un modelo que aprende estos atajos falla cuando se enfrenta a cambios modestos en las condiciones de grabación o en las fuentes del corpus. El desafío es doble: desarrollar un sistema lo suficientemente compacto para una inferencia de baja latencia y tiempo real junto con otros componentes de voz, y asegurar que el pipeline de entrenamiento y evaluación desanime activamente el aprendizaje de atajos para garantizar la robustez en dominios externos.

2. Metodología: El Marco SEAM

Los autores proponen SEAM (Evaluación, Aumentación y Modelado Conscientes de Atajos), un marco diseñado para coordinar el diseño de tareas, la curación de datos, el preprocesamiento y la evaluación para mitigar el aprendizaje de atajos.

• Curación de Datos y Preprocesamiento:

  • Corpora: Los datos de entrenamiento agregan cuatro corpora en inglés: People's Speech y PodcastFillers (espontáneos) y LibriSpeech y Spoken Wikipedia (guionizados).
  • Preprocesamiento Uniforme de la Forma de Onda: Para suprimir la variación a nivel de canal, todo el audio se convierte a mono de 16 kHz y se procesa a través de un pipeline que incluye eliminación de DC, un filtro de paso alto de 70 Hz, normalización de sonoridad integrada (−23 LUFS) y limitador de picos (peak limiting).
  • Muestreo Consciente de Secciones (Seam-Aware Sampling): Las ventanas de entrenamiento se muestrean estrictamente de segmentos consistentes con su procedencia dentro de una única grabación de origen. Esto evita que el modelo aprenda fronteras artificiales o "costuras" (seams) creadas al unir diferentes grabaciones, que podrían servir como claves de estilo no deseadas.
  • Aumentación de No-Habla: Para romper la heurística de que "el audio limpio implica un discurso guionizado", se inyecta un banco de ruido dedicado (que contiene ruido de sala, respiración y artefactos de micrófono) en las ventanas de entrenamiento con una relación de solapamiento aleatoria de 40–70%.

• Arquitectura del Modelo:

  • Backbone: El sistema utiliza DistilHuBERT, un codificador de voz auto-supervisado compacto elegido por su favorable equilibrio entre calidad y eficiencia.
  • Clasificador: Un MLP ligero de 2 capas con activaciones ReLU y dropout sigue al pooling de media temporal de las salidas del codificador.
  • Estrategia de Entrenamiento: Los autores emplean regímenes de adaptación superficial en lugar de un ajuste fino (fine-tuning) de extremo a extremo completo. La configuración final solo descongela la capa transformer superior del codificador mientras mantiene el resto congelado, optimizando para las restricciones de despliegue en tiempo real.

• Protocolo de Evaluación:

  • Interna: Divisiones agrupadas de 80/10/10 (entrenamiento/evaluación/prueba) basadas en claves de hablante, usuario o familia de grabación para minimizar la fuga de datos (data leakage).
  • Externa: Se utiliza un dataset propietario del dominio de entrevistas exclusivamente para la evaluación. Este conjunto es deliberadamente adversarial, cruzando estilos de habla con diversas condiciones de grabación (limpio vs. mixto con sala/micrófono) para probar la robustez contra cambios de corpus y de canal.

3. Resultados Clave

• Rendimiento: Bajo el régimen de entrenamiento completo (240 horas por clase), el modelo SEAM final logra un 0.971 ± 0.004 ROC-AUC en el conjunto de evaluación externo del dominio de entrevistas y un 0.9766 ± 0.0045 en el conjunto de prueba interno.
• Ablación de la Prevención de Atajos: Eliminar los componentes de prevención de atajos (aumentación de ruido y muestreo consciente de secciones) mejora las métricas de retención interna (p. ej., el AUC de la prueba interna sube de 0.9287 a 0.9557) pero degrada drásticamente el rendimiento externo (el AUC externo cae de 0.8991 a 0.7324). Esto confirma que las ganancias en los benchmarks ingenuos a menudo reflejan el aprendizaje de atajos en lugar de un mejor modelado del estilo.
• Hiperparámetros:
  • Longitud de Ventana: Las ventanas de 8 segundos proporcionan el equilibrio óptimo entre precisión y latencia; las ventanas de 12 segundos ofrecen ganancias marginales a costa de una mayor latencia.
  • Profundidad de Adaptación: Descongelar solo la capa transformer superior produce resultados superiores en comparación con entrenar solo la cabeza o descongelar capas más profundas.
• Eficiencia de Despliegue:
  • Cuantización: La cuantización post-entrenamiento reduce la huella del modelo de ~90 MB a 41.8 MB (INT4) con una pérdida insignificante en la precisión externa (95.35% vs. 95.17%) y el AUC (0.9743 vs. 0.9713).
  • Latencia: El sistema opera con un factor de tiempo real (RTF) de aproximadamente $5.60 \times 10^{-4}$ en una GPU NVIDIA L4.

4. Significado y Reivindicaciones

El artículo argumenta que la detección robusta de guionizado frente a espontáneo depende tanto de la construcción de datos y el diseño de la evaluación como de la elección del modelo backbone. La contribución principal es demostrar que los componentes "conscientes de atajos" —específicamente la preprocesamiento uniforme, el muestreo consciente de secciones y la aumentación de no-habla— son esenciales para transferir el rendimiento de los benchmarks internos a dominios externos del mundo real.

Los autores posicionan a SEAM no como un decisor autóno, sino como una señal de integridad estrecha para la revisión humana en las salvaguardas de entrevistas. Reconocen limitaciones, señalando que el sistema es prioritariamente para el inglés, que lo guionizado permanece entrelazado con el género y las prácticas de grabación, y que la transferencia zero-shot a otros idiomas no es inglesa es solo parcial. El trabajo enfatiza que la precisión estándar de retención puede ser engañosa si recompensa heurísticas específicas de un corpus, abogando por la evaluación orientada a la transferencia como un estándar necesario para modelos de audio listos para el despliegue.