Resumen Técnico: Echo – Una Arquitectura de Predicción de Embebido Conjunto para la Diarización de Locutores y el Reconocimiento de Voz

Planteamiento del Problema

Los sistemas actuales de diarización de locutores y reconocimiento automático del habla (ASR) suelen operar como pilas separadas, cada una de las cuales requiere modelos acústicos, datos de entrenamiento y procedimientos de ajuste fino (fine-tuning) distintos. Si bien los backbones de aprendizaje autodirigido (SSL) como wav2vec 2.0, HuBERT y WavLM logran resultados sólidos en tareas individuales tras un ajuste fino específico para la tarea, generalmente fallan al intentar albergar la identidad del locutor, el contenido fonético y la separación de fuentes dinámica simultáneamente dentro de un único espacio latente compartido sin destruir una señal en favor de otra. Los sistemas conjuntos existentes (por ejemplo, EEND-SS, TS-SEP) suelen depender de subredes o rutas de condicionamiento separadas en lugar de un codificador unificado.

Metodología

El artículo presenta Echo, un sistema de prueba de concepto que utiliza un único codificador Vision Transformer (ViT) de 8 capas (25.25 M de parámetros, espacio latente de 512 dimensiones) que opera sobre parches de espectrogramas mel. El sistema se entrena secuencialmente a través de siete etapas, empleando un objetivo de Arquitectura de Predicción de Embebido Conjunto (JEPA) y una estrategia de "ancla permanente" donde un profesor congelado de la etapa anterior regulariza al estudiante en las etapas subsiguientes.

Componentes Principales de la Arquitectura

1. Codificador Compartido: Un ViT entrenado en espectrogramas mel de 80 bins.
2. Proyecciones Latentes: Tres cabezales se asientan sobre la salida del codificador:
   • Subespacio de Locutor ($W_s$): Una proyección lineal a un espacio de 128 dimensiones para la identidad.
   • Subespacio de Contenido: Una ruta que alimenta a un cuantizador vectorial (VQ) con 256 códigos (128 dimensiones) para discretizar el contenido fonético, seguido de un cabezal CTC.
   • Cabezal de Separación (EDA): Un módulo de atención de codificador-decodificador con $K=3$ consultas de ranura (slot queries) y un objetivo nulo aprendido para el enrutamiento dinámico.

Etapas de Entrenamiento

• Etapa 1 (Preentrenamiento JEPA): El codificador se preentrena en VoxCeleb2 y LibriSpeech utilizando un objetivo JEPA (prediciendo representaciones de un profesor enmascarado). Esto establece la identidad del locutor en el espacio latente sin etiquetas.
• Etapa 2 (Inyección de CTC): Se añade un cabezal CTC para inyectar la estructura fonética. Un profesor JEPA congelado actúa como un ancla para evitar que el codificador colapse en características puramente fonéticas y pierda la geometría del locutor.
• Etapa 3 (Factorización Conjunta): Se introduce un cuello de botella de cuantizador vectorial (VQ) para forzar la desvinculación (disentanglement) de locutor y contenido. El VQ (256 códigos discretos) actúa como un purificador estructural, evitando que la información de timbre continua se filtre en el flujo de contenido. Esta etapa logra una brecha de factorización de locutor/contenido de +53.50 puntos.
• Etapa 4 (Superposición de ArcFace): Se entrena un cabezal ArcFace sobre el backbone congelado de la Etapa 3 para refinar los embeddings de locutor para el agrupamiento (clustering), recuperando y superando la precisión de k-NN bruta.
• Etapa 5 (Separación de Objetivo Nulo): Se entrena un módulo EDA con entrenamiento de permutación invariable (PIT). Utiliza un "objetivo nulo" aprendido (token de silencio) para enrutar dinámicamente de $K=1, 2$ o $3$ locutores sin un detector de actividad de voz externo.
• Etapa 6 (Diarización VBx): Los embeddings de locutor se procesan mediante una reimplementación personalizada de VBx (un procedimiento de agrupamiento de HMM bayesiano) para generar cronologías de locutores.
• Etapa 7 (Pipeline de Extremo a Extremo): Las etapas 5 y 6 se encadenan. El cabezal de separación produce embeddings de ranura desmezclados, que luego son agrupados por VBx, resolviendo problemas de sobresegmentación observados al agrupar embeddings a nivel de mezcla.

Resultados Clave

Evaluado en mezclas sintéticas de VoxCeleb2 con un número desconocido de locutores:

• Diarización de Locutores: El sistema logra una Tasa de Error de Diarización (DER) del 15.00% bajo un escenario de $K$ ciego (número de locutores desconocido). Cuando se utiliza el pipeline completo (separación + diarización), el sistema recupera el número exacto de locutores ($K=2.00$) sin sobresegmentación.
• Separación de Fuentes: El cabezal de separación logra una precisión de PIT del 97.80% (usando puntuación MSE) y un SI-SDR latente de +9.52 dB.
• Factorización: El sistema mantiene una brecha de factorización de locutor/contenido de +53.50 puntos, demostrando que el espacio latente compartido separa con éxito la identidad del contenido fonético.
• Verificación de Locutor: El codificador logra un 71.25% de precisión top-1 k-NN en una prueba de control (probe) difícil de VoxCeleb2 en la Etapa 1, y un 63.17% tras la superposición de ArcFace en la Etapa 4.
• Eficiencia: La huella de solo diarización es de ~25.3 M de parámetros (50 MB en bf16). El pipeline completo es de **61.5 M de parámetros** (~123 MB). El sistema no requiere SDKs externos y utiliza únicamente numpy/scipy para el agrupamiento.

Limitaciones y Modos de Fallo

El artículo señala explícitamente varios cuellos de botella estructurales:

• Rendimiento de ASR: La decodificación de extremo a extremo de habla a texto a través del canal de contenido cuantizado ($z_q$) golpea un "muro estructural", estancándose en una Tasa de Error de Caracteres (CER) de ~70%. El cuello de botella del VQ destruye la resolución fonética alineada con los fotogramas requerida para una decodificación CTC de alta calidad.
• Invarianza de Tono (Pitch): El subespacio de locutor actual es invariante al tono, lo que ayuda a la verificación pero causa que el agrupamiento a nivel de fotograma falle en conversaciones largas donde los cambios en la prosodia hacen que el mismo locutor parezca diferentes locutores.
• Sintético vs. Real: El 15.00% de DER se logra en mezclas sintéticas; el rendimiento se degrada en audio de reuniones reales debido al problema del tono/prosodia.

Significancia y Reivindicaciones

El artículo posiciona a Echo no como un contendiente de estado del arte (SOTA) en una sola tarea de forma aislada, sino como una prueba de concepto para la coexistencia conjunta multitarea. Su contribución principal es demostrar que un único backbone JEPA autodirigido puede albergar simultáneamente la identidad del locutor, el contenido fonético y el enrutamiento de separación dinámica en un espacio latente compartido sin necesidad de ajuste fino por tarea en el despliegue.

Los autores enfatizan la disciplina de diseño del ancla JEPA permanente, que permite al codificador adquirir capacidades nuevas secuencialmente (fonética, factorización, separación) sin borrar las representaciones previamente aprendidas. El trabajo valida la hipótesis de que un espacio latente unificado es factible para la diarización y la separación, ofreciendo una arquitectura desplegable y autónoma adecuada para dispositivos de borde (móviles, laptops) donde la huella de memoria y la falta de dependencias externas son críticas.