LASE: Language-Adversarial Speaker Encoding for Indic Cross-Script Identity Preservation

1. Declaración del Problema

Los sistemas de clonación de voz y diarización multilingües dependen de codificadores de voz para identificar la identidad de un hablante independientemente del idioma o la escritura que se esté utilizando. Sin embargo, los codificadores de voz comerciales (por ejemplo, WavLM-base-plus-sv, ECAPA-TDNN) fallan significativamente cuando se aplican a escrituras indias (devanagari, telugu, tamil) en comparación con las escrituras latinas.

• El Modo de Fallo: Cuando el mismo hablante cambia de escritura (por ejemplo, de inglés a hindi), los codificadores estándar tratan la voz como una identidad diferente.
• Impacto Cuantitativo: En un corpus con acento occidental, WavLM pierde 0.082 de similitud coseno absoluta, y ECAPA-TDNN pierde 0.105, al comparar clips de la misma voz entre diferentes escrituras. Esta brecha es grande en relación con el margen entre pares de la misma voz y de voces diferentes, lo que provoca fallos en producción como:
  • Dividir a un único agente de atención al cliente en múltiples identidades durante llamadas con cambio de código.
  • Que la clonación de voz suene como "una voz diferente con acento" en lugar de la misma persona.
• Causa Raíz: Los codificadores estándar se entrenan principalmente con datos en inglés (escritura latina) (por ejemplo, VoxCeleb). Sus incrustaciones están entrelazadas con estructuras fonéticas específicas del inglés. Cuando se exponen a fonemas indios (por ejemplo, oclusivas retroflexas), la incrustación se desvía, filtrando información del idioma hacia el vector de identidad.

2. Metodología: LASE (Codificador de Voz Adversarial Adaptado al Idioma)

Los autores proponen LASE, una arquitectura ligera diseñada para desentrelazar la identidad del hablante de la información del idioma/escritura utilizando Entrenamiento Adversarial de Dominio.

Arquitectura

LASE consta de tres componentes:

1. Base Congelada: Utiliza WavLM-base-plus (truncado en la pila de transformadores) para extraer características a nivel de cuadro. Esta base se mantiene congelada para preservar el conocimiento acústico preentrenado.
2. Cabeza de Proyección Entrenable: Un MLP de dos capas (768 $\to$ 512 $\to$ 256) con ReLU y dropout. Mapea las características de la base a una incrustación de hablante de 256 dimensiones ($z$).
3. Clasificador de Idioma con Reversión de Gradiente: Un pequeño MLP que intenta predecir el idioma (inglés, hindi, telugu, tamil) a partir de la incrustación $z$. Crucialmente, se inserta una Capa de Reversión de Gradiente (GRL) entre $z$ y el clasificador. Durante la retropropagación, la GRL multiplica el gradiente de pérdida del clasificador por $-\lambda_t$, forzando a la cabeza de proyección a minimizar la precisión del clasificador (es decir, hacer que la incrustación no informe sobre el idioma) mientras se maximiza la discriminación del hablante.

Funciones de Pérdida

El modelo se optimiza utilizando la suma de dos pérdidas:

1. Pérdida Contrastiva Supervisada ($L_{spk}$): Aproxima las incrustaciones del mismo hablante (entre diferentes escrituras) y separa a los hablantes diferentes.
2. Pérdida Adversarial de Idioma ($L_{lang}$): Pérdida de entropía cruzada para el clasificador de idioma. Debido a la GRL, minimizar la pérdida total fuerza al codificador a maximizar $L_{lang}$ (haciendo que el clasificador adivine al azar, $\approx \ln 4$) mientras minimiza $L_{spk}$.

Calendario de Entrenamiento

• Calentamiento: 200 pasos con $\lambda=0$ (solo pérdida de hablante) para establecer una geometría de voz coherente.
• Aumento: Incremento lineal de $\lambda$ de 0 a 0.1 durante 500 pasos.
• Mantenimiento: $\lambda=0.1$ para el resto.
• Costo Total: Entrenado durante 1,000 pasos en una sola GPU A10G (~17 minutos, $0.31).

3. Datos y Construcción del Corpus

Un desafío importante fue la falta de conjuntos de datos naturales, a gran escala y de mismo hablante trans-escritura para idiomas indios.

• Arranque Sintético: Los autores sintetizaron datos utilizando ElevenLabs Multilingual v3.
• Configuración: 8 voces multilingües distintas generaron 50 oraciones cada una en 4 idiomas (inglés, hindi, telugu, tamil).
• Filtro de Calidad: Los pares se filtraron utilizando un umbral de similitud coseno de WavLM (0.90) frente a un clip de referencia en inglés para asegurar que el sintetizador preservara la identidad.
• Conjuntos de Datos Resultantes:
  • Entrenamiento: 1,118 pares trans-escritura de alta calidad.
  • Retenido (Acento Occidental): 1,043 pares (las mismas 8 voces, oraciones no vistas).
  • Retenido (Acento Indio): 1,369 pares (8 voces diferentes con acento indio, oraciones no vistas).

4. Contribuciones Clave

1. Primer Benchmark Trans-Script Indio: Lanzamiento del primer benchmark de identidad de mismo hablante para idiomas indios (1,118 pares de entrenamiento / 1,043 pares retenidos) construido mediante arranque de TTS.
2. Marco de Medición: Un marco de tres distribuciones (Dentro de la escritura, Trans-escritura, Entre hablantes) para aislar el entrelazamiento idioma-identidad de otros factores de confusión.
3. Modelo LASE r1: Un codificador de 256 dimensiones que reduce la brecha de identidad trans-escritura en un 84.3% en relación con las líneas base.
4. Eficiencia de Datos: Logra una recuperación de hablante trans-escritura que iguala a ECAPA-TDNN (entrenado con más de 1M de enunciados de VoxCeleb) utilizando ~100 veces menos datos (1,118 pares).
5. Código Abierto: Lanzamiento de pesos, corpus y scripts de entrenamiento bajo licencias MIT/CC-BY-4.0.

5. Resultados

La evaluación utiliza dos métricas: Brecha ($\Delta$) (caída en la similitud de dentro de la escritura a trans-escritura; menor es mejor) y Margen ($M$) (distancia de la similitud trans-escritura al suelo de ruido; mayor es mejor).

Métrica	WavLM-base-plus-sv	ECAPA-TDNN	LASE r1 (Nuestro)
Brecha Occidental ($\Delta$)	0.082	0.105	0.013 (El IC incluye 0)
Margen Occidental ($M$)	0.245	0.202	0.662
Brecha India ($\Delta$)	0.006	0.044	0.026 (El IC incluye 0)
Margen Indio ($M$)	0.144	0.256	0.344

• Cierre de Brecha: LASE reduce la brecha con acento occidental de 0.082 a 0.013 (estadísticamente indistinguible de cero).
• Rendimiento de Diarización: En una tarea de diarización sintética con cambio de código, LASE logró una recuperación trans-escritura de 0.788, estadísticamente empatada con ECAPA-TDNN (0.789), a pesar de usar 100 veces menos datos de entrenamiento.
• Estudio de Ablación:
  • Aplicar GRL a ECAPA lo mejoró, pero WavLM+GRL funcionó mejor.
  • La combinación de la base WavLM y el objetivo GRL es necesaria; ninguna por sí sola logra el efecto completo.
  • Las incrustaciones de WavLM fueron más fáciles de hacer invariantes al idioma que las de ECAPA (la pérdida de idioma se mantuvo fija en la oportunidad aleatoria para WavLM, pero osciló para ECAPA).

6. Significancia y Limitaciones

Significancia:

• Impacto en Producción: Resuelve un modo de fallo crítico en TTS multilingüe indio y diarización de centros de llamadas donde el cambio de escritura causa fragmentación de identidad.
• Eficiencia: Demuestra que los objetivos adversarios explícitos son más eficientes en muestras que depender de la escala masiva de corpus para aprender invariancia implícitamente.
• Accesibilidad: Proporciona una receta de bajo costo y reproducible para construir codificadores invariantes trans-escritura para cualquier conjunto de escrituras donde la síntesis TTS sea viable.

Limitaciones:

• Datos Sintéticos: El entrenamiento y la evaluación dependen de audio sintético de ElevenLabs. Aunque la brecha es real en esta distribución, la variabilidad acústica del mundo real (micrófonos, ruido de fondo, prosodia natural) aún no se ha probado.
• Generalización de Voz: Los conjuntos retenidos utilizan las mismas voces que el entrenamiento (solo oraciones no vistas). La generalización a voces completamente nuevas es un experimento de "v2".
• Mezcla de Códigos: El modelo no se probó en mezcla de códigos intra-oracional (por ejemplo, palabras en inglés dentro de una oración en hindi), lo cual es común en el habla india.

Conclusión:
LASE desacopla con éxito la identidad del hablante de las variaciones de escritura india utilizando una pequeña cabeza de proyección entrenada adversarialmente. Cierra la brecha de identidad trans-escritura a casi cero y iguala el rendimiento de codificadores masivos de grado de producción con una fracción de los datos, ofreciendo una solución práctica para las tecnologías de voz multilingües en el contexto indio.