Resumen Técnico: RIVET – Edición de Atributos de Voz Robusta e Idempotente

1. Planteamiento del Problema

Los modelos de edición de atributos de voz buscan modificar características específicas del habla (por ejemplo, edad, género, acento) preservando al mismo tiempo la identidad del hablante y el contenido lingüístico. Si bien los modelos generativos recientes han avanzado en este campo mediante la síntesis condicional y representaciones desentrañadas, dependen críticamente de la calidad de las etiquetas de atributos utilizadas durante el entrenamiento.

En los conjuntos de datos de voz a gran escala, las anotaciones de atributos suelen ser ruidosas, inconsistentes, estar invertidas o ser inferidas automáticamente en lugar de ser verificadas manualmente. Cuando los modelos generativos profundos se entrenan con esta supervisión ruidosa, pueden aprender asociaciones incorrectas entre los atributos y los patrones acústicos. Esto conduce a:

• Una degradación en la calidad de la generación condicional.
• La memorización de correlaciones espurias.
• Un comportamiento de edición inestable, donde las ediciones repetidas o revertidas causan "deriva de identidad" (la identidad del hablante cambia) o un entrelazamiento entre la identidad del hablante y el atributo objetivo.

Los métodos actuales carecen a menudo de mecanismos para mitigar el impacto de estas etiquetas ruidosas, lo que resulta en mapeos inestables de los atributos de entrada a las salidas editadas.

2. Metodología: Marco de Trabajo RIVET

Los autores proponen RIVET (Robust Idempotent Voice Attribute Editing), un marco de entrenamiento diseñado para mejorar la robustez ante el ruido de etiquetas mediante la imposición de la idempotencia.

El Concepto Central: Idempotencia

Un operador $f$ es idempotente si la aplicación repetida no cambia el resultado: $f(f(x)) = f(x)$. En el contexto de la edición de voz, esto implica que si un atributo se edita a un estado objetivo, aplicar la edición nuevamente no debería alterar más el habla. Por el contrario, si un habla editada se revierte a su estado original, la representación debería volver a la forma original no editada. Esta propiedad actúa como un regularizador implícito, reduciendo la sensibilidad a los ejemplos mal etiquetados al minimizar la "deriva" durante la generación repetida.

Arquitectura

RIVET se basa en una arquitectura de edición de voz condicional similar a VoiceShop, pero introduce una estrategia de entrenamiento específica. El sistema consta de tres componentes principales:

1. Codificador de Hablante (Speaker Encoder): Un modelo ECAPA-TDNN que extrae un embedding de hablante de longitud fija ($e$) que representa la identidad.
2. Flujo Normalizante Condicional (Conditional Normalizing Flow): Un modelo basado en flujo que transforma el embedding del hablante basándose en condiciones de atributos objetivo (por ejemplo, edad, género) para producir una representación latente editada ($z_g$).
3. Generador de Voz (Speech Generator): Un modelo basado en VITS que sintetiza la señal de voz final utilizando la representación latente editada y el embedding del hablante original como condicionamiento.

Objetivo de Entrenamiento

A diferencia de enfoques previos que pueden entrenar los módulos de edición y los embeddings de los hablantes por separado, RIVET entrena todos los componentes de forma conjunta en un marco de extremo a extremo (end-to-end). La función de pérdida total ($L_{total}$) combina las pérdidas generativas estándar con un novedoso regularizador de idempotencia:

$$L_{total} = L_{VITS} + \lambda_f L_{flow} + \lambda_a L_{age} + \lambda_g L_{gender} + \lambda_i L_{idemp}$$

Donde:

• $L_{VITS}$: Pérdidas estándar de adversariedad, coincidencia de características (feature matching), reconstrucción de mel, divergencia KL y duración.
• $L_{flow}$: Objetivo de máxima verosimilitud para el flujo normalizante.
• $L_{age}, L_{gender}$: Pérdidas de clasificación de atributos para el codificador de hablante.
• $L_{idemp}$: La Pérdida de Idempotencia.

Mecanismo de la Pérdida de Idempotencia:
El marco impone consistencia en la representación codificada. Después de que el modelo edita el habla y la reconstruye, el resultado se vuelve a codificar. La pérdida de idempotencia penaliza la diferencia entre la representación latente original ($z$) y la representación re-codificada ($z_{re}$) del habla reconstruida:
$$L_{idemp} = \mathbb{E}_{x \sim p_X} [\| \text{sg}(z) - z_{re} \|_2^2]$$
Aquí, $\text{sg}(\cdot)$ es un operador de parada de gradiente (stop-gradient). Esto asegura que el $z$ original actúe como un objetivo estable, evitando la co-adaptación trivial entre las ramas del codificador y el decodificador, al tiempo que fomenta que el modelo mapee las entradas hacia puntos estables en el manifold condicionado por atributos.

3. Contribuciones Clave

1. Demostración de la Idempotencia como Regularizador: Los autores demuestran que imponer la idempotencia actúa efectivamente como un regularizador de robustez para la edición de voz condicionada por atributos bajo condiciones de etiquetas ruidosas.
2. Marco de Trabajo RIVET: Introducción de un marco de entrenamiento simple y general que incorpora restricciones idempotentes en los modelos de edición de voz sin requerir cambios arquitectónicos en la estructura generativa subyacente.
3. Código Abierto: El lanzamiento de RIVET como el primer marco de edición de voz de su tipo de código abierto.

4. Resultados Experimentales

Los autores evaluaron RIVET en dos conjuntos de datos:

• GLOBE: Un conjunto de datos a gran escala con anotaciones ruidosas de naturaleza natural.
• EARS: Un conjunto de datos de alta calidad utilizado para simular niveles controlados de ruido de etiqueta sintético (inversión de etiquetas del 10% al 60%).

Hallazgos Clave:

• Preservación de la Identidad: RIVET logró consistentemente una mayor similitud de coseno entre los embeddings del habla original y el revertido en comparación con el modelo base, lo que indica una mejor preservación de la identidad del hablante.
• Éxito de la Edición: En el conjunto de datos GLOBE, RIVET mejoró la precisión de la predicción de atributos, particularmente para el género. En el conjunto de datos EARS (fuera de distribución), mantuvo una mayor similitud de identidad y mejoró sustancialmente la precisión de la edición de género bajo condiciones de ruido.
• Robustez al Ruido: A medida que el ruido de las etiquetas aumentó en los experimentos de EARS, el modelo base exhibió una rápida deriva de identidad y degradación del rendimiento. RIVET mantuvo una mayor similitud y un rendimiento más estable en todos los niveles de ruido.
• Calidad Perceptual: Las evaluaciones humanas (Amazon Mechanical Turk) confirmaron que RIVET mejoró el éxito de la edición percibida tanto para los atributos de edad como de género en comparación con el modelo base.
• Estabilidad: Las rondas de reconstrucción repetidas mostraron que el modelo base sufrió de deriva de identidad, mientras que RIVET mantuvo una alta similitud con el hablante original a través de las iteraciones.

Ambos modelos mantuvieron puntuaciones comparables de naturalidad (UTM0S) e inteligibilidad (WER), lo que indica que las ganancias de robustez no se produjeron a costa de la calidad de la voz.

5. Significado y Reivindicaciones

El artículo posiciona a RIVET como una solución práctica para mejorar la estabilidad y la robustez de los sistemas de edición de voz cuando los datos de entrenamiento contienen etiquetas imperfectas o ruidosas. Los autores afirman que:

• La idempotencia sirve como un mecanismo efectivo para reducir la sensibilidad a los ejemplos mal etiquetados en modelos generativos condicionales.
• El marco propuesto es agnóstico al modelo y puede aplicarse a atributos más allá de la edad y el género.
• Este trabajo representa un primer paso hacia la comprensión de cómo los objetivos idempotentes pueden estabilizar los modelos generativos condicionales.

Los autores mantienen la modestia respecto al alcance, señalando que, aunque la evaluación se centró en la edad y el género, el principio es aplicable a otros atributos y arquitecturas. Identifican como trabajo futuro la exploración de estos objetivos en entornos no supervisados y para atributos adicionales.