💻 computer science

Hierarchical Codec Diffusion for Video-to-Speech Generation

El artículo presenta HiCoDiT, un nuevo transformador de difusión de códec jerárquico que mejora la generación de voz a partir de video al explotar la estructura jerárquica de los tokens de voz discretos para alinear semánticas de hablante y prosodia con características visuales específicas.

Autores originales: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan

Publicado 2026-04-20

📖 4 min de lectura☕ Lectura para el café

CC0 1.0

Autores originales: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que tienes una película muda antigua, como las de Chaplin, y quieres darle voz a los actores sin que ellos nunca hayan hablado. Eso es lo que intenta hacer la tecnología llamada "Video-a-Voz".

El problema es que es muy difícil: el video solo te da pistas visuales (movimiento de labios, cara, expresión), pero la voz tiene muchas capas ocultas (el tono, la emoción, el acento, la velocidad). Los métodos anteriores intentaban adivinar todo de golpe, como intentar adivinar un libro entero mirando solo la portada. A menudo, el resultado son voces robóticas o que no coinciden bien con los labios.

Los autores de este paper, HiCoDiT, han creado una solución inteligente que funciona como un arquitecto de una casa de muñecas muy sofisticada. Aquí te explico cómo funciona con analogías sencillas:

1. La idea principal: No todo es igual (La Jerarquía)

Imagina que la voz humana es como una tarta de múltiples pisos.

El piso de abajo (Capas bajas): Es la base sólida. Contiene qué se dice (las palabras) y quién lo dice (la voz del actor, su timbre). Es como la estructura de la casa.
El piso de arriba (Capas altas): Es la decoración. Contiene cómo se dice (la emoción, si está triste, feliz, si grita o susurra). Es como los adornos, las pinturas y la iluminación.

Los métodos antiguos intentaban pintar la decoración antes de construir los cimientos, o mezclaban todo en un solo bloque. HiCoDiT dice: "¡Espera! Vamos a construir la casa piso por piso, respetando el orden".

2. El proceso de construcción (El Modelo)

El modelo usa una técnica llamada Difusión Discreta. Imagina que tienes una estatua de arcilla que está completamente cubierta de barro (es el "ruido" o el silencio). La tarea del modelo es quitar el barro poco a poco para revelar la estatua perfecta.

HiCoDiT hace esto en dos equipos separados que trabajan juntos:

El Equipo de Estructura (Bloques de bajo nivel):
- Qué miran: Miran el movimiento de los labios y la cara del actor para saber su identidad.
- Qué hacen: Construyen la base de la voz. Deciden qué palabras se dicen y de quién es la voz. Es como poner los ladrillos y el cemento. Si los labios se mueven para decir "Hola", este equipo asegura que la voz diga "Hola" y suene como ese actor.
El Equipo de Decoración (Bloques de alto nivel):
- Qué miran: Miran las expresiones faciales (¿está sonriendo? ¿está enojado?).
- Qué hacen: Añaden la "sazón" emocional. Si el actor frunce el ceño, este equipo hace que la voz suene seria o enojada. Si sonríe, la voz se vuelve alegre. Es como poner la pintura y los muebles.

3. El truco secreto: El "Condicionador Inteligente"

Para que estos dos equipos no se confundan, el modelo usa una herramienta llamada AdaLN de doble escala (suena complicado, pero es simple).

Imagina que tienes un control remoto de volumen y ecualizador:

Un botón controla el estilo global (la voz del actor en general).
Otro botón controla la dinámica local (cómo cambia la emoción en cada frase).

Este control permite que el modelo ajuste la voz en tiempo real: "Ahora el actor está triste, así que baja el tono y hazlo más lento", sin perder la identidad de la voz.

4. ¿Por qué es mejor que los demás?

Los métodos anteriores eran como intentar cocinar un pastel mezclando todos los ingredientes en una licuadora gigante. A veces salía bien, pero a menudo quedaba una masa extraña.

HiCoDiT es como un chef experto que:

Primero prepara la masa (la estructura y la identidad).
Luego añade el relleno y la cobertura (la emoción y la prosodia).
Usa ingredientes de alta calidad (datos discretos) para que el resultado sea nítido.

Los resultados:
En las pruebas, HiCoDiT ha demostrado ser el mejor hasta ahora:

Sincronización: Los labios se mueven perfectamente con la voz (como si realmente hablaran).
Naturalidad: La voz suena humana, no robótica.
Emoción: Si el actor en el video llora, la voz suena triste de verdad.

En resumen

HiCoDiT es como un director de cine invisible que sabe exactamente cómo traducir lo que ves en una pantalla (labios moviéndose, caras expresivas) en una voz perfecta, capa por capa. No solo hace que el actor "hable", sino que le da la personalidad y la emoción correcta, logrando que una película muda cobre vida de una manera que antes parecía imposible.

¡Es un gran paso para que en el futuro podamos doblar películas o dar voz a personas que no pueden hablar, simplemente mirándolos a la cara!

1. El Problema: Asimetría de Información y Falta de Jerarquía

La generación de voz a partir de video (Video-to-Speech o VTS) busca sintetizar habla a partir de señales visuales silenciosas. Aunque el contenido semántico, la identidad del hablante y la prosodia emocional son consistentes entre el video y el audio, existe una asimetría inherente de información: las características visuales son escasas en comparación con las representaciones densas del habla.

El problema central identificado por los autores es que los métodos existentes tratan el habla como una secuencia plana (sin estructura), inyectando características visuales de manera holística. Esto ignora la naturaleza jerárquica del habla, que va desde:

Niveles bajos: Semántica gruesa y conciencia del hablante (identidad).
Niveles altos: Detalles prosódicos finos (entonación, emoción, ritmo).

Esta falta de alineación específica por niveles dificulta la correspondencia precisa entre los movimientos faciales (como el movimiento de los labios o la identidad) y los componentes específicos del token de voz, resultando en una sincronización y expresividad subóptimas.

2. Metodología: HiCoDiT

Los autores proponen HiCoDiT (Hierarchical Codec Diffusion Transformer), un marco novedoso que integra un prior de jerarquía de voz explícito dentro de un modelo de difusión discreto.

A. Tokenización Jerárquica (RVQ)

El sistema utiliza un códec basado en Cuantización Vectorial Residual (RVQ) para convertir la señal de audio en tokens discretos.

Se divide la secuencia de tokens en dos componentes:
- Tokens de bajo nivel ( $x_{low}$ ): Corresponden a las primeras capas del RVQ (ej. capas 1-2). Capturan el contenido semántico y la identidad del hablante.
- Tokens de alto nivel ( $x_{high}$ ): Corresponden a las capas superiores (ej. capas 3-12). Capturan detalles prosódicos abstractos y dinámicas emocionales.

B. Condicionamiento Visual Desacoplado

HiCoDiT diseña una arquitectura de transformador con bloques separados para cada nivel, inyectando características visuales específicas donde son más relevantes:

Bloques de Bajo Nivel: Se condicionan con:
- Movimiento de labios ( $c_{lip}$ ): Extraído mediante AV-HuBERT para alinear el contenido semántico.
- Identidad facial ( $c_{id}$ ): Extraída mediante ArcFace para alinear el timbre del hablante.
Bloques de Alto Nivel: Se condicionan con:
- Expresión emocional ( $c_{emo}$ ): Extraída mediante Poster2 para modular la prosodia y la dinámica emocional.

C. Mecanismo de Normalización Dual-Escala (Dual-Scale AdaLN)

Para mejorar la inyección de condiciones en los bloques de alto nivel, proponen una Normalización de Capa Adaptativa (AdaLN) a doble escala:

Normalización a nivel de canal: Captura el estilo vocal global (timbre).
Normalización a nivel temporal: Captura las dinámicas prosódicas locales (cambios rápidos en la entonación).
Esto permite que el modelo modele tanto el estilo general del hablante como las fluctuaciones emocionales finas de manera independiente.

D. Entrenamiento y Inferencia

Modelo: Un modelo de difusión discreta enmascarada (Masked Diffusion Model).
Objetivo: Minimizar la entropía de la puntuación de denoising (DSE) en todos los niveles de RVQ.
Pérdida adicional: Se incluye una pérdida de identidad ( $L_{id}$ ) basada en la distancia $\ell_1$ entre la identidad visual y la representación de voz GE2E para reforzar la consistencia del hablante.
Inferencia: Utiliza muestreo Euler con guía libre de predictores (predictor-free guidance) para mejorar la calidad de la generación.

3. Contribuciones Clave

Primera integración explícita de jerarquía: HiCoDiT es el primer marco de difusión discreto para VTS que introduce un prior de jerarquía de voz, cerrando la brecha entre video y habla al alinear características visuales específicas con niveles de tokens específicos.
Arquitectura de Transformador Jerárquico Desacoplado: Diseña bloques separados para semántica/timbre y prosodia, evitando la mezcla de características visuales que suele causar ruido en los métodos anteriores.
AdaLN a Doble Escala: Un mecanismo innovador que inyecta tanto el estilo vocal global como la dinámica prosódica local, mejorando significativamente la expresividad.
Rendimiento Superior: Demostración experimental de que el modelado de tokens discretos jerárquicos es superior para la generación eficiente y de alta fidelidad de voz a partir de video.

4. Resultados Experimentales

El modelo se evaluó en los conjuntos de datos LRS2 y LRS3, así como en datos de películas reales (fuera de dominio).

Métricas Objetivas:
- HiCoDiT superó a los métodos State-of-the-Art (como FTV, AlignDiT, EmoDubber) en calidad general de voz (UTMOS, DNSMOS), inteligibilidad (WER) y sincronización labial (LSE-C).
- Logró la segunda mejor puntuación en MCD (distorsión de cefalograma mel), superado solo por métodos que optimizan directamente espectrogramas, pero con una calidad perceptual superior gracias al modelado discreto.
- En pruebas de similitud de hablante, superó a todos los competidores cuando se proporcionó una señal de audio de referencia como guía de identidad.
Métricas Subjetivas (MOS):
- Obtuvo la puntuación más alta en Naturalidad (MOSnat: 3.17) y Sincronización (MOSsyn: 3.50).
- En pruebas A/B, los usuarios prefirieron HiCoDiT sobre AlignDiT (57.0%) y FTV (52.1%).
Análisis de Ablación:
- La eliminación del modelado jerárquico degradó significativamente todos los métricos, confirmando la necesidad de separar niveles.
- La eliminación de AdaLN a doble escala redujo la precisión emocional (EmoAcc), validando su importancia para la prosodia.

5. Significado e Impacto

Este trabajo representa un avance significativo en la generación multimodal al demostrar que la estructura interna de la representación de datos (en este caso, la jerarquía de tokens de voz) debe guiar el diseño de la arquitectura de alineación multimodal.

Aplicaciones: Tiene un gran potencial para el doblaje de películas mudas, comunicación asistiva para personas con afonía y entornos de interacción donde el audio es crítico o la privacidad es esencial.
Innovación Técnica: Establece un nuevo paradigma para la generación de voz discreta, mostrando que los modelos de difusión enmascarada pueden superar a los modelos autoregresivos y continuos en tareas de alineación compleja cuando se aprovechan los priors estructurales del dominio.

En resumen, HiCoDiT resuelve el cuello de botella de la condicionamiento visual en VTS al alinear explícitamente las características visuales con la jerarquía inherente del habla, logrando una generación de voz más natural, expresiva y sincronizada.