💬 NLP

Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing

El artículo presenta SIEDD, un modelo de difusión discreta multicodec que aprovecha la generación de tokens jerárquica y el condicionamiento guiado por texto para lograr un rendimiento de vanguardia en la inpainting y edición de voz, preservando al mismo tiempo la identidad del hablante y la prosodia.

Autores originales: Iftach Shoham, Tali Dror, Oren Gal, Haim Permuter, Gilad Katz, Eliya Nachmani

Publicado 2026-08-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Iftach Shoham, Tali Dror, Oren Gal, Haim Permuter, Gilad Katz, Eliya Nachmani

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás escuchando tu canción favorita, pero de repente faltan unos segundos de la melodía, o quizás alguien susurró una palabra que no querías oír. En el mundo de la ciencia del audio, reparar estos huecos sin arruinar el resto de la pista es un poco como intentar reparar un tapiz roto. No puedes simplemente pegar un trozo de tela nueva encima; el nuevo hilo tiene que coincir en color, tejido y tensión con la tela circundante a la perfección. Durante décadas, las computadoras lucharon con esto. Podían arreglar pequeños rasguños, pero si faltaba una frase completa, a menudo sonaban robóticas o fuera de sincronía con la voz del hablante.

Recientemente, los científicos han comenzado a usar un truco ingenioso llamado "difusión" para resolver esto. Piensa en la difusión como un juego de "teléfono descompuesto" jugado a la inversa. Imagina una imagen clara que se cubre lentamente con estática de ruido hasta que es solo un borrón gris. Un modelo de difusión es una IA inteligente que aprende cómo tomar ese desorden gris y borroso y, paso a paso, ir quitando el ruido hasta que la imagen original reaparece. Aunque esto funciona de maravilla para las imágenes, hacerlo para el habla es complicado porque el habla no es solo una línea suave; está construida en capas, como un pastel con diferentes sabores apilados uno sobre otro. Este artículo profundiza en cómo usar este juego de "ruido inverso" para reparar el habla, pero con un giro especial que respeta esas capas.

Los investigadores detrás de este estudio, Iftach Shoham y su equipo, presentan un nuevo sistema llamado SIEDD (Speech Inpainting and Editing via Discrete Diffusion / Inpainting y Edición de Voz mediante Difusión Discreta). Su objetivo principal era crear una herramienta que pudiera tanto rellenar partes faltantes de una grabación (inpainting) como sustituir palabras por otras nuevas (edición), manteniendo la voz, el ritmo y la emoción del hablante exactamente iguales. Descubrieron que los métodos anteriores, que intentaban construir el habla palabra tras palabra como un tren sobre una vía, a menudo cometían errores que se acumulaban. Si la IA se equivocaba ligeramente en la primera palabra, el resto de la frase sonaba mal.

En su lugar, SIEDD utiliza un enfoque de "difusión discreta". Imagina que el habla no es un tren, sino una escultura siendo tallada. La IA comienza con un bloque de piedra rugoso (la forma básica del sonido) y luego va cincelando lentamente para revelar los detalles finos. El gran descubrimiento del artículo es que hay que respetar el orden de estas capas. La IA primero determina la estructura "gruesa" —la forma grande y tosca del sonido— y la fija como una base sólida. Solo entonces pasa a la siguiente capa para añadir los detalles "finos", como la textura específica de la voz. Al tratar las capas inferiores como un contexto limpio y comprometido y solo realizar la "denoising" (eliminación de ruido) de la capa actual, el modelo evita la confusión de intentar adivinar los detalles finos antes de que la forma general esté asentada.

El equipo realizó pruebas en un benchmark llamado RealEdit, que involucra escenarios realistas como la reparación de grabaciones dañadas o el cambio de lo que alguien dijo. Los resultados sugieren que SIEDD es bastante bueno en su trabajo. En las pruebas de edición de voz, logró el mejor rendimiento general entre los métodos con los que se comparó, con las tasas de error más bajas en la comprensión de las palabras (WER) y la mayor similitud con el hablante original. Para rellenar los huecos faltantes, superó a otros métodos populares, especialmente cuando había múltiples huecos que rellenar a la vez. Los autores sugieren que este éxito proviene de modelar explícitamente la "jerarquía" del sonido —reconociendo que algunas partes del código de audio son más importantes para el panorama general, mientras que otras son solo para los detalles minúsculos.

Uno de los trucos ingeniosos en su sistema es un "guía localizado". Imagina que estás editando una oración y quieres cambiar la palabra "gato" por "perro". La IA necesita saber exactamente dónde cambiar el sonido y dónde dejar el resto intacto. Los investigadores construyeron un mecanismo que enfoca su atención solo en el segmento específico de palabras que se están cambiando, asegurando que las nuevas palabras encajen perfectamente con las antiguas sin alterar la conversación circundante. También añadieron una forma de predecir cuánto deberían durar las nuevas palabras, para que el habla editada no suene apresurada o demasiado lenta.

En resumen, este artículo sugiere que, al tratar el habla como un pastel de múltiples capas y repararlo capa por capa —comenzando desde abajo y trabajando hacia arriba—, las computadoras pueden reparar y editar audio de manera mucho más natural que antes. Aunque el sistema no es perfecto (todavía tiene dificultades un poco cuando los huecos son más grandes), representa un paso significativo hacia adelante para lograr que la IA suene menos como un robot y más como un humano que puede reparar sin problemas una frase rota o cambiar una palabra sin que nadie note la edición. Los autores concluyen que este enfoque "consciente de la jerarquía" es una alternativa prometedora a los métodos antiguos paso a paso, ofreciendo una forma de preservar el alma de la voz de un hablante incluso cuando las palabras cambian.

Resumen Técnico: Modelo de Difusión Discreta de Múltiples Códecs para la Inpainting y Edición de Voz Guiada por Texto (SIEDD)

Planteamiento del Problema

Las grabaciones de voz frecuentemente contienen segmentos faltantes, corruptos o incorrectos que requieren reconstrucción o modificación sin necesidad de resintetizar la locución completa. Dos tareas principales abordan esto: la inpainting de voz (restauración de segmentos faltantes) y la edición de voz (reemplazo de contenido hablado basado en una transcripción editada). Ambas tareas exigen que la voz generada no solo exprese las palabras pretendidas, sino que también mantenga la consistencia acústica con la identidad del hablante, la prosodia, el tiempo y las condiciones de grabación circundantes.

Los métodos tradicionales de procesamiento de señales (por ejemplo, predicción autorregresiva, representaciones dispersas) suelen fallar cuando las regiones faltantes abarcan múltiples fonemas o palabras, ya que carecen de la capacidad para modelar el contexto lingüístico y acústico de largo alcance. Si bien los enfoques generativos recientes que utilizan tokens de códec neuronal han mejorado la calidad, los modelos autorregresivos (AR) sufren una limitación fundamental en la edición: generan tokens en un orden causal fijo. Esto impide la revisión de decisiones previas, causando que los errores en el contenido lingüístico, la duración o la prosodia se propaguen a través del segmento editado. Además, los modelos de difusión estándar aplicados a códecs neuronales a menudo ignoran la naturaleza jerárquica de la Cuantización de Vectores Residuales (RVQ), tratando todos los libros de códigos (CBs) de forma simétrica en lugar de respetar sus dependencias de grueso a fino.

Metodología

Los autores proponen SIEDD (Inpainting y Edición de Voz mediante Difusión Discreta), un marco que aprovecha la difusión discreta sobre tokens de códec jerárquicos para abordar estas limitaciones. La innovación central es HiCoDD (Difusión Discreta de Códec Jerárquico), que modela explícitamente la estructura RVQ.

1. Difusión Discreta de Múltiples Códecs Jerárquicos (HiCoDD)
Los códecs de audio neuronales (por ejemplo, EnCodec) representan la voz utilizando una jerarquía de libros de códigos RVQ, donde los niveles inferiores capturan la estructura acústica gruesa y los niveles superiores codifican refinamientos residuales.

Arquitectura: HiCoDD genera los libros de códigos en su orden inherente de grueso a fino. Para un libro de códigos objetivo $k$ , el modelo trata los libros de códigos inferiores previamente generados y limpios ( $<k$ ) como un contexto acústico fijo y comprometido. La difusión se aplica únicamente al libro de códigos de refinamiento actual $k$ .
Entrenamiento: El modelo utiliza un "codificador de contexto limpio" para procesar los CBs inferiores comprometidos y un "decodificador de eliminación de ruido" para el CB actual con ruido. Esta separación asegura que el decodificador reciba el contexto limpio exacto que tendrá durante la inferencia, evitando la fuga de información y permitiendo el entrenamiento conjunto sin restricciones autorregresivas a través del tiempo.
Factorización: El proceso generativo se factoriza jerárquicamente: $p(X|P) = p(x^{(1)}|P) \prod_{k=2}^K p(x^{(k)} | x^{(<k)}, P)$ . Esto permite al modelo refinar la representación acústica paso a paso en lugar de reconstruir todos los niveles de forma independiente.

2. Red de Puntuación (Score Network) y Condicionamiento
La red de puntuación es un Transformer de Difusión (DiT) adaptado para la difusión discreta de estado de absorción.

Condicionamiento de Texto: La secuencia de fonemas objetivo se codifica mediante un XPhoneBERT preentrenado y se inyecta a través de atención cruzada (cross-attention).
Condicionamiento de Contexto: Los CBs inferiores comprometidos se codifican y se inyectan a través de un segundo flujo de atención cruzada.
Máscara de Atención: Una máscara de atención de triángulo inferior (block-triangular) impone la dependencia de grueso a fino, asegurando que el CB actual no pueda atender a sus propios estados futuros limpios ni a los CBs superiores.

3. Guía de Clasificador Sin Libre (Localized Classifier-Free Guidance - CFG)
Para equilibrar la adherencia al texto objetivo con la preservación del contexto circundante, los autores adaptan la CFG para la predicción de puntuación categórica.

Guía en el Espacio Logarítmico: La guía se aplica directamente a las puntuaciones concretas en logaritmo: $\log s_{cfg} = \alpha \log s_{cond} + (1-\alpha) \log s_{neg}$ .
Localización del Segmento (Span Localization): Para la edición de voz, la rama negativa se construye aleatorizando únicamente los fonemas dentro del segmento editado, manteniendo los fonemas y las representaciones de los CB inferiores circundantes idénticos a la rama condicional. Esto aisla la señal de guía al objetivo de la modificación, suprimiendo cambios de contenido no deseados sin interrumpir las claves de coarticulación en los límites. Para la inpainting, donde la transcripción no cambia, la secuencia completa de fonemas se aleatoriza para la rama negativa.

4. Predicción de Duración
Para la edición guiada por texto (inserción/sustitución), la duración del segmento generado es desconocida. SIEDD emplea un predictor de duración (inspirado en FastSpeech) para estimar el número de tokens acústicos requeridos basándose en la secuencia de fonemas objetivo, permitiendo la generación de duración variable.

Contribuciones Clave

Difusión de Códec Consciente de la Jerarquía: Introducción de HiCoDD, que elimina el ruido de las posiciones temporales dentro de cada libro de códigos mientras genera los libros de códigos en su orden inherente de grueso a fino. Esto preserva las dependencias de RVQ sin imponer la generación autorregresiva a través del tiempo.
Guía Contrastiva para Edición Localizada: Adaptación de la guía de clasificador sin libre para la difusión categórica, diseñada específicamente para localizar el contraste en el segmento editado. Esto fortalece la adherencia a los fonemas objetivo mientras preserva el contexto acústico y lingüístico circundante.
Rendimiento: Demostración de un rendimiento de vanguardia en el benchmark RealEdit para la edición de voz y un rendimiento superior sobre las líneas base autorregresivas en diversas configuraciones de inpainting de voz.

Resultados Experimentales

El modelo fue evaluado en el benchmark RealEdit, que incluye diversos hablantes, acentos y condiciones de grabación.

Edición de Voz: SIEDD logró el mejor rendimiento general entre los métodos evaluados (incluyendo VoiceCraft y SSR-Speech). Registró la menor Tasa de Error de Palabra (WER: 0.121), la mayor similitud de hablante (0.98) y la menor Distorsión Cepstral de Mel (MCD: 270.0). Aunque una línea base de TTS logró un puntaje UTMOS más alto, lo hizo sintetizando la voz de forma independiente en lugar de adaptarse al contexto de la grabación original; SIEDD mantuvo una calidad perceptual comparable a la de la grabación original (UTMOS ~3.44).
Inpainting de Voz: SIEDD superó a las líneas base autorregresivas (VoiceCraft, SSR-Speech) en todas las configuraciones de brechas (brechas únicas y múltiples). Notablemente, mostró ganancias significativas en brechas cortas y medias (por ejemplo, reduciendo el MCD a 21.1 para una brecha de 250ms frente a 91.3 para SSR-Speech). Los autores atribuyen la estabilidad de SIEDD en escenarios de múltiples brechas a su capacidad para refinar iterativamente las regiones enmascaradas sin la acumulación de errores inherente a la generación AR secuencial.
Estudios de Ablación: Eliminar la factorización jerárquica (modelado conjunto) degradó el WER y el SIM. Del mismo modo, eliminar el predictor de duración o la CFG localizada resultó en caídas de rendimiento, confirmando la necesidad de estos componentes para una estimación de duración precisa y la adherencia al contenido.

Significado y Reivindicaciones

El artículo sostiene que modelar explícitamente la jerarquía del códec mejora sustancialmente la reconstrucción y edición de voz que preserva el contexto. Al tratar los libros de códigos generados previamente como contexto limpio y comprometido, SIEDD permite un entrenamiento conjunto libre de fugas que se alinea con la inferencia secuencial de grueso a fino. El marco demuestra que la difusión discreta, cuando se combina con el modelado jerárquico y la guía localizada, ofrece una alternativa robusta a la generación autorregresiva para tareas que requieren la preservación simultánea de la identidad del hablante, la prosodia y la precisión lingüística. Los autores posicionan a SIEDD como una dirección prometedora para la modificación de voz que preserva el contexto, sugiriendo trabajos futuros para un muestreo más rápido, un mejor modelado de la duración y aplicaciones multilingües.