Resumen Técnico: SALSA-V

Planteamiento del Problema

La generación de video a audio (V2A), o "foley computacional", tiene como objetivo sintetizar sonidos diegéticos (por ejemplo, lluvia, pasos, impactos) que estén semántica y temporalmente alineados con contenido de video silencioso. Aunque los avances recientes en modelos de difusión y de coincidencia de flujo (flow-matching) han mejorado la calidad del audio, los métodos actuales de vanguardia enfrentan tres limitaciones críticas:

1. Sincronización y Controlabilidad: Los modelos suelen tener dificultades con la alineación precisa a nivel de fotograma y ofrecen un control limitado sobre el sonido generado, dependiendo típicamente de la condicionación por texto, la cual carece de editabilidad nativa y no admite la correspondencia con audio de referencia.
2. Restricciones de Longitud: La mayoría de los modelos están restringidos a fragmentos cortos (a menudo $\le$ 10 segundos) debido a limitaciones de memoria o arquitectónicas. Extender estos modelos a secuencias más largas suele resultar en una degradación del rendimiento o artefactos de unión (stitching).
3. Eficiencia de Inferencia: La generación de alta calidad en modelos basados en difusión requiere típicamente docenas de pasos de muestreo, lo que hace que las aplicaciones en tiempo real o casi en tiempo real sean impracticables sin un ajuste fino (fine-tuning) o destilación dedicada.

Metodología

SALSA-V es un modelo de coincidencia de flujo latente multimodal diseñado para abordar estos problemas mediante una arquitectura unificada y objetivos de entrenamiento novedosos.

Arquitectura

El modelo utiliza un enfoque de coincidencia de flujo latente con un codificador de audio basado en un VAE de Stable-Audio ajustado (incrementado a una frecuencia de fotogramas de 43 Hz). El generador central emplea una mezcla de bloques de transformadores:

• Bloques MMDiT-X: Bloques modificados que operan conjuntamente sobre secuencias de audio y secuencias de video semánticas gruesas concatenadas. Estos utilizan atención conjunta y una capa de autoatención adicional opcional aplicada únicamente al flujo de audio durante los primeros $n$ bloques.
• Bloques DiT: Bloques DiT de secuencia única estándar procesan la representación latente.
• Condicionamiento: El modelo integra tres fuentes de condicionamiento:
  1. Características Visuales Semánticas ($v_s$): Extraídas de un codificador SigLIP 2 congelado (8 FPS) para proporcionar contexto semántico de alto nivel.
  2. Características de Sincronización ($v_{syn}$): Características de alta resolución (24 FPS) derivadas de un modelo dedicado de alineación audio-visual contrastivo entrenado con datos a gran escala (backbone de VideoPrism). Estas se reescalan (upsampled) y se utilizan en capas de normalización de capa adaptativa (adaLN) a nivel de secuencia.
  3. Características Globales de Texto ($t_c$): Derivadas de un codificador de texto.

Innovaciones Clave de Entrenamiento

1. Pre-entrenamiento Contrastivo para la Sincronización:
   A diferencia de trabajos anteriores que dependen de modelos pre-entrenados más pequeños (por ejemplo, Synchformer), SALSA-V entrena un modelo de sincronización dedicado utilizando un backbone de VideoPrism a gran escala y un Transformador de Espectrograma de Audio (AST). El modelo se entrena utilizando una pérdida SigLIP en fragmentos de 0.667 segundos. Crucialmente, los autores descubrieron que los tamaños de lote (batch sizes) más pequeños son óptimos para aprender la alineación temporal precisa, ya que los lotes más grandes diluyen los "negativos duros" necesarios para distinguir diferencias temporales finas.

2. Coincidencia de Flujo Enmascarada (Masked Flow Matching):
   Para permitir la condicionación de audio y la generación de larga duración, los autores introducen un objetivo de entrenamiento enmascarado. Durante el entrenamiento, se enmascara una subsecuencia contigua (de 5 ms a 2.5 s). El modelo recibe el audio limpio para la región enmascarada pero no es penalizado por ello; en su lugar, aprende a predecir la velocidad para los tokens no enmascarados (no enmascarados). Esto permite al modelo realizar "inpaintado" (generar audio faltante basado en una referencia) y "outpainting" (extender el audio), permitiendo una generación de larga duración fluida mediante extensión iterativa.

3. Pérdida de Atajo (Shortcut Loss) para Muestreo de Pocos Pasos:
   Para lograr una generación de alta fidelidad en tan solo ocho pasos sin requerir destilación post-entrenamiento, SALSA-V adopta una formulación de "atajo". El modelo se aumenta con un tamaño de paso deseado $d$ como entrada. El objetivo de entrenamiento impone una propiedad de autoconsistencia: un paso grande debe ser igual a la suma de dos pasos más pequeños. Al entrenar una fracción del lote (por ejemplo, 25%) con este objetivo de consistencia junto con la pérdida de coincidencia de flujo estándar, el modelo aprende a anticipar la curvatura de la trayectoria de eliminación de ruido, permitiendo una convergencia rápida.

Contribuciones Clave

• Modelo SALSA-V: Un modelo de video a audio capaz de muestreo de pocos pasos y alta fidelidad sin requerir ajuste fino o destilación adicional.
• Condicionación de Audio y Outpainting: Un objetivo de entrenamiento enmascarado que permite al modelo generar audio basado en secciones de audio de referencia y realizar extensiones iterativas de larga duración.
• Sincronización de Alta Resolución: Un modelo de alineación entrenado contrastivamente utilizando un backbone de visión a gran escala, produciendo características de sincronización temporal superiores en comparación con métodos previos.

Resultados Experimentales

Los autores evaluaron SALSA-V contra modelos de vanguardia (incluyendo Frieren, MMAudio, LoVA y FoleyCrafter) en clips de video de longitud mixta (hasta 30 segundos).

• Rendimiento Cuantitativo: SALSA-V logra resultados de vanguardia en sincronización (DeSync: 0.497s frente a 0.521s de MMAudio) y un rendimiento competitivo en métricas de correspondencia de distribución (FADVGG: 1.07, KLPaSST: 1.63). Supera a todos los modelos base en la evaluación humana para sincronización (3.52 MOS) y calidad general (3.43 MOS).
• Eficiencia de Pocos Pasos: En el régimen de pocos pasos (4–8 pasos), SALSA-V mantiene un alto rendimiento con una degradación mínima. A 4 pasos, supera significativamente a Frieren (reflow) y MMAudio en todas las métricas, mientras que otros modelos sufren caídas drásticas de calidad.
• Generación de Larga Duración: A diferencia de los modelos que procesan secuencias completas a la vez (los cuales se degradan después de ~20 segundos debido a los embeddings posicionales no vistos), SALSA-V utiliza una estrategia de extensión iterativa. Mantiene una alta sincronización y calidad de audio en muestras de 30 segundos, superando a LoVA en todas las métricas objetivas.
• Eficiencia: SALSA-V genera una muestra de 10 segundos en 0.71 segundos usando 4 pasos en una NVIDIA A100, ofreciendo un equilibrio favorable entre velocidad y calidad en comparación con sus competidores.

Significado y Reivindicaciones

El artículo afirma que SALSA-V representa un paso significativo para hacer que la generación de V2A sea práctica para flujos de trabajo profesionales y en tiempo real. Al integrar una pérdida de atajo, el modelo supera el cuello de botella de latencia inherente a los modelos de difusión, permitiendo aplicaciones casi en tiempo real sin sacrificar la fidelidad. El objetivo de entrenamiento enmascarado amplía la utilidad de los modelos V2A más allá de la simple generación hacia tareas de diseño de sonido profesional como la generación de Foley y el emparejamiento espectral.

Los autores enfatizan que su enfoque aborda la brecha de la "larga duración", permitiendo la síntesis de secuencias de audio extendidas que permanecen sincronizadas con el contenido de video, una capacidad previamente limitada por restricciones arquitectónicas. El trabajo sugiere que estos avances pueden reducir el costo y el tiempo de iteración para el diseño de sonido en cine, juegos y contenido generado por usuarios, al tiempo que reconoce los riesgos potenciales relacionados con la manipulación de medios y la necesidad de salvaguardias en su despliegue.