Resumen Técnico: Many-for-Many (MfM)

Planteamiento del Problema

La investigación actual en generación y manipulación visual está fragmentada. Si bien los modelos de difusión han logrado resultados impresionantes, la mayoría de los enfoques existentes se centran en entrenar modelos separados para tareas específicas (por ejemplo, Text-to-Video o Image-to-Video) o en el ajuste fino (fine-tuning) de un modelo fundacional de Text-to-Video (T2V) preentrenado para tareas derivadas como la manipulación de video. Este paradigma presenta dos desafíos principales:

1. Alto Costo de Entrenamiento Fundacional: Entrenar un modelo fundacional de T2V robusto desde cero requiere cantidades masivas de datos de alta calidad y anotados, lo cual es prohibitivamente costoso.
2. Fragmentación de Tareas: Los modelos existentes suelen estar limitados a una o pocas tareas. Para realizar múltiples tareas de generación o manipulación (por ejemplo, inpainting, super-resolución, colorización), se requieren típicamente modelos distintos o complejos procesos de ajuste fino, lo que deriva en ineficiencia e inconsistencia en el rendimiento.

Metodología

Los autores proponen Many-for-Many (MfM), un marco unificado diseñado para entrenar un único modelo desde cero capaz de realizar más de 10 tareas diferentes de generación y manipulación visual. La metodología central involucra tres componentes clave:

1. Arquitectura Unificada y Adaptador

El modelo MfM se construye sobre un Transformer de Difusión (DiT) con atención 3D completa, entrenado mediante Flow Matching. Para gestionar las diversas condiciones de entrada a través de diferentes tareas (que van desde prompts de texto 0D hasta máscaras de video 3D y mapas de profundidad), los autores introducen un adaptador ligero:

• Unificación de Condiciones: En lugar de procesar los datos de píxeles, máscaras y mapas de profundidad por separado, el adaptador concatena estas entradas 3D en un mapa de características unificado.
• Alineación de Resolución: El adaptador utiliza capas convolucionales y bloques de submuestreo (downsampling) para ajustar la resolución espacial y temporal de las condiciones de entrada para que coincidan con el espacio latente del VAE de video (por ejemplo, convirtiendo $T \times H \times W \times C$ a $t \times h \times w \times c$).
• Identificación de Tareas: Los nombres de las tareas (por ejemplo, "text-to-video", "image-to-video") se añaden a los prompts de texto para clarificar la operación específica, especialmente cuando las tareas comparten entradas comunes como las máscaras.
• Integración de Profundidad: Los mapas de profundidad se introducen como una entrada condicional para mejorar la percepción del modelo sobre el espacio 3D.

2. Variantes del Modelo

Se entrenan dos versiones del modelo para adaptarse a diferentes necesidades computacionales:

• MfM-2B: 2 mil millones de parámetros, 28 capas, 28 cabezales de atención.
• MfM-8B: 8 mil millones de parámetros, 40 capas, 48 cabezales de atención.
  Ambos utilizan Embeddings de Posición Rotatorios 3D (3D RoPE) para manejar variaciones en resolución y longitud, y Normalización de Query-Key (QK-Norm) para asegurar la estabilidad del entrenamiento.

3. Estrategia de Entrenamiento

El proceso de entrenamiento emplea una estrategia de aprendizaje conjunto progresivo:

• Aprendizaje Conjunto Multitarea: El modelo se entrena con una mezcla de datos de imagen y video. La proporción de datos de imagen-a-video se ajusta progresivamente, comenzando con pares de texto-imagen para establecer conexiones semánticas e introduciendo gradualmente los datos de video.
• Aumento de Datos: Para maximizar la utilidad de los datos disponibles, el marco genera muestras de entrenamiento diversas a partir de videos existentes. Por ejemplo, las tareas de inpainting de video se crean aplicando máscaras aleatorias, y las tareas de colorización de video se generan convirtiendo videos a escala de grises. Esto permite que el modelo aprenda tareas de manipulación sin requerir conjuntos de datos dedicados y separados para cada una.
• Progresión de Resolución: El entrenamiento comienza en resoluciones bajas (por ejemplo, 49×128×224) y progresa hacia resoluciones más altas (hasta 97×720×1280), concluyendo con una etapa de multiresolución usando NaViT para soportar relaciones de aspecto arbitrarias.

Contribuciones Clave

1. Marco Unificado: MfM es el primer marco que entrena un solo modelo desde cero que maneja eficazmente un amplio espectro de tareas, incluyendo T2V, I2V, extensión de video, inpainting, outpainting, colorización, super-resolución y transferencia de estilo.
2. Utilización Eficiente de Datos: Al aprovechar una estrategia de aprendizaje multitarea y un adaptador unificado, MfM utiliza datos que anteriormente eran inutilizables para el entrenamiento estándar de T2V (por ejemplo, datos de baja resolución o con marcas de agua), reduciendo significamente la dependencia de costosas anotaciones de T2V de alta calidad.
3. Rendimiento con Menos Recursos: El modelo 8B logra un rendimiento competitivo utilizando solo el 10% de los datos de entrenamiento típicamente requeridos por los modelos fundacionales de T2V de código abierto más avanzados.

Resultados Experimentales

Los autores evaluaron MfM en los benchmarks VBench para T2V e I2V, así como en un benchmark MfM personalizado que cubre 16 tareas distintas.

• Text-to-Video (T2V): En el benchmark VBench-T2V, MfM-8B alcanzó el mejor rango promedio (3.04) entre los modelos evaluados, superando a modelos más grandes como Wan2.1 (14B), Hunyuan (13B) y sistemas comerciales como Sora y Gen-3. Demostró un rendimiento superior en apariencia, consistencia general y grado de dinamismo.
• Image-to-Video (I2V): MfM logró el mejor rango promedio (3.33) en VBench-I2V, mostrando un rendimiento equilibrado en consistencia estática y generación dinámica, superando a modelos especializados de I2V.
• Manipulación de Video: En tareas como inpainting de video, outpainting y colorización, MfM demostró mejoras significativas en métricas de referencia (por ejemplo, mejoras de FID del 16.4% al 72.9% sobre las líneas base especializadas) y una coherencia temporal superior.
• Estudio de Ablación: Comparar un modelo T2V entrenado con la estrategia multitarea de MfM frente a uno entrenado sin ella reveló que el enfoque multitarea mejoró significativamente las puntuaciones de dinámica de movimiento (0.819 vs. 0.402), sugiriendo que la exposición a diversas tareas de manipulación mejora la comprensión del modelo sobre la complejidad del movimiento.

Significado

El artículo afirma que MfM representa un cambio hacia modelos fundacionales visuales económicos y unificados. Al unificar el entrenamiento de las tareas de generación y manipulación, MfM demuestra que un solo modelo puede lograr un rendimiento altamente competitivo en diversas tareas visuales requiriendo sustancialmente menos datos y recursos computacionales que los modelos fundacionales especializados o a gran escala actuales. El trabajo sugiere que la transferencia de conocimiento entre tareas de imagen y video, y entre tareas de generación y manipulación, es un camino viable para mejorar la calidad de la generación de video sin los costos prohibitivos asociados con el entrenamiento de modelos fundacionales masivos y específicos desde cero.

Los autores señalan limitaciones, específicamente que la arquitectura actual procesa las condiciones 1D (texto) y 2D/3D (visuales) por separado antes de fusionarlas mediante auto-atención. Sugieren que trabajos futuros podrían explorar modelos de visión-lenguaje para una fusión multimodal explícita y temprana para manejar mejor las condiciones de entrada complejas.