💻 computer science

Many-for-Many: Unify the Training of Multiple Video and Image Generation and Manipulation Tasks

Este artigo introduz o "Many-for-Many", um framework unificado que utiliza adaptadores leves e uma estratégia de aprendizado conjunto de imagem-vídeo para treinar um único modelo de fundação capaz de realizar mais de dez tarefas diversas de geração e manipulação visual, alcançando um desempenho competitivo ao mesmo tempo em que aproveita dados de múltiplas fontes para superar o alto custo do treinamento específico para cada tarefa.

Autores originais: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Publicado 2026-02-06

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ruibin Li, Tao Yang, Yangming Shi, Weiguo Feng, Shilei Wen, Bingyue Peng, Lei Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de instruções para criar arte. Algumas instruções dizem: "Desenhe um gato", outras dizem: "Transforme esta foto de um gato em um vídeo", e outras dizem "Corrija as partes borradas deste vídeo" ou "Colorize este filme em preto e branco".

Normalmente, para fazer todas essas coisas, você precisa de um especialista diferente para cada trabalho. Você precisa de um "chef de Texto-para-Vídeo", um "chef de Imagem-para-Vídeo" e um "chef de Edição de Vídeo". Treinar cada um desses chefs do zero é incrivelmente caro e exige enormes quantidades de ingredientes de alta qualidade (dados).

Apresentando o "Many-for-Many" (MfM).

Os autores deste artigo construíram um "Super-Chef" que pode realizar todos esses trabalhos de uma só vez. Em vez de contratar dez especialistas diferentes, eles treinaram um único modelo que pode lidar com mais de 10 tipos diferentes de tarefas visuais, desde a criação de vídeos do zero até a edição de vídeos existentes.

Aqui está como eles fizeram isso, usando analogias simples:

1. O Adaptador Universal (O "Cabo de Canivete Suíço")

Diferentes tarefas exigem diferentes "entradas".

Texto-para-Vídeo: Você fornece uma frase.
Imagem-para-Vídeo: Você fornece uma imagem.
Edição de Vídeo: Você fornece um vídeo com uma "máscara" (um estêncil mostrando quais partes mudar).

Normalmente, essas entradas são como peças de quebra-cabeça de formatos diferentes que não se encaixam no mesmo buraco. A equipe do MfM projetou um adaptador leve. Pense nisso como um cabo universal ou um acessório de canivete suíço. Ele pega o texto, a imagem, o vídeo, a máscara e até um mapa de profundidade (um blueprint do espaço 3D, como um mapa topográfico da cena) e os remodela todos para o mesmo formato. Isso permite que o modelo entenda qualquer instrução, não importa a forma como ela venha.

2. A Estratégia de "Aprendizado Conjunto" (O "Método do Aprendiz")

Treinar uma IA de vídeo do zero é geralmente como tentar ensinar alguém a correr uma maratona antes que consiga andar. Isso requer milhões de exemplos de vídeo caros.

O MfM usa um truque de treinamento inteligente chamado Aprendizado Conjunto de Imagem-Vídeo.

Fase 1: Eles começam ensinando o modelo com tarefas simples de "Imagem" (como desenhar uma figura a partir de texto). Isso é barato e fácil.
Fase 2: Eles introduzem lentamente as tarefas de "Vídeo".
A Magia: Como o modelo aprendeu o básico de "visuais" através das imagens, ele não precisa de tantos exemplos de vídeo caros para aprender como fazer as coisas se moverem. É como um aprendiz que aprende a cortar vegetais (imagens) primeiro; quando passa para o cozimento de um ensopado (vídeo), ele já sabe como manipular os ingredientes.

Isso significa que eles puderam treinar um modelo poderoso de 8 bilhões de parâmetros usando apenas 10% dos dados de vídeo que outros modelos de topo utilizam.

3. O "3D RoPE" (O GPS para Tempo e Espaço)

Para fazer os vídeos parecerem naturais, o modelo precisa entender não apenas onde as coisas estão (esquerda, direita, cima, baixo), mas também quando elas acontecem (primeiro quadro, último quadro).
A equipe atualizou o "GPS" interno do modelo (chamado 3D RoPE). Em vez de apenas conhecer a posição de um pixel em uma tela plana, o modelo agora entende a posição no espaço 3D e através do tempo. Isso ajuda o modelo a criar movimentos suaves e realistas, em vez de movimentos bruscos e não naturais.

4. Os Resultados: Um Modelo, Muitos Superpoderes

O artigo testou este "Super-Chef" em dois tamanhos: uma versão menor de 2 bilhões e uma maior de 8 bilhões.

Versatilidade: O modelo pode realizar mais de 10 tarefas diferentes, incluindo:
- Criação: Transformar texto em vídeo, ou imagens em vídeo.
- Extensão: Pegar um clipe curto e torná-lo mais longo.
- Edição: Remover objetos (inpainting), adicionar novos cenários (outpainting) ou mudar cores.
- Melhoria: Tornar vídeos borrados nítidos (super-resolução).
Desempenho: Em testes diretos contra modelos famosos (como Wan2.1, Hunyuan e até gigantes comerciais como o Sora), o modelo MfM foi altamente competitivo. Ele frequentemente ocupou o 1º ou 2º lugar em consistência geral e qualidade de movimento, apesar de usar muito menos dados.

A Conclusão

O artigo afirma que, ao unificar o processo de treinamento e usar um "adaptador" inteligente para misturar diferentes tipos de dados, eles criaram um modelo único e eficiente que é tão bom (e às vezes melhor) do que modelos especializados que foram treinados para apenas um trabalho específico. Eles provaram que você não precisa de uma ferramenta separada para cada tarefa se construir uma ferramenta versátil que aprende com uma ampla variedade de experiências.

O que o artigo não afirma:
O artigo foca estritamente no treinamento técnico e no desempenho do modelo em benchmarks padrão. Não afirma ter resolvido questões clínicas específicas, nem detalha produtos comerciais futuros além do lançamento de código aberto dos pesos do modelo. É um passo de pesquisa fundamental, não um aplicativo de consumo finalizado.

Resumo Técnico: Many-for-Many (MfM)

Declaração do Problema

A pesquisa atual em geração e manipulação visual é fragmentada. Embora os modelos de difusão tenham alcançado resultados impressionantes, a maioria das abordagens existentes foca no treinamento de modelos separados para tarefas específicas (por exemplo, Text-to-Video ou Image-to-Video) ou no ajuste fino (fine-tuning) de um modelo de fundação Text-to-Video (T2V) pré-treinado para tarefas de jusante, como manipulação de vídeo. Esse paradigma apresenta dois desafios primários:

Alto Custo de Treinamento de Fundação: Treinar um modelo de fundação T2V robusto do zero requer quantidades massivas de dados de alta qualidade e anotados, o que é proibitivamente caro.
Fragmentação de Tarefas: Os modelos existentes são frequentemente limitados a uma ou poucas tarefas. Para realizar múltiplas tarefas de geração ou manipulação (por exemplo, inpainting, super-resolução, colorização), são tipicamente necessários modelos distintos ou pipelines de ajuste fino complexos, levando à ineficiência e ao desempenho inconsistente.

Metodologia

Os autores propõem o Many-for-Many (MfM), um framework unificado projetado para treinar um único modelo do zero capaz de realizar mais de 10 tarefas diferentes de geração e manipulação visual. A metodologia central envolve três componentes principais:

1. Arquitetura Unificada e Adaptador

O modelo MfM é construído sobre um Diffusion Transformer (DiT) com atenção 3D total, treinado usando Flow Matching. Para lidar com as diversas condições de entrada entre as tarefas (variando de prompts de texto 0D a máscaras de vídeo 3D e mapas de profundidade), os autores introduzem um adaptador leve:

Unificação de Condição: Em vez de processar dados de pixels, máscaras e mapas de profundidade separadamente, o adaptador concatena essas entradas 3D em um mapa de características unificado.
Alinhamento de Resolução: O adaptador utiliza camadas convolucionais e blocos de subamostragem para ajustar a resolução espacial e temporal das condições de entrada para corresponder ao espaço latente do VAE de vídeo (por exemplo, convertendo $T \times H \times W \times C$ para $t \times h \times w \times c$ ).
Identificação de Tarefa: Nomes de tarefas (por exemplo, "text-to-video", "image-to-video") são anexados aos prompts de texto para esclarecer a operação específica, especialmente quando as tarefas compartilham entradas comuns como máscaras.
Integração de Profundidade: Mapos de profundidade são introduzidos como uma condição de entrada para melhorar a percepção do modelo sobre o espaço 3D.

2. Variantes do Modelo

Duas versões do modelo são treinadas para acomodar diferentes necessidades computacionais:

MfM-2B: 2 bilhões de parâmetros, 28 camadas, 28 cabeças de atenção.
MfM-8B: 8 bilhões de parâmetros, 40 camadas, 48 cabeças de atenção.
Ambos utilizam Embeddings de Posição Rotativos 3D (3D RoPE) para lidar com variações de resolução e comprimento, e Normalização de Query-Key (QK-Norm) para garantir a estabilidade do treinamento.

3. Estratégia de Treinamento

O processo de treinamento emprega uma estratégia de aprendizado conjunto progressivo:

Aprendizado Conjunto Multitarefa: O modelo é treinado em uma mistura de dados de imagem e vídeo. A proporção de dados de imagem-para-vídeo é ajustada progressivamente, começando com pares texto-imagem para estabelecer conexões semânticas e introduzindo gradualmente dados de vídeo.
Aumento de Dados: Para maximizar a utilidade dos dados disponíveis, o framework gera amostras de treinamento diversas a partir de vídeos existentes. Por exemplo, tarefas de inpainting de vídeo são criadas aplicando máscaras aleatórias, e tarefas de colorização de vídeo são geradas convertendo vídeos para tons de cinza. Isso permite que o modelo aprenda tarefas de manipulação sem exigir conjuntos de dados dedicados e separados para cada uma.
Progressão de Resolução: O treinamento começa em baixas resoluções (ex: 49×128×224) e progride para resoluções mais altas (até 97×720×1280), concluindo com um estágio de múltiplas resoluções usando NaViT para suportar proporções de aspecto arbitrárias.

Principais Contribuições

Framework Unificado: O MfM é o primeiro framework que treina um único modelo do zero que lida efetivamente com um amplo espectro de tarefas, incluindo T2V, I2V, extensão de vídeo, inpainting, outpainting, colorização, super-resolução e transferência de estilo.
Utilização Eficiente de Dados: Ao alavancar uma estratégia de aprendizado multitarefa e um adaptador unificado, o MfM utiliza dados que anteriormente eram inutilizáveis para o treinamento padrão de T2V (ex: dados de baixa resolução ou com marca d'água), reduzindo significativamente a dependência de anotações de alta qualidade para T2V.
Desempenho com Menos Recursos: O modelo 8B alcança um desempenho competitivo usando apenas 10% dos dados de treinamento tipicamente exigidos por modelos de fundação T2V de código aberto de última geração.

Resultados Experimentais

Os autores avaliaram o MfM nos benchmarks VBench para T2V e I2V, bem como em um benchmark-MfM customizado cobrindo 16 tarefas distintas.

Text-to-Video (T2V): No benchmark VBench-T2V, o MfM-8B alcançou o melhor ranking médio (3.04) entre os modelos avaliados, superando modelos maiores como Wan2.1 (14B), Hunyuan (13B) e sistemas comerciais como Sora e Gen-3. Demonstrou desempenho superior em aparência, consistência geral e grau de dinamismo.
Image-to-Video (I2V): O MfM alcançou o melhor ranking médio (3.33) no VBench-I2V, mostrando um desempenho equilibrado entre consistência estática e geração dinâmica, superando modelos especializados de I2V.
Manipulação de Vídeo: Em tarefas como inpainting de vídeo, outpainting e colorização, o MfM demonstrou melhorias significativas em métricas de referência (por exemplo, melhorias de FID de 16,4% a 72,9% sobre baselines especializados) e coerência temporal superior.
Estudo de Ablação: Comparar um modelo T2V treinado com a estratégia multitarefa do MfM versus um treinado sem ela revelou que a abordagem multitarefa melhorou significativamente as pontuações de dinâmica de movimento (0.819 vs. 0.402), sugerindo que a exposição a diversas tarefas de manipulação aumenta a compreensão do modelo sobre a complexidade do movimento.

Significância

O artigo afirma que o MfM representa uma mudança em direção a modelos de fundação visuais econômicos e unificados. Ao unificar o treinamento de tarefas de geração e manipulação, o MfM demonstra que um único modelo pode alcançar um desempenho altamente competitivo em diversas tarefas visuais enquanto requer substancialmente menos dados e recursos computacionais do que os atuais modelos de fundação especializados ou de grande escala. O trabalho sugere que a transferência de conhecimento entre tarefas de imagem e vídeo, e entre tarefas de geração e manipulação, é um caminho viável para melhorar a qualidade da geração de vídeo sem os custos proibitivos associados ao treinamento de modelos de fundação massivos e específicos para tarefas do zero.

Os autores observam limitações, especificamente que a arquitetura atual processa condições 1D (texto) e 2D/3D (visuais) separadamente antes de fundi-las via autoatenção. Eles sugerem que trabalhos futuros poderiam explorar modelos de visão-linguagem para uma fusão multimodal precoce e explícita para lidar melhor com condições de entrada complexas.