💻 computer science

ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference

O ScaleVid introduz uma estrutura de treinamento de dois estágios e livre de malha que alcança o escalonamento de objetos de vídeo consciente da geometria ao desacoplar a deformação 3D do primeiro plano da preservação do plano de fundo usando reconstrução de pseudo-fonte, permitindo assim o redimensionamento anisotrópico realista sem reconstrução 3D explícita na inferência.

Autores originais: Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

Publicado 2026-08-13

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Youze Huang, Penghui Ruan, Bojia Zi, Xianbiao Qi, Shihao Zhao, Rong Xiao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está segurando um controle remoto mágico da realidade. Você aponta para o vídeo de um gato, aperta um botão e, de repente, o gato fica duas vezes mais largo, ou o carro ao fundo encolhe até o tamanho de um brinquedo. Este é o sonho da "edição de vídeo" impulsionada pela inteligência artificial. Por muito tempo, os computadores foram ótimos em mudar a aparência das coisas — tornar uma camisa vermelha ou remover uma pessoa de uma foto. Mas mudar a forma ou o tamanho de um objeto em um vídeo mantendo sua aparência real? Isso é como tentar esticar um elástico sem que ele arrebente ou se transforme em uma massa estranha. O computador precisa entender que, se você esticar um carro lateralmente, as rodas não devem apenas esticar como um chiclete; elas devem parecer que estão realmente ficando mais largas no espaço 3D, e o fundo atrás dele precisa permanecer perfeitamente imóvel. Se o computador errar isso, o vídeo parece um pesadelo de falhas gráficas onde objetos derretem ou flutuam de formas impossíveis.

É aqui que entra uma nova ideia chamada "ScaleVid". Os pesquisadores por trás dela queriam resolver um enigma específico: como redimensionar objetos em um vídeo (torná-los maiores, menores, mais largos ou mais altos) sem a necessidade de construir primeiro um modelo 3D complexo do mundo. Normalmente, para fazer esse tipo de redimensionamento, você precisaria escanear o objeto, construir uma malha 3D (como um esqueleto de arame), esticar esse esqueleto e então pintar o vídeo de volta sobre ele. É lento, caro e exige muito trabalho manual. O ScaleVid sugere uma maneira mais inteligente e rápida. Em vez de construir um modelo 3D, ele utiliza um truque de "treinamento" de duas etapas. Primeiro, ensina o computador a esticar coisas de maneiras 2D simples (como achatar uma foto). Depois, ensina o computador a entender como esses esticamentos parecem quando ocorrem no espaço 3D, usando vídeos "de prática" criados a partir de modelos 3D. Uma vez treinado, o computador pode pegar um vídeo real, esticar o objeto exatamente como você deseja e preencher o fundo perfeitamente, tudo isso sem nunca construir um modelo 3D durante o processo de edição real.

O artigo, intitulado "ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference", apresenta um método que alcança isso dividindo o trabalho em duas etapas distintas. Os autores argumentam que os métodos existentes dependem de comandos de texto (que são frequentemente imprecisos, como dizer ao computador para "torná-lo grande" sem dizer o quanto) ou exigem uma reconstrução 3D pesada (que é lenta demais para uso em tempo real). O ScaleVid propõe uma abordagem "progressiva". Na primeira etapa, o sistema aprende a lidar com mudanças simples e planas (2D), como esticar um retângulo. Isso ensina o computador a manter o fundo estável enquanto o objeto muda. Na segunda etapa, ele aprende a lidar com deformações 3D reais. Aqui, o sistema utiliza um módulo "Deformer" especial que recebe um vídeo e aplica um estiramento 3D específico baseado nas instruções do usuário (como "esticar a largura em 1,5x, a altura em 0,8x"). Crucialmente, o sistema é treinado usando "pseudo-fontes" — vídeos falsos criados ao esticar modelos 3D e depois renderizá-los de volta em formato de vídeo. Isso permite que a IA aprenda as regras da geometria 3D sem precisar de vídeos do mundo real onde o objeto já esteja redimensionado (o que é quase impossível de encontrar).

Os resultados são bastante impressionantes. Ao serem testados em uma variedade de objetos, desde cálices de vidro transparentes até carros complexos, o ScaleVid conseguiu redimensioná-los mantendo a geometria correta. Por exemplo, se você estica a profundidade de um carro, as rodas traseiras tornam-se visíveis de uma forma que faz sentido fisicamente, algo que o simples estiramento 2D não consegue fazer. O artigo mostra que o ScaleVid supera outros métodos em manter a identidade do objeto (ele ainda parece o mesmo carro, apenas maior) e preservar o fundo (sem distorções estranhas no céu ou na estrada). Os autores mediram isso usando diversas métricas, descobrindo que seu método alcançou uma pontuação de precisão de escala de 0,804 (IoU) e um erro de alinhamento geométrico de apenas 0,237 graus para o yaw, significativamente melhor do que concorrentes como "DiffHandles" ou "GeoDiffuser".

No entanto, o artigo é cuidadoso ao notar que isso não é uma varinha mágica que resolve tudo. O sistema ainda possui limitações. Se o objeto for muito simétrico, como uma esfera perfeita ou um cilindro, o computador pode ficar confuso sobre qual direção é "largura" e qual é "profundidade", levando a resultados ambíguos. Além disso, se o objeto encolher significativamente, o sistema tem que "inventar" o fundo que estava anteriormente escondido atrás do objeto, e às vezes pode alucinar detalhes estranhos nessas novas áreas. Os autores sugerem que, embora seu método seja um grande passo à frente, trabalhos futuros poderiam focar em lidar melhor com essas tarefas de "invenção" e tornar o estiramento 3D ainda mais robusto para formas complicadas.

Em essência, o ScaleVid é como um mestre chef que aprende a cozinhar um prato complexo primeiro praticando em uma versão simples e falsa dos ingredientes, e depois aplicando essas habilidades em comida real e fresca. Ao separar a lógica de "esticar" da lógica de "pintar", os pesquisadores criaram um sistema que pode redimensionar objetos em vídeos com um nível de realismo geométrico que antes era inalcançável para métodos rápidos sem malha (mesh-free). Isso sugere que nem sempre precisamos construir um mundo 3D completo para editá-lo; às vezes, ensinar a IA a entender as regras do espaço 3D através de um treinamento inteligente é o suficiente para fazer a mágica acontecer.

Resumo Técnico: ScaleVid

Definição do Problema

O artigo aborda o desafio do redimensionamento de objetos em vídeo com consciência geométrica (geometry-aware video object scaling), uma tarefa que exige o redimensionamento anisotrópico de um objeto alvo ao longo de seus eixos centrados no objeto (largura, altura e profundidade), mantendo a plausibilidade geométrica, a coerência temporal e a consistência do plano de fundo.

As abordagens existentes enfrentam limitações significativas:

Métodos guiados por texto operam primariamente no plano de imagem 2D, carecendo de controle preciso sobre transformações geométricas 3D.
Abordagens guiadas por profundidade oferecem apenas um controle geométrico grosseiro.
Métodos baseados em malhas (mesh) exigem reconstrução 3D custosa, estimativa de câmera e alinhamento explícito entre malha e pixel durante a inferência, o que dificulta a escalabilidade e a aplicação prática.
Escassez de Dados: Há uma falta de vídeos reais pareados para treinamento onde um objeto é redimensionado em 3D enquanto o plano de fundo permanece consistente, tornando o aprendizado supervisionado difícil.

O objetivo é redimensionar um objeto de acordo com fatores 3D especificados pelo usuário ( $s_x, s_y, s_z$ ) sem recorrer à reconstrução 3D explícita ou estimativa de câmera durante a inferência.

Metodologia

O ScaleVid introduz um framework de treinamento progressivo em duas etapas que desacopla a transformação geométrica da síntese de vídeo realista usando uma estratégia de reconstrução de pseudo-fonte. O insight central é construir pseudo-fontes geometricamente perturbadas a partir de vídeos reais, mantendo os vídeos completos originais como alvos de reconstrução. Isso permite que o modelo aprenda o controle geométrico a partir de supervisão sintética e a composição realista a partir de dados de vídeo reais sem o alinhamento explícito entre malha e pixel.

1. Módulos de Orientação com Consciência Geométrica (Deformer & Masker)

Estes módulos são treinados em um conjunto de dados sintético de larga escala construído a partir de malhas 3D (reconstruídas via Hunyuan3D) e renderizadas com redimensionamento anisotrópico controlado.

Alinhamento de Eixos Canônicos: Para garantir a consistência da semântica de redimensionamento entre diferentes objetos, o método alinha os eixos da Caixa de Limite Orientada (OBB) do objeto com o quadro canônico de um renderizador (eixo $y$ vertical, largura $x$ , profundidade $z$ ).
Deformer: Um modelo de fluxo condicional no espaço latente que aprende a transformar o vídeo de primeiro plano com base em parâmetros de redimensionamento anisotrópico contínuos. Ele utiliza um objetivo de treinamento bidirecional (redimensionamento direto e inverso) para garantir a consistência da transformação e reduzir o desvio espacial.
Masker: Prediz o suporte espacial (máscara) temporalmente consistente do primeiro plano transformado. Ele é destilado em um gerador de 3 etapas para eficiência.

2. Treinamento Progressivo do Modelo Principal

O Modelo Principal é treinado em duas etapas para aprender progressivamente de transformações 2D para 3D:

Estágio I (Redimensionamento Planar 2D): O modelo aprende a composição robusta entre primeiro plano e plano de fundo usando transformações planares. As pseudo-fontes são construídas aplicando o redimensionamento 2D ao primeiro plano e mascarando a região correspondente no plano de fundo. Este estágio estabelece um forte prior para completar regiões ausentes e preservar a cena.
Estágio II (Redimensionamento com Consciência 3D): O modelo incorpora a orientação de deformação 3D centrada no objeto. O Deformer gera um primeiro plano geometricamente transformado ( $F_{src}$ ), e o Masker prediz seu suporte. Crucialmente, o Modelo Principal é condicionado a uma orientação alinhada ao alvo ( $F_{tgt}$ ) gerada aplicando o redimensionamento inverso ao $F_{src}$ . Isso cria um sinal de aprendizado não trivial onde o Modelo Principal deve refinar o primeiro plano deformado e compô-lo perfeitamente com o plano de fundo, em vez de simplesmente copiar a entrada.

3. Pipeline de Inferência

Na inferência, o processo é simplificado e livre de malhas (mesh-free):

O usuário seleciona um objeto (via SAM2) e especifica os fatores de redimensionamento $s$ .
O plano de fundo é extraído (usando Minimax Remover).
O Deformer é aplicado uma única vez para gerar o primeiro plano alinhado ao alvo.
O Modelo Principal integra este primeiro plano com o plano de fundo para produzir o vídeo final.
O Masker e a deformação inversa não são necessários na inferência, reduzindo significativamente o custo computacional.

Principais Contribuições

Formulação do Redimensionamento de Objetos em Vídeo: O artigo formula a tarefa usando fatores anisotrópicos centrados no objeto e aprende efeitos geométricos projetados sem reconstrução 3D explícita na inferência.
Estratégia de Treinamento Progressivo de 2D para 3D: Um framework inovador que constrói pseudo-fontes enquanto utiliza vídeos reais originais como alvos. Isso permite aprender composição robusta a partir de transformações planares (Estágio I) e redimensionamento com orientação geométrica a partir de orientação de deformação 3D (Estágio II).
Benchmarks Abrangentes: Os autores estabelecem três benchmarks complementares:
- Benchmark de Geometria: Isola a precisão geométrica e a fidelidade do primeiro plano em planos de fundo uniformes.
- Benchmark de Plano de Fundo Real: Compõe objetos renderizados em planos de fundo do mundo real para testar a preservação do plano de fundo.
- Benchmark de Mundo Real: Avalia o desempenho em vídeos do cotidiano (in-the-wild, Pexels, DAVIS), focando na qualidade perceptual e consistência temporal.

Resultados Experimentais

Experimentos extensivos demonstram que o ScaleVid supera os métodos de estado da arte (incluindo métodos guiados por texto, profundidade e malhas) em múltiplas métricas:

Precisão Geométrica: O ScaleVid alcança precisão de escala e alinhamento geométrico superiores (medidos por IoU de máscara, erro de área e erros de ajuste de pose de câmera) em comparação com métodos que dependem de prompts de texto ou mapas de profundidade.
Fidelidade do Primeiro Plano: O método produz os melhores resultados em erro de nível de pixel (MSE, PSNR) e similaridade perceptual (DINO, DreamSim) tanto nos benchmarks sintéticos quanto nos de plano de fundo real.
Preservação do Plano de Fundo: Mantém uma alta consistência do plano de fundo, superando métodos que apresentam dificuldades com interações objeto-cena ou vazamento de bordas (boundary leakage).
Consistência Temporal: O ScaleVid alcança pontuações Ewarp competitivas, indicando coerência temporal estável sem o cintilação (flickering) observado em métodos baseados em imagem ou texto.
Eficiência: Ao evitar a reconstrução 3D explícita e a renderização de malhas durante a inferência, o ScaleVid oferece uma inferência mais rápida e prática em comparação com pipelines baseados em malhas.

Significância e Alegações

O artigo afirma que o ScaleVid representa um passo significativo à frente no controle de edição de vídeo, ao conseguir desacoplar a transformação geométrica da síntese de vídeo de alta fidelidade. Sua significância reside em:

Eliminação do Gargalo de Inferência: Alcança o redimensionamento com consciência geométrica sem a sobrecarga computacional de reconstrução 3D ou estimativa de câmera durante a fase de geração.
Resolução do Problema de Escassez de Dados: A formulação de reconstrução de pseudo-fonte permite que o modelo aprenda a partir de vídeos reais sem exigir alvos de redimensionamento pareados do mundo real, que de outra forma estariam indisponíveis.
Aplicabilidade Prática: O método é adequado para edição de vídeos curtos, publicidade e aplicações de AR/VR onde o tamanho do objeto afeta a composição e a ênfase visual, oferecendo um equilíbrio entre controle geométrico e aparência realista que os métodos existentes não conseguem alcançar simultaneamente.

Os autores reconhecem limitações, particularmente em relação ao hiato de distribuição entre os dados de treinamento renderizados por malha e os vídeos reais no espaço de pixels, bem como a ambiguidade dos eixos canônicos para objetos simétricos (ex: esferas). No entanto, eles afirmam que o framework proposto fornece uma solução robusta e prática para o redimensionamento de objetos em vídeo com consciência geométrica.