💻 computer science

EditFlow3D: Automated Local Editing of 3D Assets with Trajectory Preservation

O EditFlow3D é um framework livre de treinamento que permite a edição local precisa e automatizada de ativos 3D ao alavancar um fluxo de trabalho impulsionado por VLM para gerar máscaras e orientação visual, enquanto emprega fluxo diferencial guiado por máscara e preservação de trajetória passo a passo para editar regiões alvo sem comprometer a estrutura e a aparência de áreas não alvo.

Autores originais: Rui Nie, Chuang Wang, Haitao Zhou, Jiahe Song, Buyu Li, Sheng Wang, Qian Yu

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rui Nie, Chuang Wang, Haitao Zhou, Jiahe Song, Buyu Li, Sheng Wang, Qian Yu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma escultura de argila mágica que pode remodelar apenas conversando com ela. Este é o sonho por trás dos modelos generativos 3D, um ramo da inteligência artificial que constrói objetos tridimensionais a partir de descrições de texto ou imagens. Pense nesses modelos como escultores digitais incrivelmente habilidosos, mas ligeiramente desajeitados. Eles são ótimos em criar uma estátua inteiramente nova do zero, mas se você pedir para apenas "mudar o chapéu" em uma estátua existente sem estragar o rosto ou os braços, eles costumam ter dificuldades. Eles podem derreter tudo ou acidentalmente pintar o nariz da estátua de azul enquanto tentam consertar o chapéu.

O desafio central aqui é a edição local: fazer mudanças precisas em uma parte específica de um objeto 3D enquanto mantém todo o resto exatamente igual. É como tentar trocar o motor de um carro sem desmontar o carro inteiro ou acidentalmente mudar a cor dos pneus. Para fazer isso bem, um computador precisa de duas coisas: um mapa perfeito de onde mudar as coisas (uma máscara) e uma maneira de fazer a mudança sem que a "magia" da nova instrução vaza acidentalmente para as partes que não deveriam mudar. Até agora, obter esse mapa perfeito automaticamente tem sido difícil, e manter o restante do objeto estável tem sido ainda mais difícil.

Surge o EditFlow3D, um novo método que atua como um escultor digital superpreciso e livre de treinamento. Em vez de precisar reaprender como esculpir toda vez (que é o que o "treinamento" geralmente significa), ele usa um assistente inteligente para entender exatamente o que você quer e onde fazer. O sistema trabalha em duas etapas principais. Primeiro, um "Modelo de Visão-Linguagem" (um tipo de IA que entende tanto imagens quanto palavras) observa seu objeto 3D e sua instrução (como "substitua a capa vermelha por asas de morcego pretas"). Ele escolhe o melhor ângulo para observar o objeto, desenha uma imagem de como o resultado deveria parecer e — crucialmente — desenha um mapa 3D preciso (uma máscara) de exatamente quais pixels pertencem à capa e quais pertencem ao resto da estátua.

Uma vez que o mapa está pronto, a verdadeira magia acontece. O sistema utiliza uma técnica chamada Orientação por Fluxo Diferencial (Differential Flow Guidance). Imagine que o objeto 3D é um rio fluindo em direção a uma forma final. A IA calcula a diferença entre como o rio fluiria se fosse apenas a estátua original versus como ele fluiria se fosse a estátua com as novas asas. Ela então empurra a água apenas na direção das asas, mas apenas dentro da área marcada pela máscara da capa. Isso garante que a mudança aconteça exatamente onde você deseja.

No entanto, há uma pegadinha: mesmo que você empurre a água apenas na área da capa, as ondulações às vezes podem se espalhar e sacudir o resto da estátua. Para impedir isso, os autores introduziram a Orientação de Preservação de Trajetória (Trajectory Preservation Guidance). Pense nisso como uma mão invisível e gentil que mantém o resto da estátua firme. Enquanto a IA constrói as novas asas passo a passo, essa "mão" verifica constantemente as partes da estátua que não deveriam mudar (como o rosto ou as pernas) e as empurra suavemente de volta à sua forma original se elas começarem a derivar. Ao contrário de métodos antigos que poderiam apenas congelar essas partes no lugar (o que pode causar bordas irregulares e quebradas), este método as guia suavemente, mantendo a transição fluida e o objeto inteiro com um aspecto natural.

Os pesquisadores testaram este novo método em uma grande variedade de tarefas, desde adicionar fumaça à chaminé de um trem até substituir um frango por um panda. Eles compararam o EditFlow3D com outros métodos de ponta e descobriram que o EditFlow3D era muito melhor em atingir a área alvo sem arruinar o resto do modelo. De fato, em um estudo com usuários envolvendo 40 pessoas, quase metade dos participantes preferiu os resultados do EditFlow3D em relação a todos os outros métodos, elogiando sua capacidade de seguir instruções com precisão enquanto mantém a aparência original do objeto intacta. O artigo sugere que, ao combinar um inteligente "criador de mapas" com uma "mão firme" que guia as mudanças, podemos finalmente editar objetos 3D com a precisão de um cirurgião e a facilidade de uma conversa.

Resumo Técnico: EditFlow3D

Declaração do Problema

A edição local controlável de ativos 3D requer localização precisa do alvo e orientação visual apropriada. Os métodos existentes enfrentam dois desafios primários:

Aquisição de Máscara: Há uma falta de um método simples, porém preciso, para obter máscaras 3D para regiões específicas.
Preservação de Região: As abordagens atuais lutam para alcançar edições desejadas enquanto preservam fielmente a estrutura e a aparência de regiões não-alvo. Os métodos frequentemente sofrem com degradação indesejada, inconsistências entre vistas ou artefatos de fronteira ao modificar partes específicas de um ativo.

Embora avanços recentes em modelos generativos 3D permitam a criação de ativos a partir de texto ou imagens, modificar ativos existentes (por exemplo, substituir componentes ou remover geometria) exige o equilíbrio entre a modificação do alvo e a preservação da origem. Máscaras espaciais sozinhas não podem impedir que o condicionamento do alvo afete regiões não-alvo, e a substituição direta de características pode interromper a consistência entre regiões.

Metodologia

O EditFlow3D é um framework livre de treinamento (training-free) projetado para a edição local precisa de ativos 3D. Ele opera no espaço de representação nativa de um modelo generativo 3D pré-treinado (especificamente a família TRELLIS) e consiste em duas etapas principais:

1. Construção de Controle de Edição Automatizada Impulsionada por VLM

Esta etapa converte entradas flexíveis do usuário (instruções de texto, imagens de referência opcionais e ativos 3D de origem) em controles visuais e espaciais precisos.

Seleção de Vista e Geração de Orientação: Um Modelo de Linguagem-Visão (VLM) analisa renderizações multi-vistas do ativo de origem para selecionar a vista ideal ( $I_{src}$ ) que expõe a região alvo. O VLM então direciona um modelo de edição de imagem para gerar uma imagem de orientação visual ( $I_{edit}$ ) que retrata a modificação desejada.
Construção de Máscara 3D:
- Decomposição Inicial: O P3-SAM é usado para decompor o ativo de origem em partes no espaço 3D nativo.
- Refinamento: Para abordar o vazamento de região nas junções de partes, o sistema utiliza partições hierárquicas do PartField e partições de multi-granularidade do S2AM3D. Ele mapeia essas saídas para pontos de superfície e seleciona partes candidatas com base na "pureza de sobreposição" contra a máscara inicial.
- Fusão: Os candidatos são filtrados e fundidos com base na conectividade geométrica e consistência de normal de superfície para produzir uma máscara de superfície refinada ( $M_{ref}$ ).
- Mapeamento Final: $M_{ref}$ é mapeado para as coordenadas esparsas nativas do modelo generativo para criar a máscara de edição final ( $M_{edit}$ ) e seu complemento ( $M_{keep}$ ).

2. Edição de Fluxo 3D Local

Esta etapa realiza a edição usando uma estratégia de orientação de duas frentes dentro do fluxo do modelo generativo:

Orientação de Fluxo Diferencial (DFG):
- Opera durante a geração de voxels esparsos.
- Calcula a direção da edição comparando os campos de velocidade previstos sob a condição visual de origem ( $c_{src}$ ) e a condição visual de alvo ( $c_{edit}$ ).
- A diferença ( $\Delta v_t$ ) serve como o vetor de edição.
- A máscara 3D ( $S_{edit}$ ) restringe espacialmente esta atualização, limitando as mudanças de fluxo estritamente à região alvo: $z_{edit} \leftarrow z_{edit} + \gamma \Delta t S_{edit} \odot \Delta v_t$ .
Orientação de Preservação de Trajetória (TPG):
- Opera durante a geração subsequente de características (geometria e textura).
- Aborda o problema onde o condicionamento visual global causa o desvio das características não-alvo do estado de origem.
- Em vez de substituir duramente as características intermediárias (o que causa artefatos), a TPG impõe uma restrição suave. Ela calcula uma perda de preservação ( $L_{pres}$ ) comparando o estado limpo previsto na região não-alvo ( $S_{keep}$ ) contra o estado codificado de origem ( $x_{src}$ ).
- O estado editável é suavemente corrigido via o gradiente desta perda: $z_{edit} \leftarrow z_{edit} - \lambda (\nabla_{z_{edit}} L_{pres})$ . Isso mantém a coerência de fronteira e reduz a degradação indesejada sem interromper a trajetória de geração.

Principais Contribuições

Framework EditFlow3D: Um framework livre de treinamento e livre de inversão que converte automaticamente entradas do usuário em controles visuais e espaciais precisos para edição 3D local.
Novo Algoritmo de Edição: Um algoritmo de edição de fluxo 3D local combinando Orientação de Fluxo Diferencial Mascarada (para modificação direcionada) e Preservação de Trajetória Passo-a-Passo (para consistência de não-alvo). Esta abordagem restringe as atualizações de fluxo à região alvo enquanto suprime o desvio nas regiões não-alvo sem a substituição dura de características.
EditFlow-Bench: Um novo benchmark composto por 100 ativos de origem e 200 casos de edição através de cinco tipos (adição, deleção, substituição, modificação de geometria, modificação de aparência). Isso complementa o Edit3D-Bench existente ao cobrir uma variedade mais ampla de mudanças estruturais e de textura.

Resultados

O framework foi avaliado tanto no EditFlow-Bench quanto no Edit3D-Bench público usando os backbones TRELLIS e TRELLIS.2.

Desempenho Quantitativo: O EditFlow3D alcançou os melhores resultados gerais em todas as métricas (Similaridade, CD, PSNR, SSIM, LPIPS, DINO-I, FID) em ambos os benchmarks. Demonstrou um alinhamento superior da região-alvo em comparação com baselines como Nano3D, PartFlow, VoxHammer e Vinedresser3D, superando-os significativamente na preservação das regiões não-alvo.
Comparação Qualitativa: Os resultados visuais mostraram que, enquanto os baselines frequentemente introduziam escurecimento global, modificações incompletas ou descontinuidades de fronteira, o EditFlow3D localizou com sucesso as mudanças enquanto preservava a geometria e a aparência das regiões não editadas.
Estudos de Ablação:
- Remover a DFG reduziu significativamente a precisão da edição (Sim. caiu de 0.318 para 0.287).
- Remover a TPG manteve a precisão da edição, mas degradou severamente as métricas de preservação (PSNR, SSIM, LPIPS, FID), confirmando seu papel na prevenção do desvio de não-alvo.
- A seleção de vista adaptativa e o refinamento de máscara mostraram-se críticos tanto para a precisão quanto para a preservação.
Estudo de Usuário: Em um estudo com 40 participantes, o EditFlow3D foi preferido em relação a todos os baselines em 43% dos casos para alinhamento de instrução, 57% para qualidade visual e 49% para preservação da origem.

Significância

O artigo afirma que o EditFlow3D aborda o trade-off crítico entre modificação de alvo e preservação de origem. Ao introduzir a Orientação de Preservação de Trajetória, o método resolve o problema da degradação de regiões não-alvo que persiste mesmo quando máscaras espaciais são usadas, pois o condicionamento do alvo ainda pode influenciar o processo de geração globalmente. O framework demonstra que uma edição local precisa pode ser alcançada sem treinar novos modelos ou inverter ativos de origem, baseando-se, em vez disso, no espaço de representação nativa de modelos generativos pré-treinados acoplado à construção de controle automatizada impulsionada por VLM. A introdução do EditFlow-Bench fornece um padrão necessário para avaliar diversas edições estruturais e de textura, preenchendo uma lacuna nos protocolos de avaliação existentes.