Look Both Ways Before You Cross: Lifting Cross Fields From 2D Visual Priors

Resumo Técnico: Olhe para Ambos os Lados Antes de Cruzar: Elevando Campos Cruzados a partir de Priors Visuais 2D

Declaração do Problema
Malhas de quadriláteros (quads) são a representação padrão para modelagem 3D devido à sua adequação para animação, parametrização e edição. Um requisito crítico para malhas de quads de alta qualidade é o alinhamento de características: a capacidade de alinhar as arestas dos quads tanto com pistas geométricas locais (por exemplo, dobras agudas, curvatura) quanto com características semânticas globais (por exemplo, o eixo de um membro, a simetria de um rosto). Os métodos automatizados existentes geralmente dependem de quantidades geométricas, como direções de curvatura principal, para guiar o alinhamento. No entanto, esses sinais geométricos são frequentemente locais e falham em capturar a compreensão semântica global ou em lidar com formas onde a geometria é ambígua (por exemplo, superfícies planas com eixos semânticos). Além disso, o alinhamento manual exige expertise significativa e é demorado. Embora existam métodos baseados em dados, muitos são limitados pela escassez de dados de treinamento 3D ou dependem de modelos treinados em proxies geométricos em vez de layouts semânticos criados por artistas.

Metodologia: CrossLift
Os autores apresentam o CrossLift, uma técnica que gera campos cruzados alinhados a características em malhas 3D, aproveitando priors visuais 2D derivados de modelos generativos de texto para imagem. O método opera em três etapas principais:

1. Geração de Prior 2D e Extração de Gradientes:

   • A malha de triângulos de entrada é renderizada a partir de seis visões canônicas (frente, trás, esquerda, direita, topo, fundo) para gerar mapas de profundidade.
   • Esses mapas de profundidade, combinados com um prompt de texto descrevendo uma textura de malha de quads, condicionam um modelo de texto para imagem (especificamente Flux nos experimentos) para sintetizar imagens multivista que representam uma malha de quads em wireframe alinhada com as características do objeto.
   • A partir dessas imagens geradas, o sistema extrai direções de alinhamento por pixel. Isso envolve o cálculo de gradientes de imagem usando um kernel Scharr, filtrando gradientes de alta magnitude correspondentes a linhas de grade e aplicando um filtro de coerência para remover artefatos nas interseções da grade.

2. Reprojeção 3D e Interpolação em Duas Etapas:

   • Os vetores de gradiente 2D extraídos são reprojetados no espaço tangente da superfície da malha 3D usando o Jacobiano da câmera e transformações de visão.
   • Para consolidar esses sinais esparsos e potencialmente conflitantes em um campo cruzado suave e unificado, os autores empregam um processo de interpolação em duas etapas:
     • Etapa 1 (Solução por Visão): Para cada visão, os gradientes reprojetados são interpolados em um campo cruzado por face. Esta etapa utiliza um sistema linear restrito que minimiza uma energia de suavidade (pesos harmônicos) e uma energia de alinhamento (correspondendo aos gradientes projetados). Isso garante que cada visão contribua com um sinal denso e consistente, independentemente da densidade original do gradiente na imagem.
     • Etapa 2 (Solução Multivista): Os campos cruzados por visão são consolidados em um único campo cruzado global. Esta solução introduz pesos personalizados baseados em confiança para resolver conflitos entre as visões.
       • Peso de Alinhamento de Visão: Cruzes em faces alinhadas com a direção da visão recebem pesos mais altos, pois a distorção de perspectiva é minimizada.
       • Peso de Coerência: Se múltiplas visões concordarem sobre o alinhamento de uma face, o peso é alto; se as visões conflitarem, o peso é reduzido, permitindo que o termo de suavidade domine e resolva a ambiguidade.
   • O campo final é normalizado para comprimento unitário, resultando em um campo cruzado 4-RoSy (simétrico rotacionalmente de quatro vias).

3. Extração de Malha de Quads:

   • O campo cruzado resultante é integrado para produzir uma parametrização (usando correção de rotação de polivetores e MiQ).
   • Linhas isoladas inteiras dessa parametrização são extraídas para formar a malha de quads final.

Principais Contribuições

• Alinhamento Guiado Visualmente: O artigo introduz uma abordagem inovadora para malhagem de quads que utiliza a forte compreensão semântica e geométrica de modelos generativos 2D pré-treinados, contornando as limitações de abordagens puramente geométricas ou baseadas em dados 3D esparsos.
• Interpolação em Duas Etapas: Os autores propõem um pipeline de interpolação específico que reprojeta gradientes para a superfície antes de resolver, seguido por uma consolidação multivista. Este design previne artefatos de projeção (onde vetores de superfície ortogonais aparecem não ortogonais em 2D) e garante contribuição igual de todas as visões.
• Modularidade: O método é modular, compatível com vários modelos de geração de imagens 2D (demonstrado com Flux, Gemini 3 e ChatGPT 5.2) e pode aceitar sinais 2D alternativos, como linhas grosseiras desenhadas pelo usuário em renderizações 2D.
• Robustez: A abordagem demonstra robustez ao ruído de superfície (por exemplo, rugas em uma toalha de mesa) ao depender de priors semânticos globais em vez de ruído geométrico local, e lida com regiões ocluídas através de interpolação suave.

Resultados e Avaliação
Os autores avaliam o CrossLift em um conjunto diversificado de formas orgânicas e mecânicas, comparando-o com QuadriFlow, QuadWild e NeurCross.

• Resultados Qualitativos: O CrossLift produz malhas de quads que se alinham tanto com características geométricas locais (por exemplo, pinos em um bloco de Lego) quanto com características semânticas globais (por exemplo, a simetria do rosto de um leão ou o fluxo do pelo de um gato). Em contraste, os métodos de base frequentemente produzem fluxos de arestas ondulados (QuadriFlow/QuadWild) ou grades excessivamente rígidas e alinhadas aos eixos que ignoram características semânticas (NeurCross).
• Resultados Quantitativos: No conjunto de dados QuadWild300, o CrossLift alcança um Jacobiano Escalonado (SJ) médio mais alto (0,9797 versus 0,9674 para o QuadriFlow), indicando qualidade superior de quads com menos estiramento e torção. Ele também alcança a menor porcentagem de Vértices Irregulares (IV) (1,4133%), sugerindo um fluxo de aresta mais suave e menos singularidades.
• Aplicações: O artigo demonstra aplicações em malhagem de quads alinhada a texturas (alinhando quads a padrões de textura em vez de geometria) e design interativo usando linhas 2D grosseiras desenhadas pelo usuário como orientação.

Significado e Afirmações
O artigo afirma que o CrossLift aborda o desafio "não trivial" de alinhar quads a direções de características, deslocando o sinal de orientação da geometria local para priors visuais globais. Os autores argumentam que, embora quantidades geométricas sejam bons proxies, elas não podem garantir alinhamento semântico. Ao aproveitar modelos de texto para imagem treinados em bilhões de imagens, o CrossLift captura características semânticas sutis que os métodos existentes ignoram. O trabalho destaca que essa orientação visual permite malhagem robusta em formas com geometria ambígua ou ruído e fornece um caminho para controle intuitivo do usuário sem exigir expertise profunda em modelagem 3D. Os autores observam limitações, especificamente que o método não é garantido para ser equivariante a transformações rígidas da malha de entrada, embora o alinhamento de alto nível permaneça consistente.