Look Both Ways Before You Cross: Lifting Cross Fields From 2D Visual Priors

Resumen Técnico: Mira Ambos Lados Antes de Cruzar: Levantar Campos Cruzados a partir de Priors Visuales 2D

Enunciado del Problema
Las mallas de cuadriláteros (quads) son la representación estándar para el modelado 3D debido a su idoneidad para la animación, la parametrización y la edición. Un requisito crítico para las mallas de quads de alta calidad es la alineación de características: la capacidad de alinear los bordes de los quads tanto con pistas geométricas locales (por ejemplo, pliegues agudos, curvatura) como con características semánticas globales (por ejemplo, el eje de una extremidad, la simetría de un rostro). Los métodos automatizados existentes dependen típicamente de cantidades geométricas, como las direcciones de curvatura principal, para guiar la alineación. Sin embargo, estas señales geométricas suelen ser locales y no logran capturar una comprensión semántica global ni manejar formas donde la geometría es ambigua (por ejemplo, superficies planas con ejes semánticos). Además, la alineación manual requiere una experiencia significativa y consume mucho tiempo. Aunque existen métodos basados en datos, muchos están limitados por la escasez de datos de entrenamiento 3D o dependen de modelos entrenados en proxies geométricos en lugar de diseños semánticos creados por artistas.

Metodología: CrossLift
Los autores presentan CrossLift, una técnica que genera campos cruzados alineados con características en mallas 3D aprovechando priors visuales 2D derivados de modelos generativos de texto a imagen. El método opera en tres etapas principales:

1. Generación de Prior 2D y Extracción de Gradientes:

   • La malla de triángulos de entrada se renderiza desde seis vistas canónicas (frente, trasera, izquierda, derecha, superior, inferior) para generar mapas de profundidad.
   • Estos mapas de profundidad, combinados con un prompt de texto que describe una textura de malla de quads, condicionan un modelo de texto a imagen (específicamente Flux en los experimentos) para sintetizar imágenes multi-vista que representan una malla de quads tipo alambre alineada con las características del objeto.
   • A partir de estas imágenes generadas, el sistema extrae direcciones de alineación por píxel. Esto implica calcular gradientes de imagen utilizando un kernel Scharr, filtrar aquellos de alta magnitud que corresponden a líneas de cuadrícula y aplicar un filtro de coherencia para eliminar artefactos en las intersecciones de la cuadrícula.

2. Retroproyección 3D e Interpolación en Dos Etapas:

   • Los vectores de gradiente 2D extraídos se retroproyectan sobre el espacio tangente de la superficie de la malla 3D utilizando el Jacobiano de la cámara y las transformaciones de vista.
   • Para consolidar estas señales dispersas y potencialmente conflictivas en un campo cruzado suave y unificado, los autores emplean un proceso de interpolación en dos etapas:
     • Etapa 1 (Resolución por Vista): Para cada vista, los gradientes retroproyectados se interpolan en un campo cruzado por cara. Este paso utiliza un sistema lineal restringido que minimiza una energía de suavidad (pesos armónicos) y una energía de alineación (haciendo coincidir los gradientes proyectados). Esto asegura que cada vista contribuya con una señal densa y consistente, independientemente de la densidad original del gradiente en la imagen.
     • Etapa 2 (Resolución Multi-Vista): Los campos cruzados por vista se consolidan en un único campo cruzado global. Esta resolución introduce pesos personalizados basados en la confianza para resolver conflictos entre vistas.
       • Peso de Alineación de Vista: Las cruces en caras alineadas con la dirección de la vista reciben un peso mayor, ya que la distorsión de perspectiva se minimiza.
       • Peso de Coherencia: Si varias vistas coinciden en la alineación de una cara, el peso es alto; si las vistas entran en conflicto, el peso se reduce, permitiendo que el término de suavidad domine y resuelva la ambigüedad.
   • El campo final se normaliza a longitud unitaria, resultando en un campo cruzado 4-RoSy (simétrico rotacionalmente de cuatro vías).

3. Extracción de Malla de Quads:

   • El campo cruzado resultante se integra para producir una parametrización (utilizando corrección de curl de polivectores y MiQ).
   • Se extraen las líneas de nivel enteras de esta parametrización para formar la malla de quads final.

Contribuciones Clave

• Alineación Guiada Visualmente: El artículo introduce un enfoque novedoso para la malla de quads que utiliza la fuerte comprensión semántica y geométrica de modelos generativos 2D preentrenados, evitando las limitaciones de los enfoques puramente geométricos o basados en datos 3D dispersos.
• Interpolación en Dos Etapas: Los autores proponen una tubería de interpolación específica que retroproyecta gradientes a la superficie antes de resolver, seguida de una consolidación multi-vista. Este diseño previene artefactos de proyección (donde vectores de superficie ortogonales aparecen no ortogonales en 2D) y asegura una contribución igualitaria de todas las vistas.
• Modularidad: El método es modular, compatible con diversos modelos de generación de imágenes 2D (demostrado con Flux, Gemini 3 y ChatGPT 5.2) y puede aceptar señales 2D alternativas, como líneas gruesas dibujadas por el usuario sobre renderizados 2D.
• Robustez: El enfoque demuestra robustez ante el ruido de superficie (por ejemplo, arrugas en un mantel) al depender de priores semánticos globales en lugar de ruido geométrico local, y maneja regiones ocluidas mediante interpolación suave.

Resultados y Evaluación
Los autores evalúan CrossLift en un conjunto diverso de formas orgánicas y mecánicas, comparándolo con QuadriFlow, QuadWild y NeurCross.

• Resultados Cualitativos: CrossLift produce mallas de quads que se alinean tanto con características geométricas locales (por ejemplo, clavijas en un bloque de Lego) como con características semánticas globales (por ejemplo, la simetría del rostro de un león o el flujo del pelaje de un gato). En contraste, los métodos de referencia a menudo producen flujos de bordes ondulados (QuadriFlow/QuadWild) o cuadrículas rígidas y alineadas a los ejes que ignoran las características semánticas (NeurCross).
• Resultados Cuantitativos: En el conjunto de datos QuadWild300, CrossLift logra un Jacobiano Escalado (SJ) medio más alto (0.9797 frente a 0.9674 para QuadriFlow), lo que indica una calidad superior de los quads con menos estiramiento y torsión. También logra el porcentaje más bajo de Vértices Irregulares (IV) (1.4133%), lo que sugiere un flujo de bordes más suave y menos singularidades.
• Aplicaciones: El artículo demuestra aplicaciones en malla de quads alineada a texturas (alinear quads a patrones de textura en lugar de a la geometría) y diseño interactivo utilizando líneas 2D gruesas dibujadas por el usuario como guía.

Significado y Afirmaciones
El artículo afirma que CrossLift aborda el desafío "no trivial" de alinear quads a direcciones de características al desplazar la señal de guía de la geometría local a priores visuales globales. Los autores argumentan que, aunque las cantidades geométricas son buenos proxies, no pueden garantizar la alineación semántica. Al aprovechar modelos de texto a imagen entrenados en miles de millones de imágenes, CrossLift captura características semánticas sutiles que los métodos existentes pasan por alto. El trabajo destaca que esta guía visual permite un malla robusta en formas con geometría ambigua o ruido, y proporciona una vía para un control intuitivo del usuario sin requerir experiencia profunda en modelado 3D. Los autores señalan limitaciones, específicamente que el método no está garantizado para ser equivariante a transformaciones rígidas de la malla de entrada, aunque la alineación de alto nivel permanece consistente.