Resumen Técnico: MeshFIM

Enunciado del Problema

Los modelos autoregresivos (AR) han demostrado la capacidad de generar mallas de polígonos bajos de alta calidad, de nivel artístico, a partir de nubes de puntos. Sin embargo, los generadores AR existentes operan de una manera "todo o nada": para modificar una sola región local, toda la malla debe regenerarse desde cero. Este enfoque es computacionalmente derrochador y altera la topología satisfactoria en las áreas no afectadas. Además, las técnicas clásicas de edición local (por ejemplo, relleno de agujeros, subdivisión) a menudo fallan en preservar la coherencia topológica o la intención de diseño en entornos de polígonos bajos, donde la estructura de la malla codifica información semántica específica en lugar de simplemente una discretización de la superficie.

El desafío central en la adaptación de modelos AR para la edición local radica en las únicas restricciones geométricas y topológicas de las mallas 3D:

1. Ordenación de Serialización: Las mallas son complejos 2D incrustados en el espacio 3D. Al serializarse en una secuencia plana de tokens para la generación AR, los vecindarios contiguos espacialmente pierden su orden local, lo que dificulta que los modelos preserven el flujo de bordes y las transiciones de densidad.
2. Adhesión Exacta de Límites: Los parches generados deben reutilizar exactamente los vértices de límite expuestos. Incluso las discrepancias de coordenadas por debajo de la cuantización resultan en grietas visibles o uniones en T.
3. Desbordamiento de Generación: Sin restricciones estrictas, las caras generadas pueden derramarse más allá de la región objetivo prevista.
4. Brecha entre Entrenamiento e Inferencia: Los contextos de entrenamiento se extraen de mallas limpias de verdad fundamental, mientras que los contextos de inferencia pueden contener artefactos de pasos anteriores o selecciones del usuario, lo que conduce a problemas de robustez.

Metodología: MeshFIM

Los autores presentan MeshFIM, un marco de Relleno en el Medio (FIM) adaptado de modelos de finalización de código para la generación autoregresiva de mallas. MeshFIM trata la edición local de mallas como una tarea de relleno condicional, donde una región objetivo $B$ se regenera basándose en un contexto circundante $A\setminus B$ y una geometría de referencia $P$.

El marco emplea cinco decisiones de diseño complementarias para abordar los desafíos específicos de la edición de mallas:

1. Marcadores de Vértices de Límite

Para imponer una adhesión exacta, el modelo marca explícitamente los tokens de contexto que corresponden a los vértices en el límite expuesto ($V_\partial$). Estas incrustaciones se modifican añadiendo un vector marcador aprendido ($m_{bdry}$). Esto proporciona una pista explícita al decodificador sobre qué vértices de contexto deben reutilizarse como anclajes de costura, asegurando una conectividad perfecta.

2. Ancho de Contexto Expandido

Para prevenir el desbordamiento de la generación (caras que se derraman más allá de la región objetivo), la ventana de contexto se expande. En lugar de un vecindario mínimo, el modelo utiliza un contexto más amplio (por ejemplo, tres anillos de búsqueda en amplitud). Esto expone más geometría circundante, proporcionando evidencia suficiente para que el modelo infiera la curvatura local y el flujo de bordes, manteniendo así la generación localizada.

3. Incrustaciones Posicionales de Contexto

Dado que la serialización aplanada la malla, el modelo corre el riesgo de tratar el contexto como un bolso desordenado de vértices. Para restaurar la estructura topológica local, se añaden incrustaciones posicionales aprendidas a la secuencia de contexto serializada. Esto ayuda al modelo a preservar patrones circundantes como el flujo de bordes y la densidad de caras.

4. Codificador de Geometría de Polígonos Bajos con Sustracción Puenteada

Los condicionadores estándar de nubes de puntos codifican la superficie de referencia pero carecen de conocimiento sobre lo que la malla de polígonos bajos existente ya cubre. MeshFIM introduce un mecanismo para cerrar esta brecha:

• Un codificador Perceiver-IO compartido codifica tanto la nube de puntos de referencia ($P_{gt}$) como la malla de polígonos bajos existente ($P_{lp}$, con la región objetivo eliminada) utilizando el mismo conjunto de posiciones de consulta.
• Una red de puerta ligera produce un vector $g$ basado en la diferencia entre los latentes alineados ($z_{gt}$ y $z_{lp}$).
• La señal de condicionamiento final es una atenuación del latente de referencia: $\hat{z} = (1 - g) \cdot z_{gt}$.
• Mecanismo: Donde la malla existente ya cubre bien la superficie de referencia, la puerta suprime la señal de referencia. Donde falta la malla (el agujero), la puerta permite que pase el latente de referencia completo, dirigiendo la generación específicamente hacia la región faltante.

5. Aumento de Contexto

Para cerrar la brecha entre entrenamiento e inferencia, el proceso de entrenamiento incluye aumento de contexto. Las coordenadas de los vértices de contexto se perturban con desplazamientos aleatorios, y los vértices de límite se perturban de manera similar. Esto expone al modelo a contextos ruidosos e incompletos durante el entrenamiento, mejorando la robustez durante la inferencia.

Contribuciones Clave

• Primer Editor Local de Mallas de Polígonos Bajos: MeshFIM es el primer marco que permite la edición local precisa de mallas de polígonos bajos utilizando generación autoregresiva, evitando la necesidad de una regeneración completa.
• Adaptación de FIM para 3D: Adapta con éxito el paradigma de Relleno en el Medio a mallas 3D, abordando restricciones geométricas y topológicas no triviales únicas de los datos 3D.
• Componentes Arquitectónicos Novedosos: El artículo introduce mecanismos específicos (marcadores de límite, sustracción puenteada, aumento de contexto) que resuelven colectivamente los problemas de coincidencia de límites, desbordamiento y coherencia topológica.
• Doble Aplicación: El marco admite tanto la edición interactiva basada en pincel como una tubería automática de reparación de defectos.

Resultados Experimentales

Los autores evaluaron MeshFIM frente a una serie de líneas base, incluido el relleno de agujeros clásico, la subdivisión neuronal y la generación de mallas completas con esquemas de reintegración.

• Rendimiento Cuantitativo: MeshFIM supera significativamente a las líneas base en corrección de límites (Ratio Promedio de Coincidencia de Vértices del 99,75% frente a <34% para otros) y calidad geométrica (Tasa Positiva de Distancia de Chamfer del 95,54%). También demuestra una superioridad local, con un impacto mínimo en la geometría circundante.
• Estudios de Ablación: Ablaciones detalladas confirman la necesidad de cada componente. Los marcadores de vértices de límite proporcionaron la mayor ganancia individual en el ratio de coincidencia perfecta. La expansión del ancho de contexto redujo drásticamente las tasas de desbordamiento. El codificador de geometría de polígonos bajos suprimió aún más el desbordamiento y mejoró la calidad de la generación.
• Aplicaciones:
  • Edición Interactiva: Una interfaz basada en la web permite a los usuarios pintar regiones objetivo, que luego se regeneran de manera perfecta.
  • Reparación Automática: Una tubería que utiliza heurísticas gráficas detecta defectos (por ejemplo, caras faltantes, normales invertidas) y los repara iterativamente utilizando MeshFIM, logrando una tasa de reparación del 88,9% en mallas dañadas después de cuatro rondas.

Significado y Afirmaciones

El artículo afirma que MeshFIM representa un paso significativo hacia adelante en los flujos de trabajo prácticos de modelado 3D. Al permitir ediciones locales sin destruir la topología existente, se alinea con la naturaleza iterativa del modelado profesional. Los autores enfatizan que su método es el primero en combinar la generación de topología de alta calidad de los modelos AR con la precisión requerida para la edición local, cerrando efectivamente la brecha entre la IA generativa y la manipulación práctica de mallas. El trabajo sugiere que la creación futura de activos 3D puede alejarse de los enfoques de "regenerar todo" hacia un refinamiento dirigido y consciente del contexto.