Resumen Técnico: Segmentación Semántica de Mallas 3D No-Manifold Texturizadas usando Transformers

1. Planteamiento del Problema

La segmentación semántica de mallas 3D texturizadas es una tarea fundamental en dominios como el análisis geoespacial y la preservación del patrimonio cultural. Sin embargo, las mallas 3D presentan una estructura irregular que desafía a los métodos de aprendizaje profundo tradicionales. Los problemas principales identificados son:

• Estructura No-Manifold: Muchas mallas generadas por fotogrametría automática violan las restricciones de "manifold" (donde cada arista conecta exactamente dos caras), lo que limita la aplicabilidad de métodos existentes que asumen topologías regulares.
• Pérdida de Información Textural: Los enfoques actuales que procesan mallas directamente suelen ignorar la rica información de textura o la representan de manera simplista (por ejemplo, usando vectores RGB promedio o estadísticas de color por vértice). Esto resulta en una representación espacialmente dispersa que no captura patrones de alta frecuencia ni detalles finos presentes en el mapa de textura.
• Sobresuavizado (Over-smoothing): Los métodos basados en Transformers recientes que utilizan mecanismos de atención cruzada global tienden a actualizar los tokens de las caras como promedios ponderados de tokens de clusters, lo que puede difuminar los detalles locales finos y degradar la precisión de la clasificación.

2. Metodología Propuesta

Los autores proponen una arquitectura unificada basada en Transformers diseñada para procesar directamente mallas 3D texturizadas y no-manifold. El enfoque se compone de tres componentes clave:

A. Rama de Extracción de Características Dual

En lugar de usar estadísticas precalculadas, el modelo aprende representaciones directamente de los datos crudos:

• Rama Geométrica: Utiliza 16 características hechas a mano (coordenadas normalizadas, vectores normales, área, ángulos) proyectadas a un espacio de características.
• Rama de Textura (Innovación Clave): Extrae todos los píxeles asociados a cada cara de la imagen de textura. Utiliza un sub-transformer (con un token de textura aprendible) para procesar estos píxeles y generar un vector de características de textura denso.
• Fusión: Los vectores geométricos y de textura se concatenan y procesan mediante una MLP para obtener un vector de características único por cara que captura tanto la forma como la apariencia.

B. Bloques de Transformador de Dos Etapas (TSTB)

Para manejar la complejidad computacional de la atención global en mallas con millones de caras, se propone una estrategia jerárquica local-global:

1. Clustering Espacial: Las caras se agrupan en clusters espaciales usando K-means.
2. Bloque Local: La atención auto-atención (self-attention) se restringe a operar dentro de cada cluster. Esto permite la agregación de contexto local y preserva los detalles finos.
3. Bloque Inter-Cluster (Innovación Clave): En lugar de usar atención cruzada directa entre todas las caras (que causa sobresuavizado), se introduce un mecanismo donde solo los tokens de cluster interactúan entre sí mediante atención auto-atención.
   • Los tokens de cluster enriquecidos con contexto global se propagan de vuelta a las caras de sus respectivos clusters en la siguiente etapa.
   • Esto facilita un flujo de información bidireccional eficiente (local $\leftrightarrow$ global) sin perder la discriminatividad de las características locales.

C. Clasificación

La salida final de la red se utiliza para predecir las puntuaciones de clase para cada cara de la malla mediante una capa de clasificación (softmax).

3. Contribuciones Clave

1. Arquitectura Unificada con Textura Cruda: Se introduce el primer marco de aprendizaje profundo que integra directamente la información de textura a nivel de píxel (no solo estadísticas) junto con características geométricas para la segmentación de mallas no-manifold.
2. Mecanismo de Atención Jerárquica Mejorada: Se propone un mecanismo de atención que evita el sobresuavizado al restringir la interacción global a los tokens de cluster, preservando así los detalles geométricos finos mientras se captura el contexto de largo alcance.
3. Nuevos Datos y Evaluación: Se presenta un nuevo conjunto de datos de patrimonio cultural (CH) con anotaciones a nivel de triángulo para la detección de daños (colonización biológica, sales, etc.), demostrando la aplicabilidad del método más allá de la clasificación urbana estándar.

4. Resultados Experimentales

El método se evaluó en dos conjuntos de datos: SUM (Mallas Urbanas Semánticas) y el nuevo conjunto CH (Patrimonio Cultural).

• Rendimiento en SUM:

  • Logró un 81.9% de mF1 (F1 medio) y un 94.3% de OA (Precisión Global).
  • Superó significativamente a los baselines existentes como NoMeFormer (+15.3% en mF1) y DiffusionNet.
  • En una evaluación ponderada por área (estándar en SUM), obtuvo un mF1 de 78.4%, superando a métodos basados en puntos (KPConv) y mallas (RF-MRF).

• Rendimiento en CH (Patrimonio Cultural):

  • Logró un 49.7% de mF1 y un 72.8% de OA.
  • Superó a NoMeFormer en un 15.6% en mF1.
  • El modelo mostró una capacidad notable para distinguir daños sutiles (como colonización biológica) que los métodos anteriores no podían detectar debido a la falta de información de textura detallada.

• Estudios de Ablación:

  • La combinación de geometría y textura es crucial; usar solo geometría dio un mF1 de 66.9%, mientras que la combinación alcanzó 81.9%.
  • El uso de atención auto-atención entre tokens de cluster (S-A) superó a la atención cruzada tradicional (C-A), confirmando que el nuevo mecanismo reduce el sobresuavizado, especialmente en datos con objetos pequeños o detalles finos (como en el dataset CH).

5. Significado e Impacto

Este trabajo representa un avance significativo en el procesamiento de mallas 3D al demostrar que es posible realizar una segmentación semántica precisa sin imponer restricciones topológicas estrictas (manifold) y sin sacrificar la información visual rica de las texturas.

• Aplicabilidad: El método es altamente relevante para la preservación del patrimonio cultural, donde la detección de daños a nivel de superficie requiere tanto la comprensión de la forma geométrica como de los patrones de textura (manchas, erosión, crecimiento biológico).
• Eficiencia y Precisión: Al evitar el sobresuavizado típico de los Transformers globales puros, el modelo logra un equilibrio superior entre el contexto global y los detalles locales, superando a los enfoques basados en nubes de puntos y mallas tradicionales.
• Futuro: Aunque prometedora, la investigación señala la necesidad de mejorar la escalabilidad (memoria y tiempo de ejecución) y explorar la codificación posicional explícita en la rama de textura para futuras iteraciones.