Resumen Técnico: FILTR: Extracción de Características Topológicas a partir de Modelos 3D Preentrenados

Enunciado del Problema

Los avances recientes en el preentrenamiento auto-supervisado para codificadores de nubes de puntos 3D (por ejemplo, Point-BERT, Point-MAE) han producido modelos potentes con capacidades de generalización sólidas en tareas geométricas y semánticas. Sin embargo, las propiedades estructurales y el poder expresivo de las características aprendidas por estos codificadores siguen siendo poco comprendidos, particularmente en lo que respecta a la información topológica. Mientras que los invariantes topológicos (como el número de componentes conexos y el género) y los descriptores multiescala (diagramas de persistencia) son críticos en campos como la ciencia de materiales, el análisis de proteínas y las ciencias de la tierra, los métodos existentes para extraer estas características dependen típicamente de algoritmos de estimación clásicos y desacoplados, en lugar del aprendizaje de extremo a extremo.

Este artículo aborda dos preguntas principales:

1. ¿Capturan implícitamente los codificadores de nubes de puntos 3D preentrenados información topológica en sus representaciones aprendidas?
2. ¿Puede esta información extraerse de manera eficiente para predecir diagramas de persistencia directamente a partir de las características del codificador de manera feed-forward?

Metodología

Los autores proponen un enfoque de tres etapas para investigar estas preguntas:

1. Evaluación con DONUT

Para evaluar la comprensión topológica, los autores introducen DONUT (Dataset Of maNifold strUcTures), un benchmark sintético de 29.517 mallas de variedades. A diferencia de los conjuntos de datos existentes (por ejemplo, ShapeNet, ModelNet), que son principalmente semánticos o carecen de diversidad topológica, DONUT presenta variaciones controladas en:

• Número de componentes conexos ($\beta_0$): Rango de 1 a 6.
• Género total ($g$): Rango de 0 a 10.
  El conjunto de datos asegura una distribución equilibrada de etiquetas y aplica transformaciones geométricas para evitar soluciones triviales basadas en recuperación.

2. Análisis de Sondeo y Alineación

Los autores evalúan cuatro codificadores preentrenados de última generación (Point-BERT, Point-MAE, PointGPT, PCP-MAE) utilizando dos protocolos:

• Sondeo: Se adjuntan decodificadores lineales entrenables a las características congeladas de cada bloque del transformador para predecir $\beta_0$ y el género. Esto prueba si las señales topológicas son accesibles linealmente.
• Alineación de Características: Utilizando Alineación de Kernel Centrado (CKA), los autores miden la similitud entre las características del codificador y los diagramas de persistencia vectorizados (utilizando métodos como ATOL, Top 128, Paisajes, etc.). Esto evalúa la presencia de información topológica multiescala sin entrenar un predictor.

3. FILTR (Filtration Transformer)

Para avanzar más allá del análisis hacia la extracción, los autores proponen FILTR, un marco que predice diagramas de persistencia directamente a partir de características de codificadores preentrenados congelados.

• Arquitectura: FILTR adapta la arquitectura DETR (DEtection TRansformer). Trata los diagramas de persistencia como conjuntos desordenados de puntos.
• Entrada: Las características de un codificador 3D congelado (ya sea el bloque final o una combinación de todos los bloques) se alimentan a un decodificador transformador mediante atención cruzada.
• Salida: El decodificador predice un conjunto de pares de persistencia $(b_i, d_i)$ y sus probabilidades de existencia.
• Función de Pérdida: El modelo se entrena con un objetivo de predicción de conjuntos que comprende:
  • Emparejamiento Húngaro: Para alinear los pares predichos y los de la verdad fundamental.
  • Pérdida de Reconstrucción (MSE): Para los pares emparejados.
  • Pérdida de Existencia: Una entropía cruzada binaria para distinguir pares válidos de las ranuras de "sin par".
  • Regularizador Diagonal: Fuerza las predicciones sin emparejar hacia la diagonal ($b=d$), reduciendo la necesidad de umbralización agresiva durante la inferencia.

Contribuciones Clave

1. Benchmark DONUT: La introducción del primer conjunto de datos diseñado explícitamente con anotaciones topológicas equilibradas y fiables (componentes conexos y género) para evaluar codificadores 3D.
2. Primera Análisis Topológico de Codificadores 3D: El primer estudio sistemático que cuantifica qué tan bien los codificadores modernos de nubes de puntos 3D capturan información topológica. El estudio revela que, aunque los codificadores muestran una capacidad limitada para predecir linealmente la topología global (baja precisión de sondeo), retienen información estructural multiescala significativa alineada con diagramas de persistencia (altas puntuaciones de CKA).
3. Marco FILTR: El primer modelo que predice diagramas de persistencia directamente a partir de características de codificadores 3D preentrenados y congelados de manera feed-forward. Demuestra que los descriptores topológicos pueden extraerse sin reentrenar la base principal ni codificar a mano priores algorítmicos en la red.

Resultados

• Rendimiento de Sondeo: Los codificadores preentrenados tienen un rendimiento deficiente en tareas de sondeo directo para género y componentes conexos (por ejemplo, el token CLS de Point-BERT alcanza ~57% de precisión en componentes, ~26% en género), lo que sugiere que no codifican explícitamente la topología global de una manera linealmente separable.
• Alineación: A pesar de los resultados pobres de sondeo, el análisis de CKA muestra una alineación consistente entre las características del codificador y los diagramas de persistencia vectorizados, particularmente en modelos basados en MAE (Point-MAE, PCP-MAE). Esto indica que las señales topológicas están presentes pero distribuidas de manera no lineal.
• Rendimiento de FILTR:
  • FILTR aproxima con éxito los diagramas de persistencia a partir de codificadores congelados, a menudo igualando o superando a las líneas base entrenadas de extremo a extremo (como PointNet++ o DGCNN) en conjuntos de datos fuera de distribución (ModelNet40, ABC).
  • El modelo se generaliza a distribuciones de datos no vistas, aunque el rendimiento varía según el conjunto de datos (por ejemplo, errores más altos en ABC en comparación con ModelNet40).
  • FILTR es computacionalmente eficiente, requiriendo significativamente menos parámetros entrenables (5.7M) en comparación con las líneas base de extremo a extremo (8M+), ya que el codificador pesado permanece congelado.
  • Los estudios de ablación confirman la necesidad de la pérdida de existencia y el regularizador diagonal para un entrenamiento estable y una reconstrucción precisa del diagrama.

Significado y Afirmaciones

El artículo afirma que, aunque las estrategias actuales de preentrenamiento 3D (centradas en la reconstrucción geométrica o la alineación semántica) no optimizan explícitamente los invariantes topológicos, los espacios de características resultantes retienen información estructural suficiente para permitir la extracción topológica basada en datos.

• Perspectiva Teórica: El trabajo sugiere que los codificadores 3D aprenden implícitamente estructuras geométricas locales que se correlacionan con la topología, incluso si fallan en representar invariantes topológicos globales de manera lineal.
• Utilidad Práctica: FILTR ofrece una alternativa computacionalmente eficiente y feed-forward a las pipelines topológicas clásicas (que a menudo son lentas y desacopladas del aprendizaje). Permite la extracción de diagramas de persistencia a partir de nubes de puntos crudas utilizando modelos fundacionales existentes.
• Limitaciones: Los autores notan modestamente que el enfoque está limitado por la calidad y disponibilidad de codificadores preentrenados. En dominios que carecen de codificadores 3D de propósito general sólidos (por ejemplo, aprendizaje de grafos), estas conclusiones pueden no transferirse. Además, predecir las características topológicas más persistentes (dominantes) sigue siendo un desafío, ya que estas requieren una comprensión geométrica global que los modelos preentrenados luchan por capturar.

Los autores concluyen que su trabajo proporciona una base para comprender la competencia topológica de los extractores de características 3D y desarrollar enfoques totalmente basados en datos para la extracción de descriptores topológicos.