Resumen Técnico: Preentrenamiento Máscara-Difusión para Nubes de Puntos Dinámicas (DiMP)

Declaración del Problema

El preentrenamiento de nubes de puntos dinámicas está actualmente dominado por objetivos de reconstrucción enmascarada. Sin embargo, los métodos existentes adolecen de dos limitaciones críticas que obstaculizan el aprendizaje efectivo de representaciones para secuencias dinámicas:

1. Fuga Posicional Espacio-Temporal: Los enfoques existentes (por ejemplo, MaST-Pre, M2PSC) inyectan coordenadas de centro de tubo de verdad directa (ground-truth) directamente como embebidos posicionales del decodificador. Esto filtra priores espaciales, haciendo que el decodificador dependa de la recuperación geométrica local en lugar de inferir posiciones a partir del contexto espacio-temporal.
2. Supervisión Determinista del Movimiento: Los métodos actuales supervisan el movimiento inter-frame utilizando objetivos proxy deterministas (por ejemplo, regresión media). Esto colapsa la distribución multimodal de trayectorias plausibles en una única media condicional. En consecuencia, el modelo descarta la estructura distribucional (varianza y forma) que a menudo es crítica para discriminar entre clases de acción que comparten trayectorias medias similares pero difieren en su incertidumbre o estadísticas de orden superior.

Metodología: Preentrenamiento Máscara-Difusión (DiMP)

DiMP es un marco unificado de autoaprendizaje que integra Modelos Probabilísticos de Difusión de Eliminación de Ruido (DDPMs) en un paradigma de autoenmascaramiento para abordar ambas limitaciones simultáneamente. El marco opera en dos etapas:

1. Etapa 1: Codificación de Tokens y Eliminación de Ruido del Centro Espacio-Temporal

• Tokenización de Tubos Enmascarados: Las nubes de puntos dinámicas se dividen en tubos espacio-temporales. Se enmascara una gran fracción de tubos.
• Difusión de Centros Libre de Fugas: A diferencia de los métodos estáticos que corrompen todos los parches, DiMP aplica ruido de difusión hacia adelante exclusivamente a los centros de tubo enmascarados ($C^m_0$). Los centros de tubo visibles ($C^v_0$) permanecen libres de ruido para servir como anclas temporales limpias.
• Codificador de Doble Flujo: Un codificador compartido procesa los tokens visibles mediante atención self y los tokens enmascarados mediante atención cruzada contra el contexto visible.
• Predicción del Centro: Una cabeza de Predictor de Centros mapea los tokens enmascarados a centros limpios predichos ($\hat{C}^m_0$). Esto se supervisa mediante Error Cuadrático Medio (MSE) contra la verdad directa. Al predecir el centro a partir de una entrada ruidosa condicionada al contexto visible, el modelo aprende representaciones posicionales robustas sin fuga posicional.

2. Etapa 2: Reconstrucción Geométrica y Difusión Consciente del Movimiento

• Decodificador Asimétrico: El decodificador combina características del codificador visible, embebidos de contenido enmascarado ruidoso y embebidos posicionales derivados de centros visibles limpios y centros enmascarados predichos con gradiente detenido ($sg(\hat{C}^m_0)$). El gradiente detenido asegura que el Predictor de Centros se actualice solo por la pérdida de centro, no por pérdidas de reconstrucción o movimiento.
• Reconstrucción Geométrica: La salida del decodificador supervisa la reconstrucción de distancia de Chamfer por frame ($L_{geo}$) para recuperar la geometría completa de la nube de puntos.
• Rama de Difusión de Movimiento:
  • Objetivo: Los vectores de desplazamiento inter-frame ($\Delta p$) se construyen offline utilizando un modelo de correspondencia congelado (CorrNet3D).
  • Proceso: Un proceso de difusión separado corrompe estos vectores de desplazamiento en pasos de tiempo estratificados (intervalos $h$).
  • Objetivo: Una cabeza de predictor de ruido, condicionada a la salida del decodificador ($Z_{dec}$) y al paso de tiempo de difusión, predice el ruido inyectado ($L_{mot}$).
  • Significado: Esto reformula la supervisión del movimiento como una tarea de predicción de ruido, impulsando al codificador a internalizar la distribución condicional completa de trayectorias de movimiento en lugar de una única media determinista.

Objetivo de Entrenamiento General

Las tres pérdidas se unifican mediante suma ponderada:
$$L = L_{geo} + \gamma_{cen} L_{cen} + \lambda_{mot} L_{mot}$$
Después del preentrenamiento, se descartan el decodificador y las cabezas de difusión; solo se retiene el codificador para el ajuste fino posterior.

Contribuciones Clave

1. Insight Teórico: El artículo argumenta formalmente que la supervisión determinista del movimiento descarta sistemáticamente la estructura distribucional crítica para la incertidumbre de trayectorias multimodales. Identifica la fuga posicional como una barrera prerequisite para el modelado efectivo del movimiento distribucional.
2. Marco DiMP: El primer marco de preentrenamiento basado en difusión para nubes de puntos dinámicas. Reformula la supervisión de desplazamiento inter-frame como una tarea de predicción de ruido DDPM para dirigirse a la distribución condicional completa de trayectorias de movimiento bajo un sustituto variacional.
3. Estrategia de Difusión de Centros: Una estrategia novedosa que confina la inyección de ruido exclusivamente a los centros de tubo enmascarados. Esto resuelve la fuga posicional sin comprometer la inferencia temporal, ya que las coordenadas visibles permanecen como anclas limpias.
4. Rendimiento Empírico: Experimentos extensos demuestran mejoras consistentes sobre métodos anteriores en múltiples benchmarks.

Resultados Experimentales

DiMP fue evaluado en tareas de segmentación de acciones, segmentación semántica y reconocimiento de acciones:

• Segmentación de Acción 4D (HOI4D): DiMP logró ganancias significativas sobre el backbone por sí solo y métodos de preentrenamiento anteriores.
  • En el backbone P4Transformer, mejoró F1@50 en +22.57% (de 65.9 a 80.77) y la distancia de Edición en +11.80%.
  • En el backbone más fuerte PPTr, mejoró F1@50 en +11.93%.
• Segmentación Semántica 4D (HOI4D): DiMP superó a todos los métodos anteriores, alcanzando 47.6% mIoU (+7.5 sobre la línea base P4Transformer), lo que indica que las representaciones aprendidas capturan la geometría de límites de grano fino.
• Reconocimiento de Acción 3D (MSRAction-3D): DiMP alcanzó una precisión del 95.51% en el backbone PST-Transformer y del 93.97% en P4Transformer, superando a los objetivos de movimiento deterministas.
• Inferencia Online: Bajo inferencia online con restricciones causales (prediciendo movimiento futuro solo a partir del contexto pasado), DiMP mostró ganancias particularmente pronunciadas, mejorando F1@50 en +27.20% sobre la línea base P4Transformer. Esto sugiere que la distribución de movimiento aprendida proporciona un prior predictivo fuerte cuando los frames futuros no están disponibles.
• Estudios de Ablación:
  • Fuga Posicional: Corromper centros visibles (difusión de todos los centros) degradó el rendimiento, confirmando la necesidad de mantener las coordenadas visibles limpias.
  • Rol Prerequisite: La difusión de movimiento por sí sola produjo ganancias insignificantes; se requirió la difusión de centros para habilitar el modelado efectivo del movimiento.
  • Muestreo Estratificado: El uso de múltiples pasos de tiempo estratificados ($h=4$) proporcionó el mejor equilibrio entre la recuperación local de grano fino (pequeño $t$) y la semántica global gruesa (grande $t$).

Significado y Afirmaciones

El artículo afirma que DiMP es el primer marco que aprovecha la capacidad completa de modelado distribucional de los DDPMs para el preentrenamiento de nubes de puntos dinámicas. Su significado radica en:

• Abordar la Multimodalidad: Al dirigirse a la distribución condicional completa, DiMP puede distinguir clases de acción que comparten trayectorias medias idénticas pero difieren en la varianza y forma de la trayectoria, una capacidad que carece la regresión determinista.
• Resolver la Fuga Posicional: Proporciona un mecanismo para inferir posiciones enmascaradas a partir del contexto sin filtrar priores de verdad directa, lo cual es esencial para que la rama de difusión de movimiento funcione como un aprendiz distribucional genuino.
• Robustez: El método demuestra robustez en diferentes backbones y tareas, con un rendimiento particularmente fuerte en escenarios de inferencia online donde modelar la distribución del movimiento futuro es crítico.

Los autores reconocen una limitación relacionada con la eficiencia del backbone, señalando que su implementación depende de P4Transformer, que tiene complejidad cuadrática de atención self y un rendimiento online inferior en comparación con arquitecturas de complejidad lineal. Posicionan a DiMP como una línea base de referencia para futuras investigaciones sobre el aprendizaje de representaciones distribucionales para nubes de puntos dinámicas.