Resumen Técnico: HilDA – Destilación Jerárquica con Difusión para el Pre-entrenamiento de LiDAR

1. Planteamiento del Problema

Los sistemas de conducción autónoma (AD) requieren una percepción espacial robusta en entornos dinámicos. Si bien el LiDAR proporciona datos geométricos de alta fidelidad, el entrenamiento de modelos 3D suele requerir conjuntos de datos masivos y etiquetados. La anotación manual no solo es costosa, sino que también no logra cubrir la diversidad combinatoria de la geometría y el movimiento del mundo real. Para abordar esto, la comunidad ha recurrido a la Destilación de Conocimiento (KD) desde Modelos de Fundación de Visión (VFMs) como una estrategia de pre-entrenamiento autosupervisado para los backbones de LiDAR.

Sin embargo, los enfoques actuales de destilación cross-modal sufren de dos limitaciones primarias:

1. Restricción de la Capa Final: Los métodos actuales tratan a los VFMs como cajas negras, destilando únicamente las características de la capa final. Esto ignora el refinamiento semántico progresivo y las representaciones intermedias distribuidas a través de las capas del VFM, las cuales son cruciales para capturar el "cómo" se construyen las características. Además, estos métodos suelen descartar el contexto global codificado en el token CLS del VFM.
2. Falta de Supervisión Espaciotemporal: Los VFMs entrenados en imágenes sobresalen en el reconocimiento semántico, pero carecen de señales geométricas y temporales 3D explícitas. La destilación puramente semántica deja la estructura 3D subdeterminada. Aunque algunos trabajos previos introducen la predicción de ocupación, típicamente dependen de objetivos discriminativos que modelan marginales locales en lugar de distribuciones de escena conjuntas, fallando en imponer coherencia espaciotemporal global.

2. Metodología: Marco de Trabajo HilDA

Los autores proponen HilDA (Destilación Jerárquica con Difusión), un marco de pre-entrenamiento autosupervisado que combina la destilación jerárquica con un objetivo de difusión de ocupación temporal. El marco procesa secuencias temporales de tres fotogramas ($t_{-1}, t_0, t_1$), utilizando el pasado y el presente para la extracción de características y el fotograma futuro como objetivo para la predicción de ocupación.

2.1 Destilación Jerárquica

HilDA va más allá de la destilación de una sola capa al capturar la evolución semántica del VFM a través de dos mecanismos:

• Destilación Multi-capa: En lugar de alinear solo la salida final, HilDA alinea las capas intermedias de la red de LiDAR estudiante con las capas correspondientes del VFM congelado (teacher). Esto se logra mediante una estrategia de denso-a-disperso donde los puntos 3D se proyectan sobre imágenes de cámara 2D usando parámetros de calibración. Un MLP ligero, específico para cada capa, alinea las dimensiones de las características, y se minimiza la distancia de coseno sobre las correspondencias válidas entre punto-píxel a través de múltiples capas. Esto permite que el estudiante aprenda la construcción progresiva de conceptos visuales.
• Destilación de Contexto Global: Para capturar la semántica a nivel de escena, el marco alinea el token CLS del VFM (que codifica la información global de la escena) con un token de contexto global 3D aprendible en la red estudiante. El token global del estudiante se genera aplicando un MLP dedicado a las características de la última capa seguido de un max-pooling global. La alineación se impone mediante el Error Cuadrático Medio (MSE), actuando como un regularizador a nivel de escena.

2.2 Difusión de Ocupación Temporal

Para abordar la falta de geometría 3D y dinámica temporal explícita, HilDA introduce una tarea auxiliar autosupervisada: Difusión de Ocupación Temporal.

• Formulación: La tarea se plantea como una generación de Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM) condicional. Dados los barridos de LiDAR en $t_{-1}$ y $t_0$, la red estudiante los codifica en un mapa de características histórico compartido en Vista de Ojo de Pájaro (BEV) densa.
• Objetivo: El modelo aprende a eliminar el ruido de un objetivo de ocupación futuro corrupto ($x_{occ}$ en $t_1$) condicionado por el historial. El objetivo de entrenamiento combina una pérdida de predicción de ruido (difusión estándar) con una pérdida de reconstrucción para el mapa de ocupación.
• Beneficio: Este enfoque generativo fomenta que el modelo internalice los colectores espaciales (manifolds) y las jerarquías de superficie mediante el refinamiento iterativo, promoviendo la consistencia espaciotemporal y la permanencia de objetos sin requerir etiquetas manuales.

2.3 Objetivo Total

El marco se entrena de extremo a extremo utilizando una suma ponderada de tres pérdidas:
$$\mathcal{L}_{total} = \omega_{ds}\mathcal{L}_{distill} + \omega_{gl}\mathcal{L}_{cls} + \omega_{df}\mathcal{L}_{diffusion}$$
donde $\mathcal{L}_{distill}$ es la pérdida punto-píxel multi-capa, $\mathcal{L}_{cls}$ es la pérdida de contexto global, y $\mathcal{L}_{diffusion}$ es la pérdida de difusión de ocupación temporal.

3. Contribuciones Clave

1. Estrategia de Destilación Jerárquica: Un enfoque novedoso que destila tanto las características intermedias de múltiples capas como los tokens CLS globales de los VFMs, permitiendo que el estudiante de LiDAR aprenda el refinamiento semántico progresivo y el contexto holístico de la escena.
2. Difusión de Ocupación Temporal: Un objetivo generativo auxiliar que plantea la predicción de ocupación futura como una difusión condicional, inyectando eficazmente pistas geométricas y de movimiento multiescala en el codificador de LiDAR.
   بالفعل
3. Rendimiento de Estado del Arte (SOTA): La integración de estos componentes produce representaciones que superan a los métodos de destilación previos en múltiples evaluaciones.

4. Resultados Experimentales

Los autores evaluaron HilDA en el conjunto de datos nuScenes para el pre-entrenamiento, transfiriendo los backbones aprendidos a diversas tareas posteriores sin necesidad de re-pre-entrenamiento.

• Segmentación Semántica 3D: HilDA logra resultados de Estado del Arte (SOTA) en nuScenes, SemanticKITTI y Waymo Open Dataset. Muestra ganancias significativas en escenarios con pocos datos (1%–10% de etiquetas), superando a métodos como CleverDistiller, LiMoE y ScaLR. También demuestra una generalización de dominio superior en entornos fuera de carretera no estructurados (Rellis-3D) y con etiquetas de trazo (ScribbleKITTI).
• Robustez: En el benchmark corrompido nuScenes-C, HilDA exhibe una resiliencia superior al clima (nieve, lluvia) y fallos de sensores (eco de haz, sensores cruzados), logrando el error medio de corrupción (mCE) más bajo.
• Detección de Objetos 3D: Al ser utilizado como inicialización para PointRCNN, HilDA mejora el mAP en KITTI y nuScenes, particularmente en escenarios complejos que involucran largo alcance y oclusión severa.
• Ocupación Semántica y Flujo de Escena: HilDA supera a los baselines en la predicción de ocupación semántica 3D y 4D, así como en la estimación de flujo de escena (Argoverse 2). La tarea de difusión auxiliar mejora específicamente el rendimiento en objetos dinámicos y estimación de movimiento.

5. Significado y Reivindicaciones

El artículo afirma que HilDA logra cerrar la brecha entre la riqueza semántica y la robustez geométrica/temporal en el pre-entrenamiento de LiDAR. Al ir más allá de la destilación de la capa final de "caja negra" e incorporar un prior de difusión generativa, el marco crea una representación que captura tanto el "qué semántico" (de los VFMs) como el "dónde geométrico" (de la difusión).

Los autores enfatizan que este enfoque reduce la dependencia de datos anotados a gran escala, produciendo características que son transferibles a través de diversos dominios y tareas. Señalan una limitación: la destilación punto-píxel sigue siendo sensible al desalineamiento LiDAR-cámara, aunque HilDA lo mitiga parcialmente mediante la destilación de contexto global libre de alineación y la difusión temporal. Se sugiere como trabajo futuro explorar estrategias de emparejamiento aprendidas para la destilación capa a capa y extender la difusión más allá de las representaciones BEV.