Riepilogo Tecnico: Pre-addestramento Mascherato con Diffusione per Nuvole di Punti Dinamiche (DiMP)

Enunciato del Problema

Il pre-addestramento delle nuvole di punti dinamiche è attualmente dominato da obiettivi di ricostruzione mascherata. Tuttavia, i metodi esistenti soffrono di due limitazioni critiche che ostacolano un apprendimento efficace delle rappresentazioni per le sequenze dinamiche:

1. Fuga Posizionale Spazio-Temporale: Gli approcci esistenti (ad es. MaST-Pre, M2PSC) iniettano direttamente le coordinate reali dei centri dei tubi come embedding posizionali del decoder. Ciò comporta una fuga di prior spaziali, inducendo il decoder a fare affidamento sul recupero geometrico locale piuttosto che sull'inferenza delle posizioni dal contesto spazio-temporale.
2. Supervisione Deterministica del Movimento: I metodi attuali supervisionano il movimento inter-frame utilizzando target proxy deterministici (ad es. regressione della media). Ciò collassa la distribuzione multimodale delle traiettorie plausibili in una singola media condizionale. Di conseguenza, il modello scarta la struttura distribuzionale (varianza e forma) che è spesso critica per discriminare tra classi di azioni che condividono traiettorie medie simili ma differiscono per la loro incertezza o statistiche di ordine superiore.

Metodologia: Pre-addestramento Mascherato con Diffusione (DiMP)

DiMP è un framework unificato di auto-apprendimento che integra i Modelli Probabilistici di Diffusione per la Rimozione del Rumore (DDPM) in un paradigma di auto-codifica mascherata per affrontare entrambe le limitazioni simultaneamente. Il framework opera in due fasi:

1. Fase 1: Codifica dei Token e Denoising del Centro Spazio-Temporale

• Tokenizzazione dei Tubi Mascherati: Le nuvole di punti dinamiche sono partitionate in tubi spazio-temporali. Una grande frazione di tubi viene mascherata.
• Diffusione del Centro Senza Fuga: A differenza dei metodi statici che corrompono tutte le patch, DiMP applica il rumore di diffusione in avanti esclusivamente ai centri dei tubi mascherati ($C^m_0$). I centri dei tubi visibili ($C^v_0$) rimangono privi di rumore per fungere da ancoraggi temporali puliti.
• Encoder a Doppio Flusso: Un encoder condiviso elabora i token visibili tramite auto-attenzione e i token mascherati tramite cross-attenzione rispetto al contesto visibile.
• Predizione del Centro: Un head predittore del centro mappa i token mascherati sui centri puliti predetti ($\hat{C}^m_0$). Questo è supervisionato tramite Errore Quadratico Medio (MSE) rispetto al ground truth. Predicendo il centro da un input rumoroso condizionato al contesto visibile, il modello impara rappresentazioni posizionali robuste senza fuga posizionale.

2. Fase 2: Ricostruzione Geometrica e Diffusione Consapevole del Movimento

• Decoder Asimmetrico: Il decoder combina le caratteristiche dell'encoder visibile, gli embedding del contenuto mascherato rumoroso e gli embedding posizionali derivati dai centri visibili puliti e dai centri mascherati predetti con stop-gradient ($sg(\hat{C}^m_0)$). Lo stop-gradient garantisce che il Predittore del Centro venga aggiornato solo dalla perdita del centro, non dalle perdite di ricostruzione o movimento.
• Ricostruzione Geometrica: L'output del decoder supervisiona la ricostruzione della distanza di Chamfer per frame ($L_{geo}$) per recuperare la geometria completa della nuvola di punti.
• Ramo di Diffusione del Movimento:
  • Target: I vettori di spostamento inter-frame ($\Delta p$) sono costruiti offline utilizzando un modello di corrispondenza congelato (CorrNet3D).
  • Processo: Un processo di diffusione separato corrompe questi vettori di spostamento a istanti di tempo stratificati (intervalli $h$).
  • Obiettivo: Un head predittore del rumore, condizionato sull'output del decoder ($Z_{dec}$) e sull'istante di tempo di diffusione, predice il rumore iniettato ($L_{mot}$).
  • Significato: Ciò riformula la supervisione del movimento come un compito di predizione del rumore, spingendo l'encoder a interiorizzare la piena distribuzione condizionale delle traiettorie di movimento piuttosto che una singola media deterministica.

Obiettivo Complessivo di Addestramento

Le tre perdite sono unificate tramite somma ponderata:
$$L = L_{geo} + \gamma_{cen} L_{cen} + \lambda_{mot} L_{mot}$$
Dopo il pre-addestramento, il decoder e gli head di diffusione vengono scartati; viene mantenuto solo l'encoder per il fine-tuning a valle.

Contributi Chiave

1. Insight Teorico: Il documento sostiene formalmente che la supervisione deterministica del movimento scarta sistematicamente la struttura distribuzionale critica per l'incertezza delle traiettorie multimodali. Identifica la fuga posizionale come una barriera prerequisito per un efficace modellamento distribuzionale del movimento.
2. Framework DiMP: Il primo framework di pre-addestramento basato su diffusione per nuvole di punti dinamiche. Riformula la supervisione dello spostamento inter-frame come un compito di predizione del rumore DDPM per colpire la piena distribuzione condizionale delle traiettorie di movimento sotto un surrogato variazionale.
3. Strategia di Diffusione del Centro: Una strategia innovativa che confina l'iniezione di rumore esclusivamente ai centri dei tubi mascherati. Ciò risolve la fuga posizionale senza compromettere l'inferenza temporale, poiché le coordinate visibili rimangono ancoraggi puliti.
4. Prestazioni Empiriche: Esperimenti estensivi dimostrano miglioramenti coerenti rispetto ai metodi precedenti su molteplici benchmark.

Risultati Sperimentali

DiMP è stato valutato su compiti di segmentazione delle azioni, segmentazione semantica e riconoscimento delle azioni:

• Segmentazione delle Azioni 4D (HOI4D): DiMP ha ottenuto guadagni significativi rispetto al solo backbone e ai metodi di pre-addestramento precedenti.
  • Sul backbone P4Transformer, ha migliorato F1@50 del +22,57% (da 65,9 a 80,77) e la distanza di Edit del +11,80%.
  • Sul più forte backbone PPTr, ha migliorato F1@50 del +11,93%.
• Segmentazione Semantica 4D (HOI4D): DiMP ha superato tutti i metodi precedenti, raggiungendo 47,6% mIoU (+7,5 rispetto alla linea di base P4Transformer), indicando che le rappresentazioni apprese catturano la geometria dei confini fine-granularità.
• Riconoscimento delle Azioni 3D (MSRAction-3D): DiMP ha raggiunto un'accuratezza del 95,51% sul backbone PST-Transformer e del 93,97% su P4Transformer, superando gli obiettivi di movimento deterministici.
• Inferenza Online: Sotto inferenza online vincolata causalmente (predizione del movimento futuro dal solo contesto passato), DiMP ha mostrato guadagni particolarmente pronunciati, migliorando F1@50 del +27,20% rispetto alla linea di base P4Transformer. Ciò suggerisce che la distribuzione del movimento appresa fornisce un forte prior predittivo quando i frame futuri non sono disponibili.
• Studi di Ablazione:
  • Fuga Posizionale: Corrompere i centri visibili (diffusione su tutti i centri) ha degradato le prestazioni, confermando la necessità di mantenere le coordinate visive pulite.
  • Ruolo Prerequisito: La sola diffusione del movimento ha prodotto guadagni trascurabili; la diffusione del centro era necessaria per abilitare un efficace modellamento del movimento.
  • Campionamento Stratificato: L'uso di più istanti di tempo stratificati ($h=4$) ha fornito il miglior compromesso tra recupero locale fine-granularità (piccolo $t$) e semantica globale grezza (grande $t$).

Significato e Affermazioni

Il documento afferma che DiMP è il primo framework a sfruttare la piena capacità di modellazione distribuzionale dei DDPM per il pre-addestramento di nuvole di punti dinamiche. Il suo significato risiede in:

• Affrontare la Multimodalità: Colpendo la piena distribuzione condizionale, DiMP può distinguere classi di azioni che condividono traiettorie medie identiche ma differiscono per varianza e forma della traiettoria, una capacità che manca alla regressione deterministica.
• Risolvere la Fuga Posizionale: Fornisce un meccanismo per inferire le posizioni mascherate dal contesto senza disperdere prior reali, il che è essenziale affinché il ramo di diffusione del movimento funzioni come un vero apprendista distribuzionale.
• Robustezza: Il metodo dimostra robustezza su diversi backbone e compiti, con prestazioni particolarmente forti negli scenari di inferenza online dove il modellamento della distribuzione del movimento futuro è critico.

Gli autori riconoscono una limitazione riguardo all'efficienza del backbone, notando che la loro implementazione si basa su P4Transformer, che ha una complessità di auto-attenzione quadratica e una capacità di elaborazione online inferiore rispetto alle architetture a complessità lineare. Posizionano DiMP come una linea di base di riferimento per la futura ricerca sull'apprendimento di rappresentazioni distribuzionali per nuvole di punti dinamiche.