Technische Samenvatting: Diffusie Gemaskerde Pretraining voor Dynamische Puntwolken (DiMP)

Probleemstelling

Pretraining voor dynamische puntwolken wordt momenteel gedomineerd door gemaskerde reconstructiedoelstellingen. Echter, bestaande methoden lijden aan twee kritieke beperkingen die effectief representatieleren voor dynamische sequenties belemmeren:

1. Ruimtetijd Positielek: Bestaande benaderingen (bijv. MaST-Pre, M2PSC) injecteren grondwaarheid buiscentrumcoördinaten direct als decoder positiële embeddings. Dit lekt ruimtelijke priors, waardoor de decoder afhankelijk wordt van lokale geometrische retrievals in plaats van posities af te leiden uit de ruimtetijdcontext.
2. Deterministische Bewegingssupervisie: Huidige methoden superviseren inter-frame beweging met deterministische proxy-doelen (bijv. gemiddelde regressie). Dit collapseert de multimodale verdeling van plausibele trajecten tot een enkele conditionele gemiddelde. Bijgevolg verworpt het model de distributiestructuur (variantie en vorm) die vaak cruciaal is voor het onderscheiden van actieklassen die vergelijkbare gemiddelde trajecten delen maar verschillen in hun onzekerheid of hogere-orde statistieken.

Methodologie: Diffusie Gemaskerde Pretraining (DiMP)

DiMP is een unificerend zelftoezichtend kader dat Denoising Diffusion Probabilistic Models (DDPM's) integreert in een gemaskerd auto-encoderingsparadigma om beide beperkingen gelijktijdig aan te pakken. Het kader werkt in twee fasen:

1. Fase 1: Tokencodering en Ruimtetijd Centrumontruising

• Gemaskerde Buis Tokenisatie: Dynamische puntwolken worden gepartitioneerd in ruimtetijdbuizen. Een groot deel van de buizen wordt gemaskerd.
• Leakage-vrije Centrumdiffusie: In tegenstelling tot statische methoden die alle patches corrumperen, past DiMP voorwaartse diffusieruis uitsluitend toe op de gemaskerde buiscentra ($C^m_0$). De zichtbare buiscentra ($C^v_0$) blijven ruisvrij om als schone tijdsankers te dienen.
• Dubbelstroom Encoder: Een gedeelde encoder verwerkt zichtbare tokens via self-attention en gemaskerde tokens via cross-attention tegen de zichtbare context.
• Centrumvoorspelling: Een Centrumvoorspeller-kop koppelt de gemaskerde tokens aan voorspelde schone centra ($\hat{C}^m_0$). Dit wordt gesuperviseerd via Gemiddelde Kwantenfout (MSE) tegen de grondwaarheid. Door het centrum te voorspellen vanuit een ruisgevoede input geconditioneerd op zichtbare context, leert het model robuuste positiële representaties zonder positiële lekkage.

2. Fase 2: Geometrische Reconstructie en Bewegingsbewuste Diffusie

• Asymmetrische Decoder: De decoder combineert zichtbare encoderkenmerken, ruisgevoede gemaskerde inhoudsembeddings en positiële embeddings afgeleid van schone zichtbare centra en stop-gradient voorspelde gemaskerde centra ($sg(\hat{C}^m_0)$). De stop-gradient zorgt ervoor dat de Centrumvoorspeller alleen wordt bijgewerkt door de centrumverlies, niet door reconstructie- of bewegingsverliezen.
• Geometrische Reconstructie: De decoderoutput superviseert per-frame Chamfer-afstandsreconstructie ($L_{geo}$) om de volledige puntwolkgeometrie te herstellen.
• Bewegingsdiffusietak:
  • Doel: Inter-frame verplaatsingsvectoren ($\Delta p$) worden offline geconstrueerd met een bevroren correspondentiemodel (CorrNet3D).
  • Proces: Een apart diffusieproces corrumpeert deze verplaatsingsvectoren bij gestratificeerde tijdstappen ($h$-intervallen).
  • Doelstelling: Een ruisvoorspeller-kop, geconditioneerd op de decoderoutput ($Z_{dec}$) en de diffusietijdstap, voorspelt de ingebrachte ruis ($L_{mot}$).
  • Betekenis: Dit herformuleert bewegingssupervisie als een ruisvoorspellingsopdracht, waardoor de encoder de volledige conditionele verdeling van bewegingstrajecten internaliseert in plaats van een enkel deterministisch gemiddelde.

Algemene Trainingsdoelstelling

De drie verliezen worden unificeerd via gewogen sommatie:
$$L = L_{geo} + \gamma_{cen} L_{cen} + \lambda_{mot} L_{mot}$$
Na pretraining worden de decoder en diffusiekoppen verworpen; alleen de encoder wordt behouden voor downstream fijnafstelling.

Belangrijkste Bijdragen

1. Theoretisch Inzicht: Het artikel betoogt formeel dat deterministische bewegingssupervisie systematisch distributiestructuur verworpt die cruciaal is voor multimodale trajectonzekerheid. Het identificeert positiële lekkage als een voorwaartse barrière voor effectief distributief bewegingsmodelleren.
2. DiMP Kader: Het eerste diffusiegebaseerde pretrainingkader voor dynamische puntwolken. Het herformuleert inter-frame verplaatsingssupervisie als een DDPM-ruisvoorspellingsopdracht om de volledige conditionele verdeling van bewegingstrajecten te targeten onder een variational surrogaat.
3. Centrumdiffusiestrategie: Een nieuwe strategie die ruisinjectie uitsluitend beperkt tot gemaskerde buiscentra. Dit lost positiële lekkage op zonder tijdsinferentie te compromitteren, aangezien zichtbare coördinaten schone ankers blijven.
4. Empirische Prestaties: Uitgebreide experimenten tonen consistente verbeteringen ten opzichte van eerdere methoden over meerdere benchmarks.

Experimentele Resultaten

DiMP werd geëvalueerd op taken voor actiesegmentatie, semantische segmentatie en actieherkenning:

• 4D Actiesegmentatie (HOI4D): DiMP behaalde significante winsten ten opzichte van alleen de backbone en eerdere pretrainingmethoden.
  • Op de P4Transformer backbone verbeterde het F1@50 met +22,57% (van 65,9 naar 80,77) en de Edit-afstand met +11,80%.
  • Op de sterkere PPTr backbone verbeterde het F1@50 met +11,93%.
• 4D Semantische Segmentatie (HOI4D): DiMP presteerde beter dan alle eerdere methoden, met 47,6% mIoU (+7,5 boven de P4Transformer-baseline), wat aangeeft dat de geleerde representaties fijne grensgeometrie vastleggen.
• 3D Actieherkenning (MSRAction-3D): DiMP behaalde 95,51% nauwkeurigheid op de PST-Transformer backbone en 93,97% op P4Transformer, en presteerde beter dan deterministische bewegingsdoelen.
• Online Inferentie: Onder causaal beperkte online inferentie (voorspellen van toekomstige beweging uitsluitend op basis van verleden context) toonde DiMP bijzonder uitgesproken winsten, met een verbetering van F1@50 met +27,20% ten opzichte van de P4Transformer-baseline. Dit suggereert dat de geleerde bewegingsverdeling een sterke voorspellende prior biedt wanneer toekomstige frames niet beschikbaar zijn.
• Ablatiestudies:
  • Positiële Lekkage: Het corrumperen van zichtbare centra (all-center diffusie) degradeerde de prestaties, wat de noodzaak bevestigt om zichtbare coördinaten schoon te houden.
  • Voorwaartse Rol: Bewegingsdiffusie alleen leverde verwaarloosbare winsten op; centrumdiffusie was vereist om effectief bewegingsmodelleren mogelijk te maken.
  • Gestratificeerde Steekproefneming: Het gebruik van meerdere gestratificeerde tijdstappen ($h=4$) bood de beste afweging tussen fijne lokale herstel (kleine $t$) en grove globale semantiek (grote $t$).

Betekenis en Claims

Het artikel claimt dat DiMP het eerste kader is dat de volledige distributiemodelleringscapaciteit van DDPM's benut voor pretraining van dynamische puntwolken. De betekenis ligt in:

• Aanpakken van Multimodaliteit: Door de volledige conditionele verdeling te targeten, kan DiMP actieklassen onderscheiden die identieke gemiddelde trajecten delen maar verschillen in trajectvariantie en vorm, een vermogen dat deterministische regressie mist.
• Oplossen van Positiële Lekkage: Het biedt een mechanisme om gemaskerde posities af te leiden uit context zonder grondwaarheid-priors te lekken, wat essentieel is voor de bewegingsdiffusietak om te functioneren als een echte distributieleerder.
• Robuustheid: De methode toont robuustheid over verschillende backbones en taken, met bijzonder sterke prestaties in online inferentiescenario's waar het modelleren van de verdeling van toekomstige beweging cruciaal is.

De auteurs erkennen een beperking met betrekking tot backbone-efficiëntie, en merken op dat hun implementatie afhankelijk is van P4Transformer, dat een kwadratische self-attentioncomplexiteit heeft en een lagere online doorvoer vergeleken met lineaire complexiteitsarchitecturen. Zij positioneren DiMP als een referentiebaseline voor toekomstig onderzoek naar distributief representatieleren voor dynamische puntwolken.