기술 요약: 동적 포인트 클라우드를 위한 확산 마스킹 사전 학습 (DiMP)

문제 정의

동적 포인트 클라우드 사전 학습은 현재 마스킹 재구성 목적 함수에 의해 지배받고 있습니다. 그러나 기존 방법들은 동적 시퀀스에 대한 효과적인 표현 학습을 방해하는 두 가지 치명적인 한계를 안고 있습니다:

1. 시공간 위치 누출 (Spatio-Temporal Positional Leakage): 기존 접근법 (예: MaST-Pre, M2PSC) 은 정답인 튜브 중심 좌표를 디코더 위치 임베딩으로 직접 주입합니다. 이는 공간적 사전 지식을 누출시켜, 디코더가 시공간 맥락으로부터 위치를 추론하는 대신 국소 기하학적 검색에 의존하게 만듭니다.
2. 결정론적 운동 감독 (Deterministic Motion Supervision): 현재 방법들은 결정론적 프록시 목표 (예: 평균 회귀) 를 사용하여 프레임 간 운동을 감독합니다. 이는 타당한 궤적의 다중 모드 분포를 단일 조건부 평균으로 축소시킵니다. 결과적으로 모델은 평균 궤적은 유사하지만 불확실성이나 고차 통계량이 다른 동작 클래스를 구별하는 데 종종 결정적인 분포 구조 (분산 및 형태) 를 폐기합니다.

방법론: 확산 마스킹 사전 학습 (DiMP)

DiMP 는 두 가지 한계를 동시에 해결하기 위해 마스킹 자동 인코딩 패러다임에 탈노이즈 확산 확률 모델 (DDPMs) 을 통합한 통합 자기 지도 학습 프레임워크입니다. 이 프레임워크는 두 단계로 운영됩니다:

1 단계: 토큰 인코딩 및 시공간 중심 탈노이즈

• 마스킹 튜브 토큰화: 동적 포인트 클라우드는 시공간 튜브로 분할됩니다. 튜브의 상당 부분이 마스킹됩니다.
• 누출 없는 중심 확산: 모든 패치를 손상시키는 정적 방법과 달리, DiMP 는 마스킹된 튜브 중심 ($C^m_0$) 에만 순방향 확산 노이즈를 유일하게 적용합니다. 가시적인 튜브 중심 ($C^v_0$) 은 노이즈가 없는 상태로 남아 깨끗한 시간적 앵커 역할을 합니다.
• 듀얼 스트림 인코더: 공유 인코더는 가시 토큰을 자기 어텐션 (self-attention) 을 통해, 마스킹 토큰을 가시 맥락에 대한 교차 어텐션 (cross-attention) 을 통해 처리합니다.
• 중심 예측: 중심 예측기 헤드는 마스킹 토큰을 예측된 깨끗한 중심 ($\hat{C}^m_0$) 으로 매핑합니다. 이는 정답에 대한 평균 제곱 오차 (MSE) 를 통해 감독됩니다. 가시 맥락에 조건부인 노이즈 입력으로부터 중심을 예측함으로써, 모델은 위치 누출 없이 견고한 위치 표현을 학습합니다.

2 단계: 기하학적 재구성 및 운동 인식 확산

• 비대칭 디코더: 디코더는 가시 인코더 특징, 노이즈가 있는 마스킹 콘텐츠 임베딩, 그리고 깨끗한 가시 중심 및 그라디언트 정지 (stop-gradient) 된 예측 마스킹 중심 ($sg(\hat{C}^m_0)$) 에서 파생된 위치 임베딩을 결합합니다. 그라디언트 정지는 중심 예측기가 재구성 또는 운동 손실이 아닌 중심 손실에만 의해 업데이트되도록 보장합니다.
• 기하학적 재구성: 디코더 출력은 전체 포인트 클라우드 기하학을 복원하기 위해 프레임별 챔퍼 거리 재구성 ($L_{geo}$) 을 감독합니다.
• 운동 확산 분기:
  • 목표: 프레임 간 변위 벡터 ($\Delta p$) 는 고정된 대응 모델 (CorrNet3D) 을 사용하여 오프라인으로 구성됩니다.
  • 과정: 별도의 확산 과정이 계층적 시간 단계 ($h$ 간격) 에서 이러한 변위 벡터를 손상시킵니다.
  • 목적: 디코더 출력 ($Z_{dec}$) 과 확산 시간 단계에 조건부인 노이즈 예측기 헤드가 주입된 노이즈를 예측합니다 ($L_{mot}$).
  • 의의: 이는 운동 감독을 노이즈 예측 작업으로 재형성하여, 인코더가 단일 결정론적 평균이 아닌 운동 궤적의 전체 조건부 분포를 내재화하도록 유도합니다.

전체 학습 목적 함수

세 가지 손실은 가중 합을 통해 통합됩니다:
$$L = L_{geo} + \gamma_{cen} L_{cen} + \lambda_{mot} L_{mot}$$
사전 학습 후, 디코더와 확산 헤드는 폐기되며 하류 미세 조정을 위해 인코더만 유지됩니다.

주요 기여

1. 이론적 통찰: 본 논문은 결정론적 운동 감독이 체계적으로 다중 모드 궤적 불확실성에 중요한 분포 구조를 폐기한다고 공식적으로 주장합니다. 또한 효과적인 분포 운동 모델링의 전제 조건 장벽으로 위치 누출을 규명합니다.
2. DiMP 프레임워크: 동적 포인트 클라우드를 위한 최초의 확산 기반 사전 학습 프레임워크입니다. 변분 대리 모델 하에서 운동 궤적의 전체 조건부 분포를 목표로 하기 위해 프레임 간 변위 감독을 DDPM 노이즈 예측 작업으로 재형성합니다.
3. 중심 확산 전략: 노이즈 주입을 마스킹된 튜브 중심에 exclusively 제한하는 새로운 전략입니다. 가시 좌표가 깨끗한 앵커로 남아 있으므로 시간적 추론을 훼손하지 않으면서 위치 누출을 해결합니다.
4. 경험적 성능: 광범위한 실험을 통해 여러 벤치마크에서 기존 방법보다 일관된 개선을 입증했습니다.

실험 결과

DiMP 는 동작 분할, 의미론적 분할, 동작 인식 작업에서 평가되었습니다:

• 4D 동작 분할 (HOI4D): DiMP 는 백본 단독 및 기존 사전 학습 방법보다 유의미한 개선을 달성했습니다.
  • P4Transformer 백본에서 F1@50 을 22.57% (65.9 에서 80.77 로) 향상시키고, 편집 거리를 11.80% 향상시켰습니다.
  • 더 강력한 PPTr 백본에서 F1@50 을 11.93% 향상시켰습니다.
• 4D 의미론적 분할 (HOI4D): DiMP 는 모든 기존 방법을 능가하여 47.6% mIoU (P4Transformer 기준 대비 +7.5) 를 달성하여, 학습된 표현이 세밀한 경계 기하학을 포착함을 시사합니다.
• 3D 동작 인식 (MSRAction-3D): DiMP 는 PST-Transformer 백본에서 95.51% 정확도를, P4Transformer 에서 93.97% 정확도를 달성하여 결정론적 운동 목적 함수를 능가했습니다.
• 온라인 추론: 인과적으로 제약된 온라인 추론 (과거 맥락만으로 미래 운동 예측) 하에서 DiMP 는 특히 두드러진 개선을 보였으며, P4Transformer 기준 대비 F1@50 을 27.20% 향상시켰습니다. 이는 학습된 운동 분포가 미래 프레임을 사용할 수 없을 때 강력한 예측 사전 지식을 제공함을 시사합니다.
• 애블레이션 연구:
  • 위치 누출: 가시 중심을 손상시키는 것 (전체 중심 확산) 은 성능을 저하시켜 가시 좌표를 깨끗하게 유지하는 필요성을 확인했습니다.
  • 전제 조건 역할: 운동 확산만으로는 미미한 개선만 이루어졌으며, 효과적인 운동 모델링을 가능하게 하려면 중심 확산이 필요했습니다.
  • 계층적 샘플링: 여러 계층적 시간 단계 ($h=4$) 를 사용하는 것이 정밀한 국소 복구 (작은 $t$) 와 거친 전역 의미 (큰 $t$) 사이의 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 DiMP 가 동적 포인트 클라우드 사전 학습을 위해 DDPM 의 전체 분포 모델링 역량을 활용하는 최초의 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다:

• 다중 모드성 해결: 전체 조건부 분포를 목표로 함으로써, 평균 궤적은 동일하지만 궤적 분산과 형태가 다른 동작 클래스를 구별할 수 있으며, 이는 결정론적 회귀가 lacking 한 능력입니다.
• 위치 누출 해결: 정답 사전 지식을 누출하지 않고 맥락으로부터 마스킹된 위치를 추론할 수 있는 메커니즘을 제공하여, 운동 확산 분기가 진정한 분포 학습기로 기능하는 데 필수적입니다.
• 견고성: 이 방법은 다양한 백본과 작업에서 견고성을 입증했으며, 미래 운동의 분포를 모델링하는 것이 중요한 온라인 추론 시나리오에서 특히 강력한 성능을 보입니다.

저자들은 백본 효율성과 관련된 한계를 인정하며, 구현이 이차적 자기 어텐션 복잡성을 가지며 선형 복잡도 아키텍처에 비해 온라인 처리량이 낮은 P4Transformer 에 의존한다고 명시합니다. 그들은 DiMP 를 동적 포인트 클라우드를 위한 분포 표현 학습에 대한 향후 연구를 위한 참조 기준선으로 위치시킵니다.