Motion-aware Contrastive Learning for Temporal Panoptic Scene Graph Generation

다음은 "Temporal Panoptic Scene Graph Generation 을 위한 Motion-aware Contrastive Learning" 논문에 대한 상세한 기술 요약입니다.

1. 문제 정의

본 논문은 자연 영상, RGB-D, 4D 포인트 클라우드를 포함한 비디오 입력으로부터 동적 장면 그래프를 생성하는 작업인 **Temporal Panoptic Scene Graph Generation(TPSGG)**을 다룹니다.

• 목표: 개체를 노드로, 그들의 시공간적 관계를 엣지로 표현하여 정적 (예: "서 있다") 과 동적 (예: "차다", "열다") 상호작용 모두를 포착합니다.
• 기존 방법의 한계: 최신 최첨단 접근법들은 일반적으로 두 단계 파이프라인을 따릅니다:
  1. 분할 및 추적: 시간 전체에 걸쳐 추적된 세그멘테이션 마스크 시퀀스인 "마스크 튜브"를 생성합니다.
  2. 관계 예측: 이러한 튜브를 전역 풀링 (예: 평균 풀링) 으로 인코딩한 후 MLP 를 통해 관계를 분류합니다.
• 핵심 문제: 전역 풀링 연산은 시간 차원을 평탄화하여 운동 패턴과 프레임 순서를 효과적으로 제거합니다. 이로 인해 모델이 운동의 진화보다는 정적 시각적 의미에 크게 의존하게 되어 동적 관계에 대한 성능이 저하됩니다. 비디오를 위한 기존 대비 학습 방법들은 프레임 수준의 의미나 전체 클립에 초점을 맞추는 경향이 있어, 개체 마스크 튜브에 특화된 운동을 분리해 내지 못합니다.

2. 방법론

저자들은 정적 외관뿐만 아니라 운동 궤적에 민감한 표현을 학습하도록 모델을 강제하는 새로운 Motion-aware Contrastive Learning Framework를 제안합니다.

A. 프레임워크 개요

이 프레임워크는 표준 TPSGG 백본 (Panoptic Segmentation + Relation Classification) 과 통합되지만, 엔티티 마스크 튜브 표현 ($H_i$) 을 정제하기 위해 학습 중에 특정 대비 학습 목적 함수를 도입합니다.

B. 대비 학습 전략

목적은 유사한 운동 패턴의 표현들을 가깝게 끌어당기고, 뚜렷한 패턴을 가진 표현들은 멀어지게 하는 것입니다.

1. 양성 샘플링 (Positive Sampling):
   • 동일한 주체 - 관계 - 객체 (S-R-O) 트리플릿 카테고리 (예: 비디오 A 의 "사람이 공을 차다"와 비디오 B 의 "사람이 공을 차다") 를 공유하는 다른 비디오에서 마스크 튜브를 선택합니다.
   • 근거: 비디오 간 시각적 의미가 다르기 때문에, 모델은 앵커와 양성 샘플을 연관시키기 위해 공유된 운동 궤적에 의존하도록 강제됩니다.
2. 음성 샘플링 (Negative Sampling, 두 가지 전략):
   • Shuffle 기반: 앵커 튜브를 가져와 프레임을 시간적으로 섞습니다 ($\pi(H_a)$).
     • 과제: "위에 있다"와 같은 정적 관계는 운동이 거의 없어, 섞은 버전이 원본과 동일해집니다.
     • 해결책: 저자들은 광학 흐름 (optical flow) 엣지를 사용하여 의미 있는 운동 진폭을 가진 튜브만 필터링하고 선택하는 Strong-Motion Selection Strategy를 도입합니다.
   • Triplet 기반: 동일한 비디오에서 다른 S-R-O 트리플릿을 가진 음성 튜브를 선택합니다.
     • 전략: 주체/객체와 시각적 카테고리를 공유하지만 관계가 다른 트리플릿을 선호하도록 다항 분포를 사용하여 샘플링합니다. 이는 모델이 시각적 유사성이 아닌 운동에 기반하여 관계를 구분하도록 강제하는 "하드 네거티브"를 생성합니다.

C. 관계 정량화를 위한 최적 수송 (Optimal Transport)

서로 다른 길이 (다른 이벤트 지속 시간) 를 가질 수 있는 두 마스크 튜브 간의 유사성을 측정하는 것은 중요한 과제입니다. 표준 풀링은 여기서 실패합니다.

• 접근법: 저자들은 두 마스크 튜브를 이산 확률 분포 ($\mu$와 $\nu$) 로 간주합니다.
• 지표: 한 분포를 다른 분포로 운반하는 최소 비용을 찾기 위해 Optimal Transport(OT) 거리(구체적으로 Sinkhorn 알고리즘 사용) 를 활용합니다.
• 효과: 이는 두 트리플릿의 운동 상태를 동기화하여, 동일한 길이를 요구하지 않고도 마스크의 시간적 진화와 궤적을 보존합니다. 유사성 점수는 $sim = \alpha - d_{OT}$로 유도됩니다.

3. 주요 기여

1. Motion-Aware Contrastive Framework: 서로 다른 비디오에서 유사한 S-R-O 트리플릿을 정렬하고, 시간적으로 섞이거나 시각적으로 유사하지만 의미적으로 다른 트리플릿과 분리함으로써 운동 패턴에 기반한 표현 학습을 명시적으로 장려하는 새로운 학습 패러다임입니다.
2. 튜브 정렬을 위한 Optimal Transport: 다양한 길이의 마스크 튜브 간 관계를 정량화하기 위해 Optimal Transport 거리를 도입하여, 운동 역학을 포착하는 데 있어 시간 풀링의 한계를 극복했습니다.
3. Strong-Motion Selection: 음성 샘플링 중 정적 관계를 필터링하기 위해 광학 흐름을 사용하는 휴리스틱 전략으로, 대비 목적 함수가 효과적으로 유지되도록 보장합니다.
4. 최첨단 성능: 자연 영상과 4D 데이터셋 모두에서 기존 방법들, 특히 동적 관계 인식 측면에서 상당한 개선을 입증했습니다.

4. 실험 결과

이 방법은 OpenPVSG(자연 영상) 와 PSG4D(4D RGB-D 및 포인트 클라우드 영상) 에서 평가되었습니다.

• 데이터셋:
  • OpenPVSG: 400 개 영상 (ViDOR, Epic-Kitchens, Ego4D).
  • PSG4D: PSG4D-GTA(제 3 자 시점) 와 PSG4D-HOI(1 인칭 시점) 를 포함합니다.
• 지표: Recall at K(R@K) 및 mean Recall at K(mR@K).
• 주요 발견:
  • 전체 성능: 제안된 방법 ("Ours") 은 모든 지표에서 강력한 베이스라인 (IPS+T-Convolution, IPS+T-Transformer, PSG4DFormer) 을 능가했습니다.
  • 동적 관계: Figure 1 에서 보듯, 정적 관계 (예: "서 있다") 를 선호하는 베이스라인에 비해 이 방법은 동적 술어 (예: "차다", "달려서 올라타다") 에 대해 성능을 크게 개선했습니다.
  • 4D 데이터: 포인트 클라우드 및 RGB-D 입력 모두에서 상당한 향상을 이루어 표준 2D 비디오를 넘어선 일반화 능력을 보여주었습니다.
  • Ablation Study:
    • Shuffle 기반 또는 Triplet 기반 대비 손실 중 하나를 제거하면 성능이 저하되었으며, Triplet 기반이 약간 더 근본적이었습니다.
    • Optimal Transport 를 표준 풀링 + Cosine/L2 거리로 대체하면 정확도가 낮아져 시간 구조 보존의 필요성이 확인되었습니다.
    • Strong-motion 튜브 선택을 위한 임계값 $\gamma$는 최적점이 존재했으며, 너무 낮으면 정적 노이즈가 포함되고 너무 높으면 데이터 양이 감소했습니다.

5. 의의

이 작업은 Panoptic Segmentation과 Temporal Reasoning 사이의 간극을 메웁니다. 정적 시각적 특징에서 Motion-aware 표현으로 초점을 이동시킴으로써, 장면 그래프 생성의 중요한 병목 현상인 동적 상호작용의 정확한 모델링 불가 문제를 해결합니다.

• 기술적 영향: 마스크 튜브, 최적 수송과 같은 도메인 특정 제약을 신중하게 설계된 대비 학습은 표준 풀링 레이어가 놓치는 시간적 역동성을 효과적으로 추출할 수 있음을 보여줍니다.
• 응용: 동적 관계를 이해하는 능력의 향상은 실시간으로 인간의 행동과 상호작용하거나 예측해야 하는 자율 에이전트, 로봇, 지능형 감시 시스템에 필수적입니다.