MOSA: Motion-Guided Semantic Alignment for Dynamic Scene Graph Generation

1. 문제 정의 (Problem)

동적 장면 그래프 생성 (DSGG, Dynamic Scene Graph Generation) 은 비디오 시퀀스 내의 객체와 그들 사이의 시간적, 동적인 상호작용을 구조화된 그래프로 모델링하여 고수준의 의미론적 이해를 달성하는 것을 목표로 합니다. 그러나 기존 방법론들은 다음과 같은 주요 한계점을 가지고 있습니다:

• 세밀한 관계 모델링의 부재: 정적인 시각적 특징과 거친 시간적 컨텍스트 모델링에 의존하여, 서로 다른 운동 패턴 하에서도 구별하기 어려운 미세한 동작 관계 (예: '잡고 있다' vs '먹고 있다') 를 식별하는 데 어려움을 겪습니다.
• 의미론적 활용의 부족: 텍스트 모달리티의 사전 지식 (semantic prior) 을 충분히 활용하지 못해, 시각적으로는 유사하지만 운동 패턴이 다른 관계들을 혼동합니다.
• 장미꼬리 (Long-tail) 분포 문제: 빈도가 높은 관계에 편향되어, 빈도는 낮지만 의미 있는 관계 (tail relationships) 의 인식률이 낮고 일반화 능력이 제한됩니다.

2. 제안 방법: MoSA (Methodology)

이 논문은 위 문제들을 해결하기 위해 운동 유도 의미 정렬 (Motion-guided Semantic Alignment, MoSA) 프레임워크를 제안합니다. MoSA 는 크게 네 가지 핵심 모듈로 구성됩니다.

가. 운동 특징 추출기 (Motion Feature Extractor, MFE)

객체 쌍 간의 다차원 운동 속성을 명시적으로 계산합니다.

• 속성: 두 객체 간의 거리, 속도, 운동 지속성 (IoU), 방향 일관성 (Directional Consistency) 등을 계산합니다.
• 목적: 외관 (appearance) 만으로는 구별하기 어려운 세밀한 동작 관계를 포착하기 위해 운동 정보를 명시적으로 인코딩합니다.

나. 운동 유도 상호작용 모듈 (Motion-guided Interaction Module, MIM)

• MFE 에서 추출된 운동 특징과 공간적 관계 특징 (Spatial features) 을 융합합니다.
• 어텐션 메커니즘을 사용하여 운동 정보를 동적 가이드로 활용하고, 공간적 특징을 컨텍스트 입력으로 삼아 운동 감지 능력을 갖춘 관계 표현을 생성합니다.
• 이를 통해 시각적 특징과 운동 패턴이 결합된 정교한 관계 특징을 도출합니다.

다. 행동 의미 정렬 (Action Semantic Matching, ASM)

• 시각적 관계 특징과 관계 범주의 텍스트 임베딩 (CLIP Text Encoder 사용) 을 정렬 (Align) 합니다.
• 크로스-모달 (Cross-modal) 매칭: 객체 쌍의 관계 특징과 텍스트 임베딩 간의 유사도를 계산하여, 언어적 사전 지식을 시각적 예측에 명시적으로 통합합니다.
• 이는 의미적으로 유사하지만 운동 패턴이 다른 관계들을 구별하는 능력을 향상시킵니다.

라. 시간적 모델링 및 손실 함수

• Temporal Decoder: 객체 쌍의 운동 유도 특징을 시간 순서대로 재구성하여 트랜스포머 디코더를 통해 장기적인 시간적 의존성과 진화를 학습합니다.
• Category-weighted Loss: 장미꼬리 분포로 인한 편향을 완화하기 위해, 빈도가 낮은 관계 카테고리에 더 높은 가중치를 부여하는 손실 함수를 도입하여 일반화 성능을 높입니다.

3. 주요 기여 (Key Contributions)

1. MoSA 아키텍처 제안: DSGG 모델이 복잡한 동적 관계를 인식할 수 있도록, 객체 간의 다차원 운동 속성을 명시적으로 모델링하는 MFE와 운동 유도 관계 특징 강화 모듈인 MIM을 도입했습니다.
2. 의미론적 혼동 해결: ASM 모듈을 통해 텍스트 기반의 언어 사전 지식을 시각적 특징에 정렬함으로써, 의미적으로 유사하지만 운동이 다른 관계들을 구별하는 능력을 강화했습니다.
3. 장미꼬리 문제 완화: 카테고리 가중 손실 전략을 통해 드문 관계의 학습을 강조하여 모델의 일반화 성능을 개선했습니다.
4. 성능 입증: Action Genome (AG) 데이터셋에서 다양한 작업 (PREDCLS, SGCLS, SGDET) 에 대해 기존 SOTA 방법들을 능가하는 실험 결과를 제시했습니다.

4. 실험 결과 (Results)

• 데이터셋: Action Genome (AG) 데이터셋.
• 평가 지표: Recall@K (R@10/20/50) 및 평균 Recall@K (mR@K, 장미꼬리 관계 평가).
• 주요 성과:
  • 전체 성능: PREDCLS, SGCLS, SGDET 모든 작업에서 기존 SOTA 모델 (TD2-Net, STTran 등) 을 능가했습니다. 특히 PREDCLS 작업에서 R@10(70.6%), R@50(73.5%) 을 기록하며 최상의 성능을 보였습니다.
  • 장미꼬리 관계 인식: mR@50 지표에서 SGDET 작업 시 기존 모델 대비 약 2.9%~3.0% 향상된 성능을 보여 드문 관계 인식 능력이 우수함을 입증했습니다.
  • 정성적 분석: 'sandwich'와 'person'의 관계에서 기존 모델 (STTran) 이 단순히 'holding'으로 예측한 반면, MoSA 는 운동 정보를 통해 정밀하게 'eating'으로 예측하는 등 세밀한 동작 인식 능력이 뛰어났습니다.
• Ablation Study: MFE, MIM, ASM 모듈을 각각 제거했을 때 성능이 저하됨을 확인하여, 각 모듈이 MoSA 의 성능 향상에 필수적임을 입증했습니다. 특히 MFE 제거 시 성능 저하가 가장 컸습니다.

5. 의의 및 결론 (Significance)

MoSA 는 동적 장면 그래프 생성 분야에서 운동 정보의 명시적 모델링과 다중 모달 (시각 - 언어) 의미 정렬의 중요성을 강조합니다. 기존 방법들이 간과했던 '운동 패턴'과 '텍스트 의미'를 결합함으로써, 복잡한 비디오 내의 미세한 상호작용을 정확하게 해석하고 장미꼬리 관계의 인식 한계를 극복하는 새로운 패러다임을 제시했습니다. 이는 비디오 질문 답변, 자율 주행 등 고수준 시각 추론 응용 분야에서 중요한 기여를 할 것으로 기대됩니다.