Frequency-guided Multi-level Reasoning for Scene Graph Generation in Video

논문 요약: 비디오 장면 그래프 생성을 위한 주파수 기반 다수준 추론 (FReMuRe)

1. 문제 정의 (Problem)

비디오 장면 그래프 생성 (Video Scene Graph Generation, Video SGG) 은 비디오 내 객체와 그 관계를 구조화된 형태로 표현하여 고수준의 이해를 가능하게 합니다. 그러나 기존 방법론들은 다음과 같은 주요 한계점을 겪고 있습니다:

• 장꼬리 분포 (Long-tail Distribution) 문제: 데이터셋에서 빈번한 관계 (Head classes, 예: 'holding') 는 많지만 드문 관계 (Tail classes, 예: 'carrying') 는 매우 적게 분포합니다. 이로 인해 모델이 빈번한 관계에 편향되어 드문 관계를 학습하지 못합니다.
• 경쟁적 경사 (Gradient Conflicts): 단일 공유 백본 네트워크를 사용하여 모든 관계 유형을 학습할 때, 빈번한 관계의 경사가 드문 관계의 경사를 압도하여 드문 관계의 학습을 방해합니다.
• 불확실성 및 노이즈: 가림 (Occlusion), 모션 블러, 노이즈가 있는 주석 등으로 인해 추론의 불확실성이 증가합니다.

2. 제안 방법론 (Methodology)

저자들은 FReMuRe (Frequency-guided Relational Multi-level Reasoning) 모델을 제안하여 위 문제들을 해결합니다. 핵심 아키텍처는 다음과 같습니다:

• 주파수 기반 게이트 메커니즘 (Frequency-guided Mechanism):

  • 관계의 빈도수 (Frequency) 를 사전 지식으로 활용합니다.
  • 드문 관계 (Tail) 의 특징을 강화하기 위해 역빈도 가중치를 적용한 게이트 (Gating) 메커니즘을 도입합니다.
  • 수식 $x' = g(f) \cdot LN(x) + (1-g(f)) \cdot x$를 통해 드문 관계에 대한 특징 스케일링을 수행하여 구조적 보정을 가합니다.

• 디커플링된 듀얼 브랜치 관계 임베딩 (Decoupled Dual-Branch Network):

  • 핵심 아이디어: 빈번한 관계 (Head) 와 드문 관계 (Tail) 의 학습 경로를 물리적으로 분리합니다.
  • 로컬 브랜치: 표준 인코딩 경로는 Head 관계 ($H_{loc}$) 를, 주파수 인지 Tail 브랜치는 Tail 관계 ($T_{loc}$) 를 각각 학습합니다.
  • 글로벌 브랜치: 프레임 간 (Cross-frame) 정보를 통합하여 시간적 일관성을 확보합니다.
  • 이 구조는 공유 파라미터로 인한 경사 충돌 (Gradient Conflict) 을 근본적으로 제거하여 균형 잡힌 학습을 가능하게 합니다.

• 대체 가능한 분류 헤드 (Replaceable Classification Heads):

  • Bayesian Head: 예측을 확률 분포 (평균 $\mu$, 분산 $\sigma^2$) 로 모델링하여 데이터의 불확실성 (Aleatoric) 및 모델의 불확실성 (Epistemic) 을 추정합니다. 몬테카를로 샘플링을 통해 강건한 예측을 수행합니다.
  • GMM-Plus Head: 기존 가우시안 혼합 모델 (GMM) 을 확장하여 각 관계 클래스를 여러 가우시안 성분으로 모델링합니다. 드문 샘플의 과적합을 방지하기 위해 분산에 하한선을 두는 정규화 항을 도입하여 클래스 내 다양성 (Intra-class diversity) 을 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 주파수 기반 Tail 클래스 편향 제거: 주파수 인지 게이트 메커니즘과 사전 지식을 활용하여 저빈도 관계의 재현율 (Recall) 을 획기적으로 개선했습니다.
2. 디커플링된 듀얼 브랜치 네트워크: Head 와 Tail 관계의 학습을 분리하여 경사 충돌을 해결하고, 두 클래스 간의 동적 균형을 보장하는 아키텍처를 설계했습니다.
3. 유연한 분류 헤드: 불확실성 추정이 가능한 Bayesian Head와 Tail 클래스 표현력을 강화한 GMM-Plus Head를 제안하여 다양한 시나리오에 적용 가능한 강건한 분류 체계를 구축했습니다.

4. 실험 결과 (Results)

• 데이터셋: Action Genome (AG) 데이터셋을 사용하여 평가했습니다.
• 평가 지표: PREDCLS, SGCLS, SGDET 태스크에서 Recall@K (R@K) 및 Mean Recall@K (mR@K) 를 측정했습니다. mR@K 는 장꼬리 분포에서의 성능을 평가하는 핵심 지표입니다.
• 성능:
  • SOTA 달성: FReMuRe+GMM-Plus 는 SGCLS 태스크에서 R@50 (46.6) 및 mR@50 (30.6) 에서, SGDET 태스크에서 mR@50 (22.5) 에서 기존 최첨단 모델 (RelDN, TRACE, STTran, TEMPURA 등) 을 능가하는 결과를 기록했습니다.
  • Tail 클래스 개선: 특히 mR@K 지표에서 큰 향상을 보였으며, 이는 드문 관계에 대한 모델의 학습 능력이 크게 개선되었음을 의미합니다.
• 애블레이션 연구 (Ablation Study):
  • 디커플링 전략 (Decoupling) 을 제거할 경우 성능이 가장 크게 저하됨을 확인하여, 경사 충돌 해결의 중요성을 입증했습니다.
  • 주파수 메커니즘, 듀얼 브랜치, 특수 분류 헤드 각각이 전체 성능에 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 장면 그래프 생성 분야에서 장꼬리 분포 문제를 해결하기 위한 새로운 패러다임을 제시합니다. 단순히 손실 함수를 재가중치하거나 리샘플링하는 기존 접근법과 달리, **학습 메커니즘 자체 (경사 흐름 분리 및 주파수 기반 특징 보정)**를 재설계하여 드문 관계의 표현 능력을 근본적으로 강화했습니다.

특히, 불확실성을 고려한 확률적 모델링 (Bayesian) 과 다중 프로토타입을 활용한 GMM-Plus 접근법은 복잡한 비디오 환경에서의 추론 강건성을 높였으며, Action Genome 데이터셋에서의 SOTA 성능은 제안된 프레임워크의 유효성을 강력하게 입증합니다. 이는 향후 비디오 이해 및 이벤트 추론과 같은 고수준 응용 분야에서 드문 사건이나 관계의 인식 능력을 향상시키는 데 중요한 기여를 할 것으로 기대됩니다.