Why Can't I Open My Drawer? Mitigating Object-Driven Shortcuts in Zero-Shot Compositional Action Recognition

1. 문제 정의 (Problem)

ZS-CAR 은 학습 데이터에서 보지 못한 새로운 '동사 - 명사 (Verb-Object)' 조합을 인식하는 것을 목표로 합니다. 그러나 기존 모델들은 다음과 같은 이유로 실제 구성적 일반화 (Compositional Generalization) 에 실패합니다.

• 객체 주도 단축 (Object-driven Shortcuts): 모델이 행동의 동적 특성 (시간적 맥락) 을 학습하는 대신, 학습 데이터에서 특정 객체와 자주 함께 등장하는 동사 패턴 (공발생 확률, Co-occurrence Prior) 을 암기하여 동사를 예측합니다.
  • 예: '서랍 (Drawer)'이라는 객체가 인식되면, 학습 데이터에서 '서랍'과 가장 자주 짝을 이루는 '열기 (Open)'를 예측하고, 실제로는 '닫기 (Close)'인 경우에도 이를 무시합니다.
• 근본 원인:
  1. 희소하고 편향된 구성적 감독 (Sparse & Skewed Supervision): 학습 데이터는 가능한 모든 동사 - 객체 조합의 극히 일부만 포함하며, 특정 조합에 편향되어 있어 모델이 통계적 편향을 학습하게 만듭니다.
  2. 비대칭적 학습 난이도 (Asymmetric Learning Difficulty): 객체는 단일 프레임으로도 쉽게 인식 가능하지만, 동사는 여러 프레임 간의 시간적 변화를 이해해야 하므로 학습이 더 어렵습니다. 모델은 쉬운 신호 (객체) 에 의존하는 경향이 있습니다.

2. 진단 및 분석 (Diagnosis)

저자들은 기존 모델이 어떻게 실패하는지를 정량적으로 분석하기 위해 두 가지 진단 지표를 도입했습니다.

• 거짓 관측 예측 (False Seen Prediction, FSP): 보지 못한 (Unseen) 입력을 학습된 (Seen) 조합으로 잘못 예측하는 비율.
• 거짓 공발생 예측 (False Co-occurrence Prediction, FCP): 학습 데이터에서 빈번하게 등장하는 조합으로 잘못 예측하는 비율.

분석 결과:

• 기존 SOTA 모델 (C2C 등) 은 FSP/FCP 가 높게 나타나며, 특히 '동사 붕괴 (Verb-collapse, 객체는 맞지만 동사가 틀림)' 현상이 빈번하게 발생했습니다.
• 이는 모델이 시간적 증거를 무시하고 객체 정보만으로 동사를 추론하고 있음을 의미합니다.

3. 제안 방법: RCORE (Robust COmpositional REpresentations)

객체 주도 단축을 완화하기 위해 두 가지 정규화 (Regularization) 기법을 제안합니다.

A. 공발생 사전 정규화 (Co-occurrence Prior Regularization, CPR)

학습 데이터에 존재하지 않는 새로운 조합에 대한 감독을 제공하면서, 빈번한 조합의 지배력을 억제합니다.

• 합성 조합 감독 (Synthesized Composition Supervision): 고운동 영역 (High-motion region) 을 유지한 채 다른 비디오의 정적 객체 프레임을 합성하여 새로운 '동사 - 객체' 조합을 생성합니다.
• 하드 네거티브 정규화: 생성된 합성 조합이 학습 데이터에서 자주 등장하는 (Frequent) 기존 조합들보다 높은 점수를 받도록 마진 (Margin) 기반 손실 함수를 적용합니다. 이를 통해 모델이 빈번한 공발생 패턴에 의존하는 것을 방지합니다.
• 배치 적응형 레이블 공간 확장: 전체 조합 공간 전체를 학습하는 것이 불안정할 수 있으므로, 미니배치 내에서 합성된 새로운 조합만 포함하는 확장된 레이블 공간에서 교차 엔트로피를 계산합니다.

B. 구성을 위한 시간 순서 정규화 (Temporal Order Regularization for Composition, TORC)

동사 표현이 정적 객체 신호에 의존하지 않고 시간적 구조에 기반하도록 강제합니다.

• 시간 역전 분리 (Temporal Reversal Separation): 비디오 프레임을 거꾸로 뒤집은 (Reversed) 시퀀스와 원본 시퀀스의 특징 벡터 간 코사인 유사도를 최소화합니다. (예: '열기'와 '닫기'는 시간 순서가 반대이므로 특징이 달라야 함).
• 불확실성 유도 (Entropy Maximization): 시간 순서가 무작위로 섞인 (Shuffled) 입력에 대해 동사 예측의 엔트로피를 최대화합니다. 이는 모델이 정적 프레임만으로 확신을 가지고 예측하는 것을 방지하고, 시간적 맥락이 깨졌을 때는 예측을 망설이게 만듭니다.

4. 실험 결과 (Results)

Sth-com (Something-Something V2 기반) 과 EK100-com (EPIC-KITCHENS-100 기반) 데이터셋에서 CLIP 및 InternVideo2 백본을 사용하여 평가했습니다.

• 성능 향상: RCORE 는 기존 SOTA 모델 (C2C) 대비 보지 못한 (Unseen) 조합의 정확도를 크게 향상시켰습니다.
  • Sth-com (CLIP 백본): Unseen 조합 정확도 30.08% → 33.90% 향상.
  • EK100-com (CLIP 백본): Unseen 조합 정확도 21.56% → 28.41% 향상.
• 단축 현상 감소: FSP 및 FCP 지표가 크게 감소하여, 모델이 학습된 빈번한 패턴에 의존하지 않고 실제 조합을 인식함을 증명했습니다.
• 시간적 민감도: 시간 순서가 뒤섞인 입력에 대해 RCORE 는 성능이 급격히 떨어지는 반면, 기존 모델은 큰 변화가 없었습니다. 이는 RCORE 가 동적 시간적 특징을 학습했음을 의미합니다.
• 구성적 간격 (Compositional Gap, $\Delta_{CG}$): 기존 모델은 Unseen 조합에서 $\Delta_{CG}$가 음수였으나, RCORE 는 양수를 기록하여 동사와 객체를 독립적으로 인식하는 것보다 조합을 함께 인식할 때 더 나은 성능을 보임을 입증했습니다.

5. 의의 및 기여 (Significance & Contributions)

1. 문제 규명: ZS-CAR 분야에서 '객체 주도 단축'이 일반화 실패의 핵심 원인임을 최초로 체계적으로 진단하고, FSP/FCP 지표를 통해 정량화했습니다.
2. 효과적인 프레임워크: 희소하고 편향된 데이터 환경에서도 robust 한 구성적 표현을 학습하기 위한 CPR 과 TORC 를 포함한 RCORE 를 제안했습니다.
3. 실용적 평가 프로토콜: 테스트 세트 라벨을 이용한 편향 보정 (Bias Calibration) 없이도, 오픈 월드 (Open-world) 설정에서 우수한 성능을 발휘하여 실제 적용 가능성을 높였습니다.
4. 데이터셋 확장: EPIC-KITCHENS-100 을 기반으로 한 새로운 ZS-CAR 벤치마크인 EK100-com을 구축하여, 더 극단적인 희소성을 가진 환경에서의 모델 성능을 평가할 수 있게 했습니다.

이 연구는 비디오 이해 모델이 단순한 객체 인식이나 통계적 편향을 넘어, 행동의 시간적 역학을 진정으로 이해하도록 만드는 중요한 통찰을 제공합니다.