Integrating Affordances and Attention models for Short-Term Object Interaction Anticipation

1. 문제 정의 (Problem)

• 목표: 1 인칭 시점 비디오를 관찰하여, 사용자가 다음에 상호작용할 물체의 위치 (바운딩 박스), 상호작용의 명사 (물체) 와 동사 (행동) 카테고리, 그리고 상호작용까지의 시간 (Time-to-Contact) 을 동시에 예측하는 것.
• 도전 과제:
  • 과거의 시각적 관찰과 미래의 사건을 연결하는 복잡성.
  • 기존 방법들이 물체 감지와 행동 예측을 분리하거나, 환경의 맥락 (Affordance) 을 충분히 활용하지 못함.
  • 고정된 아키텍처로는 다양한 시나리오에 대한 일반화가 어려움.

2. 제안된 방법론 (Methodology)

저자들은 두 가지 주요 혁신을 통해 STAformer 와 STAformer++ 라는 아키텍처를 제안했습니다.

A. 새로운 어텐션 기반 아키텍처 (STAformer & STAformer++)

기존의 합성곱 신경망 (CNN) 기반 접근법을 넘어, 트랜스포머 (Transformer) 를 활용한 엔드 - 투 - 엔드 아키텍처를 설계했습니다.

1. **특징 추출 **(Feature Extraction)
   • 이미지: 고해상도 프레임은 DINOv2(STAformer) 또는 Swin-T(STAformer++) 를 사용하여 정밀한 공간적 특징을 추출합니다.
   • 비디오: 저해상도 프레임 시퀀스는 TimeSformer(STAformer) 또는 EgoVideo(STAformer++) 를 사용하여 시공간적 동역학을 포착합니다.
2. **프레임 유도 시간 풀링 어텐션 **(Frame-guided Temporal Pooling)
   • 비디오 토큰을 마지막 프레임의 공간적 참조 시스템에 정렬하여 3D 특징을 2D 특징으로 압축합니다. 이는 마지막 프레임의 위치와 과거의 동작을 정밀하게 매칭합니다.
3. **이중 이미지 - 비디오 어텐션 **(Dual Image-Video Attention)
   • 이미지 토큰과 비디오 토큰 간의 상호 보완적 정보를 강화하기 위해 양방향 크로스 어텐션 (Cross-Attention) 을 적용합니다. 이미지는 비디오의 동역학을, 비디오는 이미지의 세부 사항을 참조하여 특징을 풍부하게 만듭니다.
4. 검출 헤드의 진화:
   • STAformer: Faster R-CNN 기반의 검출 헤드를 사용합니다.
   • STAformer++: **DETR **(Detection Transformer) 기반의 헤드로 교체하여, 수동으로 설계된 앵커 (Anchor) 나 NMS(Non-Maximum Suppression) 없이 엔드 - 투 - 엔드로 물체를 검출하고 예측합니다. 또한, **Contrastive DeNoising **(CDN)을 도입하여 학습 수렴 속도를 높였습니다.

B. 환경 affordance(가능성) 모델링 (Environment Affordances)

기존의 시각적 데이터만으로는 부족할 수 있어, Gibson 이 제안한 'Affordance(환경이 에이전트에게 제공하는 행동 가능성)' 개념을 통합하여 인간의 행동을 기반으로 예측을 정제합니다.

1. **지속적 기억 **(Persistent Memory)
   • 학습 데이터셋에서 시각적으로 유사한 장면들을 그룹화하여 'Affordance Zone(영역)'을 구축합니다. 각 영역은 해당 환경에서 발생할 수 있는 명사/동사 상호작용의 확률 분포를 저장합니다.
2. 두 가지 통합 전략:
   • **고정된 Late Fusion **(Inference 시) 입력 비디오와 가장 유사한 K 개의 영역을 찾아 affordance 확률 분포를 계산한 후, 모델의 예측 결과와 가중치를 곱해 정제합니다.
   • **학습된 어텐션 **(Training 시) 새로운 비디오와 affordance 데이터베이스 간의 유사성을 학습 가능한 어텐션 메커니즘을 통해 동적으로 매칭합니다. 이는 고정된 K 값을 사용하지 않고, 모든 잠재적 후보를 고려하여 유연하게 affordance 분포를 학습하게 합니다.

C. 상호작용 핫스팟 (Interaction Hotspots)

• 손과 물체의 궤적을 예측하여 상호작용이 일어날 가능성이 높은 공간적 영역 (Hotspot) 을 생성합니다.
• 이 핫스팟 맵을 사용하여 모델이 예측한 물체의 신뢰도 점수 (Confidence Score) 를 재가중치 (Re-weight) 합니다. 핫스팟에서 멀리 떨어진 물체의 예측 신뢰도를 낮추어 오탐지를 줄입니다.

3. 주요 기여 (Key Contributions)

1. STAformer 및 STAformer++ 아키텍처 개발: 이미지 - 비디오 쌍을 처리하는 최신 트랜스포머 기반 아키텍처를 제안하며, 프레임 유도 풀링과 이중 어텐션을 통해 시공간적 특징을 효과적으로 융합합니다.
2. Affordance 기반 예측 정제: 환경 affordance 를 모델링하여 예측을 인간의 과거 행동 패턴에 기반하도록 'Grounding'합니다. 특히 학습 중에 affordance 분포를 적응적으로 학습하는 메커니즘을 처음 도입했습니다.
3. 상호작용 핫스팟 통합: 손과 물체의 궤적 예측을 통해 공간적 우선순위를 부여하여 예측의 정확도를 높입니다.
4. 오픈 소스 및 데이터셋 확장: 코드, 주석, 그리고 EPIC-Kitchens 데이터셋에 대한 새로운 STA 주석 데이터를 공개하여 후속 연구를 촉진합니다.

4. 실험 결과 (Results)

Ego4D 및 EPIC-Kitchens 데이터셋의 검증 및 테스트 세트에서 State-of-the-Art(SOTA) 성능을 달성했습니다.

• Ego4D v1 검증 세트:
  • STAformer++(학습된 affordance 적용) 는 기존 최상위 모델 대비 Overall Top-5 mAP 에서 +23.6%(4.66 vs 3.77) 의 상대적 개선을 기록했습니다.
  • 명사 (Noun) 예측 정확도 (mAP) 는 +36.3% 향상되었습니다.
• Ego4D v2 검증 세트:
  • Overall Top-5 mAP 에서 +10.4% 향상 (6.26).
• **EPIC-Kitchens **(새로운 벤치마크)
  • 기존 StillFast 모델 대비 Overall mAP 에서 +31.5% 의 압도적인 향상 (8.67) 을 보였습니다. 이는 제안된 프레임워크의 다양한 데이터셋에 대한 일반화 능력을 입증합니다.
• **성분 분석 **(Ablation Study)
  • DETR 기반 헤드가 Faster R-CNN 대비 검출 성능을 크게 향상시킴.
  • 학습된 affordance 가 고정된 affordance 보다 더 유연하고 정확한 예측을 제공함.
  • 상호작용 핫스팟 모듈이 오탐지 감소에 기여함.

5. 의의 및 결론 (Significance)

이 논문은 1 인칭 시점 비디오 이해 분야에서 다음과 같은 중요한 의의를 가집니다:

1. 맥락적 이해의 심화: 단순히 시각적 특징뿐만 아니라, '환경이 어떤 행동을 허용하는가 (Affordance)'에 대한 지식을 통합함으로써, 모델이 인간의 의도와 목표를 더 잘 이해하도록 했습니다.
2. 차세대 아키텍처 제시: CNN 기반의 전통적인 접근에서 벗어나, 트랜스포머와 DETR 을 활용한 엔드 - 투 - 엔드 예측의 가능성을 입증했습니다.
3. 실용적 응용: 웨어러블 보조 기기나 인간 - 로봇 상호작용 (HRI) 시스템에서 사용자의 다음 행동을 정확히 예측하여 적시에 도움을 줄 수 있는 기술적 기반을 마련했습니다.

결론적으로, 이 연구는 시각적 특징 추출, affordance 기반의 맥락적 추론, 공간적 핫스팟 예측을 통합한 강력한 프레임워크를 제시하여, 단기 물체 상호작용 예측 분야의 새로운 기준을 제시했습니다.