기술 요약: EPIC-KITCHENS 동작 감지를 위한 EgoAction

1. 문제 정의

본 논문은 EPIC-KITCHENS-100 동작 감지 챌린지를 다루며, 이는 모델이 긴 비편집된 1 인칭 시점 (egocentric) 비디오에서 동작 인스턴스의 시작 및 종료 시간을 국소화하고, 동사와 명사로 구성된 조합형 레이블 (예: "냉장고 열기") 을 할당해야 하는 과제를 포함합니다.

핵심적인 어려움은 시간적 국소화 (temporal localization) 와 조합적 의미 (compositional semantics) 의 결합에 있습니다. 예측이 정확하려면 시간적 교집합 비율 (tIoU) 이 임계값을 초과해야 그리고 동사 - 명사 쌍이 정확해야 합니다. 저자들은 이 설정에서 세 가지 구체적인 병목 현상을 식별했습니다:

• C1: 경계 모호성: 1 인칭 시점 카메라의 흔들림과 짧은 상호작용 단계로 인해 분류가 정확하더라도 제안 (proposals) 의 시간적 이동이 발생합니다.
• C2: 스트림별 열화: 명사 스트림은 가려짐이나 혼란으로 인해 종종 실패하는 반면, 동사 스트림은 미묘하거나 지연된 움직임으로 인해 실패합니다. 두 스트림의 경계를 고정된 산술 평균으로 결합하면 한 스트림이 신뢰할 수 없을 때 오류가 증폭됩니다.
• C3: 조합적 희소성: 97 개의 동사와 300 개의 명사로 인해 동작 공간은 광대하지만 희소합니다. 시스템은 비최대 억제 (NMS) 전에 조합적 폭발 없이 풍부한 후보를 유지해야 합니다.

2. 방법론: EgoAction

제안된 시스템인 EgoAction(신뢰도 인식 시간적 융합을 통한 1 인칭 동작 조합) 은 통합된 분리형 감지 파이프라인입니다. 이는 명사와 동사를 단일 결합 감지기로 강제하지 않고, 대신 가변적인 국소화 신뢰도를 가진 상호 보완적인 스트림으로 취급합니다.

2.1. 특징 추출

파이프라인은 EPIC-KITCHENS 에서 미세 조정된 사전 추출된 VideoMAE-L 특징을 활용합니다. 특징은 30 FPS 비디오에서 클립 길이가 16 이고 스니펫 스트라이드가 8 인 조건으로 추출됩니다. 긴 비디오의 경우, 최대 4608 개의 특징 단계와 50% 중첩을 가진 슬라이딩 윈도우 추론이 사용됩니다.

2.2. 분리형 인과적 시간적 감지

시스템은 OpenTAD 구현을 기반으로 명사와 동사를 위한 두 개의 별도 CausalTAD 스타일 감지기를 사용합니다.

• 아키텍처: 특징은 인과적 시간적 표현으로 투영되어 7 단계의 다중 시간적 피라미드를 통해 처리됩니다.
• 헤드: 앵커 프리 감지 헤드는 포인트별 클래스 확률과 세그먼트 경계까지의 거리를 예측합니다.
• 학습: 명사와 동사 감지기는 AdamW, 혼합 정밀도, EMA 가중치를 사용하여 train+val 분할에서 별도로 학습됩니다.
• 교차 스트림 상호작용 (선택 사항): 불확실성 게이트가 교차 주의 (cross-attention) 전에 신뢰할 수 없는 보조 특징을 억제하는 이중 스트림 변형이 탐구되었으나, 최종 제출은 신뢰성 결정을 후처리 단계로 이동시켜 견고성을 보장하기 위해 스트림을 분리된 상태로 유지합니다.

2.3. 조합형 동작 점수 매기기

정렬된 제안 인덱스 $j$마다, 시스템은 상위 $K$개 명사와 동사 후보 ($K_n=10, K_v=10$) 를 결합합니다.

• 점수 계산: 동작 점수는 명사와 동사 확률의 기하 평균입니다: $S_{j,p,q} = \sqrt{P^n_{j,p} P^v_{j,q}}$. 이는 객체와 운동 증거가 모두 이를 지지할 때만 후보가 강력하도록 보장합니다.
• 경계 융합: 핵심 혁신은 동적 가중 융합 (DWF) 입니다. 고정된 산술 평균 대신, 시스템은 각 스트림의 최대 분류 신뢰도 ($C^n_j$ 및 $C^v_j$) 를 기반으로 제안별 가중치를 계산합니다.
  • 가중치: $W^n_j = \frac{C^n_j}{C^n_j + C^v_j + \epsilon}$ 및 $W^v_j = \frac{C^v_j}{C^n_j + C^v_j + \epsilon}$.
  • 융합된 경계: $\hat{b}_j = W^n_j b^n_j + W^v_j b^v_j$.
  • 논리: 이는 의미적 동작 점수를 변경하지 않고 더 신뢰할 수 있는 스트림 (예: 명사가 가려진 경우 동사 스트림이 시간적 국소화를 지배함) 으로 경계 권한을 이동시킵니다.

2.4. 후처리

융합된 제안은 중복된 검출을 억제하기 위해 클래스별 Soft-NMS를 거칩니다. 시스템은 슬라이딩 윈도우 결과를 집계하여 최종 JSON 제출 파일을 출력합니다.

3. 주요 기여

1. 문제 분석: 저자들은 1 인칭 시점 경계 모호성, 스트림별 열화, 그리고 조합적 희소성으로 인해 EPIC-KITCHENS 에는 직접적인 결합 감지나 고정된 이중 스트림 융합이 불충분하다고 식별했습니다.
2. EgoAction 파이프라인: EPIC 에서 미세 조정된 VideoMAE-L 특징, 요소별 시간적 감지기, 그리고 경계 후처리를 위한 새로운 동적 가중 융합 (DWF) 규칙을 사용하는 분리형 인과적 감지 파이프라인입니다.
3. 성능: 시스템은 한 지표를 개선하면 다른 지표가 저하되는 트레이드오프를 피하면서 요소 간 균형 잡힌 성능을 달성했습니다.

4. 실험 결과

시스템은 공식 2026 EPIC-KITCHENS 동작 감지 리더보드 (Codabench) 에서 평가되었습니다.

• 동작 mAP: 25.94 (tIoU 0.1~0.5 평균).
• 동사 mAP: 28.66.
• 명사 mAP: 28.61.
• 순위: 시스템은 모든 제출물 중 3 위를 기록하여 2 위와 0.31 점 차이로 뒤처졌고 4 위보다 1.73 점 더 높았습니다.
• Ablation 통찰: 요소 수준 mAP(~28.6) 와 동작 mAP(25.94) 사이의 격차는 시간적 국소화 정밀도, 특히 높은 tIoU 임계값 (0.5) 에서의 정밀도가 주요 병목 현상임을 보여줍니다. DWF 는 스트림 신뢰도에 기반하여 경계 권한을 적응시킴으로써 이를 구체적으로 해결합니다.

5. 중요성과 주장

본 논문은 EgoAction 이 1 인칭 시간적 동작 감지를 위한 간결하고 재현 가능한 시스템을 제공한다고 주장합니다. 그 주요 중요성은 동사와 명사 스트림이 서로 다른 방식 (운동 대 가시성) 으로 실패한다는 관찰과 경계의 고정된 평균은 최적이지 않다는 점에 있습니다.

하드코딩된 평균을 동적 가중 융합으로 대체함으로써, 시스템은 분리된 동작 점수 매기기 메커니즘을 유지하면서 더 신뢰할 수 있는 스트림으로 경계 권한을 이동시킵니다. 저자들은 이것이 학습된 보정 헤드가 필요 없는 경량 텐서 전용 연산자이므로 과적합을 피하면서도 1 인칭 비디오 데이터에 내재된 스트림 신뢰도 비대칭성을 효과적으로 해결한다고 강조합니다. 결과는 비편집된 비디오에서 조합형 동작 감지를 위해 국소화 결정을 의미 점수 매기기에서 분리한 후 신뢰도에 기반하여 융합하는 것이 우월한 전략임을 보여줍니다.