Hand Trajectory Fusion for Egocentric Natural Language Query Grounding

기술 요약: 에고센트릭 자연어 질의 그라운딩을 위한 손 궤적 융합

문제 정의
에고센트릭(Egocentric) 자연어 질의(NLQ) 그라운딩은 긴 1인칭 비디오 내에서 자유 형식의 텍스트 질의에 해당하는 시간적 구간 $[t_s, t_e]$를 국지화하는 것을 목표로 합니다. GroundNLQ와 같은 최신 시스템들은 대규모 사전 학습된 인코더를 사용하여 비디오 외형과 텍스트 의미를 효과적으로 융합하지만, 손의 움직임을 간과하는 경우가 많습니다. 이는 중요한 결함인데, 왜냐하면 Ego4D NLQ 데이터셋 내 질의의 약 41%가 손과 물체의 조작 또는 그 직후의 결과가 발생하는 순간에 답변되기 때문입니다. 시선(gaze)이나 객체 탐지(object detection)와 같은 기존의 보조 양식(auxiliary modalities)은 탐구되었으나, 손 궤적(hand trajectory)을 NLQ 그라운딩을 위한 별도의 양식으로서 활용하는 연구는 1인칭 활동의 중심성에도 불구하고 아직 미개척 분야로 남아 있습니다.

방법론
제안된 접근 방식은 희소한 손 골격 데이터를 비디오-텍스트 표현과 통합하기 위해 **손 궤적 인코더(Hand-Trajectory Encoder)**와 궤적 융합(Trajectory Fusion) 모듈을 도입합니다. 아키텍처는 다섯 가지 주요 구성 요소로 이루어져 있습니다:

1. 인코더:

   • 비디오 인코더: 사전 학습된 고정된 백본(InternVideo 및 EgoVLP)을 사용하여 에고센트릭 클립을 비디오 토큰($E_v$)으로 임베딩합니다.
   • 텍스트 인코더: 고정된 CLIP 모델을 사용하여 자연어 질의를 텍스트 토큰($E_t$)으로 임베딩합니다.
   • 궤적 인코더: MediaPipe를 통해 추출된 손 골격의 시계열 시퀀스를 밀집된 비디오 정렬 운동학적 특징($E_h$)으로 처리하는 학습 가능한 모듈입니다. 이는 두 단계로 분해된 시공간 트랜스포머(spatio-temporal transformer)를 사용합니다:
     • 공간적 집계(Spatial Aggregation): 크로스 어텐션(cross-attention)을 사용하여 한 손당 21개의 해부학적 랜드마크를 하나의 프레임 수준 기술자로 풀링하며, 이때 탐지되지 않은 랜드마크는 명시적으로 마스킹합니다.
     • 시간적 모델링(Temporal Modeling): 셀프 어텐션(self-attention)을 적용하여 이러한 기술자들의 프레임 간 진화를 모델링함으로써 조작 역학(접근, 접촉, 해제)을 포착합니다. 정보 누출을 방지하기 위해 탐지되지 않은 프레임은 마스킹됩니다.

2. 궤적 융합:

   • 이 모듈은 적응형 게이팅(adaptive gating)을 포함한 크로스 어텐션 전략을 사용하여 $E_h$와 $E_t$를 비디오 토큰 $E_v$에 통합합니다.
   • 두 개의 독립적인 크로스 어텐션 메커니즘은 비디오 토큰이 궤적 및 텍스트 스트림을 쿼리하도록 하여 풍부해진 표현($E_{vh}$ 및 $E_{vt}$)을 생성합니다.
   • 적응형 게이팅: 균등한 합산 대신, 궤적 및 텍스트 브랜치의 기여도는 학습된 스칼라 게이트($g_h$ 및 $g_t$)에 의해 스케일링됩니다. 이 게이트들은 각 크로스 어텐션 출력의 시간적 평균에 적용되는 경량 MLP를 통해 계산됩니다. 이를 통해 네트워크는 손 탐지가 희소하거나 관련이 없을 때 궤적 신호를 선택적으로 감쇄할 수 있습니다.
   • 셀프 어텐션 정제 블록이 병합된 표현을 추가로 처리하여 최종 멀티모달 출력($E_o$)을 생성합니다.

3. 예측:

   • 시간적 세그먼트 예측 헤드(Temporal Segment Prediction head)가 융합된 표현 $E_o$로부터 답변 구간 $[t_s, t_e]$를 예측합니다.

주요 기여

• 새로운 양식: 본 연구는 에고센트릭 NLQ 그라운딩을 위한 보조 양식으로서 손 궤적을 처음으로 연구하였으며, 약 41%의 질의가 수동 조작에 의존한다는 점을 해결했습니다.
• 강건한 궤적 인코딩: 설계 단계에서부터 손 탐지의 희소성(Ego4D 프레임의 평균 약 41%에서만 손이 보임)을 처리하기 위해 공간 및 시간 트랜스포머 단계 모두에서 마스킹 메커니즘을 명시적으로 활용했습니다.
• 적응형 융합: 학습된 콘텐츠 의존적 게이팅 메커니즘의 도입을 통해 비디오 및 텍스트 특징과 손 궤적 신호의 가중치를 동적으로 조절함으로써, 탐지되지 않은 프레임으로부터 발생하는 노이즈가 성능을 저하시키는 것을 방지했습니다.

실험 결과
시스템은 Ego4D NLQ v2 검증 분할(4,552개 질의-클립 쌍)에 대해 $R_m@IoU=n$ 지표를 사용하여 평가되었습니다.

• 카테고리별 이득: 조작과 직접적으로 관련된 카테고리에서 가장 유의미한 개선이 관찰되었습니다:
  • 손-물체 상호작용(HOI): $R1@IoU=0.3$에서 +2.54 개선.
  • 수량/상태(Quantity/State): $R1@IoU=0.3$에서 +4.32 개선.
  • HOI 내에서 이득은 특정 액션 템플릿(예: "내가 X 안에 무엇을 넣었나?")에 집중되었으며, 이는 궤적 단서가 동작의 특정 순간을 국지화하는 데 도움이 됨을 확인시켜 줍니다.
• 전반적인 성능: 제안된 모델은 전체 $R1@IoU=0.3$에서 +0.77의 이득을,$R1@IoU=0.5$에서 +1.39의 이득을 달-성했습니다. 더 엄격한 IoU 임계값에서 더 큰 이득을 보인 것은 손의 운동학이 올바른 시간적 영역을 검색할 뿐만 아니라 국지화 정밀도를 높이는 데도 기여함을 시사합니다.
• 효율성: 궤적 인코더는 무거운 비디오 및 텍스트 백본을 고정한 상태에서 처음부터 학습되면서도 단 195K개의 파라미터(전체 모델의 0.6%)만을 추가합니다.

의의 및 한계
본 논문은 손의 운동학이 시각적 외형을 보완하는 가볍고 정보가 풍부한 신호를 제공하며, 특히 물체 조작과 관련된 질의에 효과적이라고 주장합니다. 이 설계는 사전 학습된 백본을 수정하지 않고도 보조 양식을 효과적으로 통합할 수 있음을 보여줍니다.

저자들은 주요 한계점으로 **탐지 희소성(detection sparsity)**을 겸허히 인정합니다. 손은 프레임의 41%에서만 보이기 때문에 궤적 브랜치의 기여도는 본질적으로 제한됩니다. 논문은 향-후 에고센트릭 손 탐지 기술이 향상되면 그-대로 더 강력한 그라운딩 성능으로 직결될 것이라고 상정합니다. 또한, 궤적 융합 모듈은 양식 불가지론적(modality-agnostic)으로 설명되어 있어, 시선(gaze)이나 더 큰 규모의 학습 시나리오와 같은 다른 신호로 자연스럽게 확장될 수 있음을 시사합니다.