기술 요약: 저지연 인간 행동 예측을 위한 포즈 기반 광학 흐름(Pose-Anchored Optical Flow)

문제 정의

효과적인 인간-로봇 상호작용(HRI)을 위해서는 로봇이 안전, 협업 및 자연스러운 차례 지키기를 보장하기 위해 인간의 행동이 전개되는 과정을 해석할 수 있어야 합니다. 인간 행동 인식 분야에서 상당한 진전이 이루어졌음에도 불구하고, **행동 조기 예측(early action anticipation)**은 여전히 어려운 과제로 남아 있습니다. 기존의 접근 방식은 크게 두 가지 범주로 나뉘며 각각 뚜로 다른 트레이드오프를 가집니다:

1. 골격 기반 방법(Skeleton-based methods): 이 방식은 희소한 골격 표현(관절 궤적)에 의존합니다. 이는 계산 효율성이 높고 배경 변화에 강건하지만, 세밀한 움직임 정보를 놓칩니다. 이는 동작의 초기 단계에서 유사한 포즈 구성과 다른 움직임 역학을 가진 행동들을 구별하는 능력을 제한합니다.
2. 밀집 모션 방법(Dense motion methods): 밀집 광학 흐름(optical flow)이나 트랜스포머 기반 시공간 모델링을 사용하는 방식은 풍부한 모션 단서를 포착하지만, 높은 계산 비용을 초과합니다. 이는 실시간 상호작용형 로봇 시스템에 필요한 저지연 인지 파이프라인에 적합하지 않습니다.

핵적인 문제는 효율성과 모션 충실도(motion fidelity) 사이의 균형을 맞추는 표현법, 즉 전체 프레임을 처리하는 오버헤드 없이도 조기 의도 추론을 지원할 수 있는 표현법이 부족하다는 점입니다.

방법론: PoseOFF

저자들은 인간의 신체 구조와 정렬된 국소적 움직임 역학을 인코딩하도록 설계된 포즈 기반 광학 흐름 표현인 PoseOFF를 제안합니다. 밀집된 전역 모션 표현이나 병렬 처리 스트림과 달리, PoseOFF는 인간 포즈 키포인트에 기반하여 모션 추출을 명시적으로 조건화합니다.

표현 구축

1. 입력: 추출된 인간 골격 키포인트($M$개의 스켈레톤, 스켈레톤당 $V$개의 관절)가 포함된 RGB 비디오 시퀀스($T$ 프레임).
2. 광학 흐름 추출: 연속된 프레임 사이의 광학 흐름 벡터($u, v$ 벡터)를 계산합니다.
3. 국소 샘플링(Local Sampling): 전체 프레임을 처리하는 대신, PoseOFF는 각 탐지된 관절 위치를 중심으로 하는 국소 $N \times N$ 윈도우의 광학 흐름 벡터를 추출합니다. 팽창 계수(dilation factor)가 이 윈도우의 공간적 범위를 제어합니다.
4. 특징 인코딩: 국소 광학 흐름 벡터를 평탄화(flatten)하고 그에 대응하는 포즈 특징(좌표 및 신뢰도)과 결합합니다. 이를 통해 관절당 $(N, N, 2) + C_{pose}$ 차원의 통합된 포즈 조건부 특징 벡터를 생성합니다.
5. 통합: 결과물인 표현은 경량 임베딩 레이어를 통해 기존 골격 기반 행동 인식 아키텍처(예: ST-GCN++, MS-G3D, InfoGCN++)로 전달됩니다. 이 레이어는 단순한 CNN(두 개의 컨볼루션 레이어, 풀링, 그리고 선형 레이어)으로 구성되어, 광학 흐름 윈도우로부터 특징을 학습한 후 이를 원래의 골격 좌표와 결합합니다.

구현 세부 사항

• 데이터셋: NTU RGB+D 60, NTU RGB+D 120(그라운드 트루스 3D 스켈레톤 제공), 그리고 UCF101(추정된 스켈레톤이 포함된 비제약 "인 더 와일드(in-the-wild)" 영상)에서 평가되었습니다.
• 광학 흐름: RAFT 알고리즘을 사용하여 계산되었습니다.
• 평가: 모델은 전체 시퀀스 분류 및 템포럴 마스킹된 시퀀스(부분 관측 비율)에 대해 테스트되었습니다.

주요 기여

1. PoseOFF 표현: 인간의 관절에 고정된 새로운 구조적 모션 표현으로, 밀집된 또는 병렬적인 모션 표현에 대한 신체 정렬 대안을 제공합니다.
2. 조기 예측 능력: 국소적 모션 단서를 통합함으로써 모델이 훨씬 적은 프레임의 행동 시퀀스를 관찰하고도 유사하거나 개선된 인식 정확도를 달야할 수 있음을 입증했습니다.
3. HRI를 위한 실용성: 타겟팅된 저지연 모션 표현이 전체 프레임 모션 처리를 요구하지 않고도 더 빠르고 반응적인 행동을 지원함으로써 인간-로봇 상호작용을 향상시킬 수 있음을 검증했습니다.

실험 결과

저자들은 세 가지 백본 아키텍처와 세 가지 데이터셋에 대해 PoseOFF를 평가하였으며, 이를 기준으로 하는 골격 전용 모델들과 성능을 비교했습니다.

• 행동 분류 (Action Classification): PoseOFF는 모든 데이터셋에서 일관된 정확도 향상을 보였습니다.
  • NTU RGB+D 60: 평균 +2.14% 향상.
  • NTU RGB+D 120: 평균 +6.84% 향상.
  • UCF101: 평균 +11.22% 향상. UCF101에서의 성과는 특히 주목할 만하며, 이는 PoseOFF가 돌출된 모션 맥락을 추가함으로써 비제약 환경에서의 잘못 배치된 키포인트에 대한 강건성을 제공함을 시사합니다.
• 행동 예측 (조기 예측):
  • PoseOFF는 모델이 관찰된 프레임 수가 적음에도 불구하고 베이스라인의 전체 시퀀스 정확도에 도달할 수 있게 했습니다.
  • NTU RGB+D 60에서, 모델은 전체 시퀀스 성능을 맞추기 위해 80%(ST-GCN++ 및 MS-G3D의 경우) 또는 50%(InfoGCN++의 경우)의 시퀀스만 필요했습니다.
  • UCF101에서도 유사한 경향이 관찰되었으며, 증강된 모델은 약 절반의 시퀀스 후에 베이스라인 성능에 도달했습니다.
• 클래스별 분석:
  • 향상은 폭넓게 분포되었습니다. NTU RGB+D 60에서는 88.33%의 클래스가 개선되었고, NTU RGB+D 120에서는 98.33%가 개선되었습니다.
  • 이득은 세밀하고 국소적인 움직임(예: 손-물체 상호작용, 글쓰기, 크림 바르기)을 포함하는 행동에서 가장 두드러졌습니다. 이러한 행동들은 포즈 궤적만으로는 모호할 수 있습니다.
  • 대규모 전역 모션(예: 스포츠)이 지배적인 행동은 변동성이 큰 결과를 보였는데, 이는 이러한 역학이 이미 골격 표현에 의해 잘 포착되기 때문입니다.
• 계산 효율성:
  • 데이터 크기: PoseOFF는 시퀀스당 약 1.06 MB를 요구하며, 이는 전체 광학 흐름(1.66 GB)에 비해 대폭 감소한 수치인 동시에 포즈 전용 모델(60 kB)보다는 더 많은 정보를 보유하고 있습니다.
  • 추론 시간: PoseOFF의 추가는 추론 시간을 미미한 수준으로 증가시키며(예: InfoGCN++의 경우 +5.3 ms), 실시간 작동과의 호환성을 유지합니다.

의의 및 주장

본 논문은 PoseOFF가 경량 포즈 기반 방법과 계산 집약적인 모션 기반 접근 방식 사이의 실질적인 "중간 지점"을 나타낸다고 주장합니다. 주요 의의는 다음과 같습니다:

• 조기 의도 이해 강화: 골격 전용 모델에서는 보이지 않는 국소적 모션 역학(예: 사지의 가속도 및 물체 상호작용)을 포착함으로써, PoseOFF는 로봇이 행동 실행 초기 단계에서 인간의 의도를 더 빨리 추론할 수 있게 합니다.
• 저지연 HRI 지원: 이 방법은 밀집 광학 흐름의 계산 오버헤드 없이 이러한 이득을 달성하여, 자원이 제한된 실시간 로봇 시스템에서도 실행 가능하게 합니다.
• 강건성 향식: 모션 맥락의 추가는 키포인트가 노이즈가 심하거나 누락되는 경우(비제약 환경에서 흔한 문제)에도 성능을 유지하는 데 도움을 줍니다.

저자들은 PoseOFF가 포즈 추정의 품질에 의존하며 심각한 폐쇄(occlusion)나 매우 역동적인 전역 모션에는 어려움을 겪을 수 있지만, 더 예측 가능하고 반응적인 인간-로봇 상호작용을 위한 실행 가능한 경로를 제공한다고 결론지었습니다.