Real-time body pose non-verbal communication with a consistency-based reliability measure

기술 요약: 일관성 기반 신뢰도 측정을 통한 실시간 신체 포즈 비언어적 의사소통

문제 정의
본 논문은 특히 얼굴 및 오디오 채널을 사용할 수 없거나 신뢰할 수 없는 시나리오(예: 원거리 인간-로봇 통신, 구조 임무, 프라이버시 보호형 감시)를 대상으로, 2D 신체 포즈만으로 의사소통 의도를 인식하는 문제를 다룹니다. 기존의 자원들은 이 신호를 분리해내지 못합니다. 정서적 코퍼스(예: MELD, IEMOCIA)는 신체 움직임을 음성과 얼굴 표정과 뒤섞어 놓았으며, 골격 행동 인식 벤치마크(예: NTU RGB+D 120)는 특정 의사소통 의도를 전달하는 짧은 폭발적 동작(1~2초)이 아니라 수행된 동작(걷기, 앉기)을 긴 시간 창(window)에 걸쳐 라벨링합니다. 또한, 기존의 드론 제스처 시스템은 풍부하고 자연스러운 의사소통 의도의 공간보다는 고정된 작은 규모의 명령 포즈에 의존합니다. 실시간 온디바이스 제약 조건 하에서의 의사소통 의도 인식에 특화된 데이터셋과 벤치마크에는 결정적인 공백이 존재합니다. 아울러, 배포 가능한 시스템에는 정확도뿐만 아니라 예측이 틀릴 가능성이 높음을 알리는 메커니즘이 필요하며, 이는 안전이 중요한 실패를 방지하기 위함입니다. 그러나 표준적인 보정(calibration) 방법들은 대개 라벨링된 검증 데이터를 필요로 합니다.

방법론
저자들은 데이터셋 생성, 모델 벤치마킹, 그리고 새로운 비지도 학습 기반 신뢰도 측정을 포함하는 프레임워크를 제안합니다.

1. 데이터셋 생성: 저자들은 10가지 의사소통 의도(예: "나에게 오라", "반대/불만족", "거래 성립")를 포함하는 157,000개의 실제 프레임 전체 신체 포즈를 담은 데이터셋("Ours")을 공개합니다. 이는 YOLO11-pose를 사용하여 실제 인간 영상에서 추출되었습니다. 일반화 능력과 난이도를 평가하기 위해 이를 네 가지 다른 코퍼스와 비교합니다:

   • IPC (Real): 8가지 대인 관계 원형 코드(interpersonal circumplex codes)를 가진 대규모 멀티모달 코퍼스(Seamless Interaction)로, 거친 2D 움직임만으로는 의도를 복구할 수 없는 부정적 대조군 역할을 합니다.
   • MotionLCM (Synthetic): 잠재 일관성 모델(Latent Consistency Model)을 통해 생성되었으며, 낮은 분산과 높은 분리성을 제공합니다.
   • Kimodo (Synthetic): SMPL-X를 통해 생성되었으며, 균형 잡힌 분산을 제공합니다.
   • VEO3.1 (Synthetic): 텍스트-비디오 생성 데이터를 통해 생성되었으며, 높은 분산과 사실적인 외형을 제공합니다.
     모든 데이터셋은 30Hz 속도의 17개 COCO 2D 키포인트로 구성된 105프레임 시퀀스로 표준화되었습니다.

2. 모델 벤치마킹: 12개의 모델이 임베디드 하드웨어(NVIDIA Jetson Orin Nano) 상에서 매칭된 훈련 조건 하에 벤치마킹됩니다. 모델은 다음과 같이 분류됩니다:

   • 인식 전용(Recognition-only): 골격 그래프 분류기(ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
   • 결합 예측-인식(Joint Forecast-Recognition): 미래의 움직임 궤적을 예측하는 동시에 의도를 분류하는 아키텍처(MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
     성능은 정확도(macro-F1), 궤적 예측 오차(MAE), 추론 지연 시간(FPS)으로 측정됩니다.

3. 일관성 기반 신뢰도 측정: 본 논문은 모델의 자기 회귀적 자기 일관성(autoregressive self-consistency)에서 유도된 라벨이 없는 신뢰도 추정치($c_{10}$)를 도입합니다. 모델은 자신의 미래 움직임을 예측하고, 이 예측값을 다시 입력값으로 피드로 하여 10단계 동안 윈도우를 반복적으로 재분류합니다. 일관성 점수는 예측된 라벨이 동일하게 유지되는 단계의 비율입니다. 저자들은 자기 일관적인 예측이 정답일 확률을 경계하는 이론적 증명(Proposition 1)을 제공하며, 이 확률이 일관된 단계의 수($n$)에 따라 증가하지만 클래스의 분리도($f_r, f_g$)에 의해 제한됨을 보여줍니다.

주요 결과

• 의도 복구: "Ours" 데이터셋에서 2D 신체 포즈만으로 의사소통 의도를 복구할 수 있습니다. 그래프 기반 및 순환 모델(예: 2s-AGCN, CNN-LSTM)은 대부분의 의도에 대해 90~100%의 재현율(recall)을 달립니다. 그러나 "반대/불만족", "나에게 오라", "열정적인"과 같은 특정 의도는 2D 투영 하에서 내재적인 모호성을 보입니다.
• 데이터셋 난이도: 합성 데이터셋(MotionLCM, Kimodo)은 낮은 분산으로 인해 쉽게 학습됩니다(거의 천장 정확도에 도달). VEO3.1은 사실적인 노이즈로 인해 더 어려운 과제를 제시합니다. IPC 데이터셋은 실패 사례로 작용하며, 모델들은 거의 우연 수준의 정확도를 보이는데, 이는 대인 관계 태도 코드가 얼굴이나 맥락적 단서 없이 거친 2D 신체 움직임만으로는 복구될 수 없음을 확인시켜 줍니다.
• 예측 vs 안정성: 낮은 궤적 예측 오차(MAE)가 반드시 강건함(robustness)을 보장하는 것은 아닙니다. MAE를 최소화하는 모델들은 종종 움직임을 과도하게 매끄럽게(over-smooth) 만듭니다. 자기 회귀적 롤아웃 안정성(모델이 자신의 예측을 소비할 때 클래스 내 움직임을 얼마나 잘 유지하는가)은 별개이며 매우 중요한 지표입니다. CNN-LSTM과 InfoGCN++은 MLP 및 Transformer보다 우수한 안정성을 보여주었습니다.
• 신뢰도 신호: $c_{10}$ 일관성 점수는 학습 가능한 데이터셋에서 보정된 신뢰도 신호입니다. 높은 일관성은 높은 정확도와 상관관계가 있습니다("Ours"에서 최대 0.93, 합성 데이터셋에서 약 1.0). 결정적으로, 과제가 학습 불가능한 IPC 데이터셋에서도 $c_{10}$은 높게 유지되지만 정확도와는 분리되어, 모델이 확신을 가지고 틀리고 있는 상황을 올바르게 식별합니다.
• 엣지 성능: 12개 모델 모두 NVIDIA Orin Nano에서 30 FPS를 훨씬 상회하여 작동합니다. 배포를 위한 주요 제약 사항은 연산 속도가 아니라 정확도입니다. 이중 작업(dual-task) 모델은 순수 분류에서는 밀리지만, 필요한 예측 및 신뢰도 역량을 제공합니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장합니다:

1. 데이터셋 및 벤치마크: 모델의 성능을 데이터셋의 인위적 특성으로부터 분리하기 위해 실제 데이터와 합성 데이터를 대조함으로써, 신체 포즈만으로 의사소통 의도를 다루는 데이터셋과 벤치마크를 제공하여 공백을 메웁니다.
2. 하드웨어 인지 벤치마킹: 임베디드 하드웨어에서의 아키텍처에 대한 포괄적인 비교를 제공하여, 실시간 온디바이스 인간-로봇 통신에서 제약 요소는 계산 속도가 아니라 정확도임을 입증합니다.
3. 비지도 신뢰도: 모델의 자기 회귀적 자기 일관성이 유효한 라벨 없는 신뢰도 신호로 기능함을 보여줍니다. 본 논문은 이 신호가 과제가 학습 가능할 때는 유익하며, 학습 불가능할 때(즉, 모델이 확신을 가지고 틀릴 때) 이를 올바르게 식별함을 증명합니다. 이를 통해 시스템은 불확실한 예측에 대해 행동을 유보할 수 있으며, 이는 안전이 중요한 애플리케이션에서 핵심적인 기능입니다.

저자들은 2D 포즈에 대한 의존성(깊이 정보 손실)과 실제 장거리 시나리오에서의 대규모 추가 평가 필요성을 언급하며, 신체 포즈만으로도 배포 제약 조건 하에서 의사소통 의도를 전달하는 것이 가능하다는 결론을 내립니다. 단, 시스템이 실시간으로 자신의 신뢰성을 감사하기 위해 자기 일관성을 활용한다는 전제하에 그렇습니다.