ECHO: Ego-Centric modeling of Human-Object interactions

기술 요약: ECHO – 인간-사물 상호작용의 에고센트릭(Ego-Centric) 모델링

문제 정의

에고센트릭 관점에서 인간-사물 상호작용(Human-Object Interaction, HOI)을 모델링하는 것은 스마트 글래스나 손목밴드와 같은 보편적인 웨어러블 기기에서 발생하는 희소한(sparse) 신호에 의존해야 한다는 점에서 매우 중요한 과제입니다. 기존 방식은 일반적으로 RGB 이미지, 사전 스캔된 장면, 또는 특수 모션 캡처 수트와 같은 밀도 높은 입력을 필요로 하며, 이는 확장성과 일반화 능력을 제한합니다. 또한, 현재의 학습 기반 방법들은 머리 및 손목 트래킹과 같은 제한된 센서 데이터만으로 전체 신체 움직임, 사물의 역학, 그리고 접촉 상태를 추론해야 하는 미결정적(underconstrained) 특성을 처리하는 데 어려움을 겪고 있습니다. 대규모 인간 움직임 데이터셋과 더 작고 특화된 HOI 컬렉션을 모두 학습하면서, 간헐적인 트래킹 및 부분적인 관측을 처리할 수 있는 통합된 프레임워크는 그동안 부재했습니다.

방법론

저자들은 머리와 두 손의 3점 트래킹(3-point tracking)만을 사용하여 인간의 포즈, 사물의 움직임, 접촉 역학을 공동으로 복원하는 통합 프레임워크인 ECHO를 제시합니다. 이 방법은 전역 시퀀스 구성에 대한 불변성을 유지하기 위해 머리 중심의 좌표계(per-frame head-centric coordinate system)에서 작동합니다.

1. 표현 (Representation)

• 인간 (Human): SMPL-X 파라메트릭 바디 모델을 사용하여 모델링하며, 트래킹된 머리와의 정렬을 통해 루트 위치를 추론하면서 신체 포즈 벡터($\theta_H$)에 집중합니다.
• 사물 (Object): 머리에 대한 상대적인 SE(3) 변환 시퀀스로 표현됩니다. 사물의 클래스와 기하학적 구조는 원형(canonicalized) 사물 정점으로부터 추출된 원-핫 벡터(one-hot vectors)와 PointNext 피처를 통해 인코딩됩니다.
• 접촉 (Contact): 인간-사물 및 인간-지면 상호작용을 모두 포함하는 연속적인 모달리티($I$)로 모델링됩니다. 샘플링된 표면 점들과 사물 사이의 거리는 안정성을 보장하기 위해 시그모이드 함수를 사용하여 $[0, 1]$ 범위로 매핑됩니다.
• 조건화 (Conditioning): 모델은 정규화된 머리와 손의 방향, 머리-바닥 거리, 그리고 연속된 프레임 간의 상대적 변환에 의해 조건화됩니다.

2. 삼변량 확산 모델 (Tri-Variate Diffusion Model)

ECHO의 핵심은 인간의 움직임($H$), 사물의 궤적($O$), 접촉 시퀀스($I$)의 결합 분포를 모델링하는 혁신적인 **삼변량 확산 과정(tri-variate diffusion process)**입니다.

• 독립적 노이즈 스케줄 (Independent Noise Schedules): 단일 노이즈 스케줄을 사용하는 표준 확산 모델과 달리, ECHO는 각 모달리티에 대해 독립적인 디노이징 단계($T_H, T_O, T_I$)를 채택합니다. 이를 통해 유연한 조건화가 가능합니다. 즉, 모델은 관측된 데이터(예: 알려진 인간의 움직임)를 가지면서 다른 모달리티(예: 사물의 움직임 및 접촉)를 확산하고 예측할 수 있습니다.
• 아키텍처: 디노이징 네트워크는 회전 위치 임베딩(rotary positional embeddings)을 갖춘 확산 트랜스포머(Diffusion Transformer, DiT)를 기반으로 구축되었습니다. 이는 조건과 관측된 모달리티 또는 노이즈로 구성된 입력 토큰을 처리하여 전체 상호작용 시퀀스를 출력합니다.
• 학습 전략: 모델은 대규모 인간 움직임 데이터셋(AMASS)과 더 작은 HOI 컬렉션(BEHAVE, OMOMO)의 조합으로 학습됩니다. 학습 과정에서 모델은 노이즈가 섞인 상태와 깨끗한 상태의 조합으로부터 샘플링함으로써 누락된 모달리티를 재구성하는 법을 배웁니다. 사물 상호작용이 없는 AMASS 샘플의 경우, 사물 조건화는 상호작용의 부재를 알리는 학습 가능한 토큰으로 대체됩니다.

3. 추론: 스무스 인페인팅 (Smooth Inpainting)

임의의 길이의 시퀀스에 대해 시간적으로 일관된 상호작용을 생성하기 위해, ECHO는 스무스 인페인팅(smooth inpainting) 메커니즘을 도입합니다.

• 사후 처리(post-processing)가 필요하거나 중첩된 예측을 버려야 하는 표준 슬라이딩 윈도우 방식과 달리, 스무스 인페인팅은 매 확산 단계마다 중첩 영역에서 과거와 현재의 예측을 블렌딩합니다.
• 이를 통해 매끄러운 전환을 보장하며, 임의의 긴 시퀀스에 대해 자기회귀적(autoregressive)이고 실시간적인 처리를 가능하게 합니다.
• 추론 가이드 (Inference Guidance): 분류기 기반 가이드(classifier-based guidance) 접근법이 사용되어 예측을 업데이트하며, 생성된 인간 및 사물 메쉬가 예측된 접촉 벡터와 일치하도록 하여 물리적 타당성(physical plausibility)을 강제합니다.

주요 기여

1. 희소 트래킹을 통한 최초의 엔드 투 엔드 HOI: ECHO는 웨어러블 3점 트래킹(머리 및 양손)만을 사용하여 전체 신체 인간-사물 상호작용을 재구성하는 최초의 방법으로, 움직임, 사물 궤적, 접촉을 공동으로 복원합니다.
2. 통합 삼변량 확산 모델: 저자들은 유연한 교차 모달 조건화를 지원하는 독립적 노이즈 스케줄을 가진 확산 공식을 도입했습니다. 이 설계는 모델이 부분적인 관측(예: 간헐적인 손 트래킹 또는 부분적인 사물 가시성)을 활용하고, 움직임 전용 데이터와 HOI 데이터를 혼합하여 학습할 수 있게 합니다.
3. 강건성 및 확장성: 프레임워크는 센서 노이즈와 간헐적인 트래킹에 강건합니다. 대규모 데이터셋으로부터 강력한 인간 움직임 사전 지식(prior)을 학습하는 동시에 상호작용의 미묘한 차이를 포착함으로써 최첨단 성능을 달성합니다.
4. 스무스 인페인팅: 윈도우 기반 접근 방식에서 흔히 발생하는 아티팩트 없이 시간적으로 일관된 임의 길이의 시퀀스를 생성하기 위한 새로운 추론 메커니즘을 제안합니다.

실험 결과

방법론은 BEHAVE 및 OMOMO 데이터셋에서 평가되었으며, 움직임 품질에 대해서는 AMASS 데이터셋을 통한 추가 검증을 거쳤습니다.

• 성능: ECHO는 인간 움직임 재구성(MPJPE, MPJVE)과 사물 트래킹(vertex-to-vertex error, center error) 모두에서 베이스라인(BoDiffusion 및 EgoAllo의 적응 버전 포함)을 크게 능가합니다.
• 접촉 정확도: 모델은 더 높은 접촉 정확도(AccI)를 달的是하며, 경쟁 방법들에서 나타나는 사물 침투(penetration)나 공중 부양(floating)과 같은 흔한 아티팩트를 피하고 물리적으로 타당한 상호작용을 생성합니다.
• 노이즈에 대한 강건성: 입력의 최대 75%를 누락시키는 간헐적 손 트래킹을 시뮬레이션한 실험에서, ECHO는 안정적인 성능을 유지하며 데이터가 90% 누락될 때만 성능이 크게 저하됩니다.
• 희소 입력: 인간 또는 사물 모달리티에 대한 부분적 관측을 제공하면 해당 모달리티의 재구성 품질이 크게 향리되며, 관측되지 않은 모달리티의 예측을 규제(regularize)합니다.
• 절제 연구 (Ablation Studies): 상호작용 모달리티, AMASS 데이터셋, 또는 스무스 인페인팅 메커니즘을 제거하면 성능이 크게 하락하며, 이는 공동 학습, 대규모 사전 지식, 그리고 제안된 추론 전략의 필요성을 확인시켜 줍니다.

의의 및 주장

본 논문은 ECHO가 최소한의 희소 웨어러블 신호로부터 복잡한 인간-사물 상호작용을 추론할 수 있음을 보여줌으로써 에고센트릭 인지에 있어 중요한 진전을 이루었다고 주장합니다. 하나의 생성적 프레임워크 내에서 인간의 움직임, 사물의 역학, 접촉을 통합함으로써, ECHO는 밀도 높은 시각 데이터나 수작업으로 설계된 제약 조건에 의존했던 기존 방법들의 한계를 극복합니다. 다양한 데이터 소스를 학습하고 간헐적인 트래킹을 처리할 수 있는 능력은 견고하고 실시간적인 상호작용 모델링이 필수적인 헬스케어, 개인 비서, 공간 AI 등의 응용 분야에 다재다능한 솔루션을 제공합니다. 저자들은 자신들의 접근 방식이 특히 센서 데이터가 불완전하거나 노이즈가 많은 시나리오에서 에고센트릭 상호작용 모델링을 위한 강력한 토대를 제공한다고 강조합니다.