기술 요약: 3D 인지 LLM을 이용한 에고-휴먼 모션 예측 (Ego3DLM)

문제 정의

에고센트릭(egocentric) 관점에서 인간의 움직임을 예측하는 것은 AR/VR, 인간-로봇 협업, 그리고 임바디드 AI(embodied AI)를 위한 선제적 보조를 위해 매우 중요합니다. 그러나 이 관점에서의 예측은 본질적으로 불충분한 정보(ill-posed) 문제를 안고 있습니다: 카메라는 신체의 일부만을 포착하며, 희소한 웨어러블 단서에 의존해야 하고, 동일한 부분적 관측값이 여러 가지 가능한 미래 동작으로 이어질 수 있기 때문입니다. 이러한 모호성을 해결하려면 예측을 환경의 시맨틱 컨텍스트(semantic context)에 접목해야 합니다. 즉, 단순히 운동학적 상태뿐만 아니라 물리적 제약, 자유 공간, 물체의 어포던스(affordance)에 의해 지배되는 근본적인 의도와 행동 시맨틱스를 이해해야 합니다.

기존 방식들은 흔히 모션과 언어를 별개의 추론 스트림으로 취급하거나, 3인칭 뷰 및 표준 모션 캡처에 의존합니다. 최근 일부 연구들이 언어를 시맨틱 사전 정보(prior)로 포함시키기도 했으나, 명시적인 3D 공간 컨텍스트를 간과하거나 총체적인 교차 모달(cross-modal) 예측을 수행하지 못하는 경우가 많습니다. 또한, 3D 장면 특징을 모델에 직접 주입하는 방법들은 포즈와 언어 예측을 고유한 시맨틱 결합 관계로 활용하기보다는, 두 작업을 독립적인 과제로 취급하여 진정한 3D 추론 능력이 부족한 경우가 많습니다.

방법론: Ego3DLM

저자들은 두 가지 핵심 원칙에 기반한 통합 프레임워크인 Ego3DLM을 제안합니다: (1) 정확한 모션 예측을 위해서는 3D 환경에 대한 명시적인 공간 및 시맨틱 이해가 필요하며, (2) 포즈와 언어는 교차 모달 및 시간적 일관성을 강제하기 위해 단일 패스(single pass) 내에서 총체적으로 예측되어야 한다는 것입니다.

입력 및 출력

모델은 세 가지 입력을 받습니다:

1. 3점 트래킹(Three-point tracking): 머리와 손의 포즈 (6D 회전 및 이동).
2. 에고센트릭 비디오: 2D 비디오 임베딩.
3. 3D 장면 특징: 명시적인 3D 장면 표현 (시맨틱 특징이 포함된 포인트 클라우드).

단일 자기회귀(autoregressive) 패스를 통해, Ego3DLM은 네 가지 출력을 동시에 디코딩합니다:

• 과거 포즈 토큰 ($x_{past}$)
• 미래 포즈 토큰 ($x_{fut}$)
• 과거 모션 내레이션 ($y_{past}$)
• 미래 모션 묘사 ($y_{fut}$)

아키텍처 및 학습 체계

프레임워크는 3단계 학습 파이프라인을 채택합니다:

1단계: 공간-시맨틱 장면 인지 사전 학습 (Spatial-Semantic Scene Awareness Pretraining)
모션 추론을 도입하기 전, 언어 모델(LM)을 3D 환경에 접지(grounding)시킵니다. 저자들은 3D 장면과 에고센트릭 비디오로부터 공간 및 시맨틱 질의응답(QA) 쌍 데이터셋을 구축합니다.

• 공간 인지(Spatial Awareness): 모델은 에이전트와 관련된 방향성 여유 공간(낮음/중간/높음), 장애물 상태, 그리고 주행 가능한 방향(앞/왼쪽/오른쪽)을 예측하는 법을 배웁니다.
• 시맨틱 인지(Semantic Awareness): 모델은 객체의 정체성, 속성, 장소 관계 및 개수 세기를 학습합니다.
  이 단계는 장애물 인지와 객체 수준의 시맨틱스를 심어주어, 하위 작업인 행동 추론을 위한 사전 정보를 형성합니다.

2단계: 멀티모달 멀티태스크 인스트럭션 튜닝 (Multi-Modal Multi-Task Instruction Tuning)
장면 인지 능력을 갖춘 LM은 네 가지 출력(과거/미래 포즈 및 텍스트)을 단일 시퀀스로 생성하도록 인스트럭션 튜닝됩니다. 핵심 설계 선택 사항은 모션이나 언어 출력 이전에 명시적인 공간 장면 추론 단계를 전치(prepending)하는 것입니다. 이는 모델이 예측을 확정하기 전에 공간적 제약(장애물, 자유 공간)을 먼저 분석하도록 강제하며, 공간 추론이 모션을 알리고, 다시 모션이 시맨틱 묘사를 알리는 사고의 사슬(chain-of-thought) 구조를 생성합니다.

3단계: 멀티모달 보상 GRPO 파인튜닝 (Multi-Modal Reward GRPO Finetuning)
교차 모달 일관성을 강제하는 데 있어 가능도 기반 학습(likelihood-based training)의 한계를 해결하기 위해, 저자들은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 적용합니다. 이 강화 학습 단계는 다음과 같은 복합 보상 함수를 사용하여 모델을 최적화합니다:

• 내부 모달 보상(Intra-modal rewards): 각 모달리티 내의 정확도를 보장하기 위한 $R_{motion}$ (관절 위치 오차) 및 $R_{text}$ (BLEU)입니다.
• 상호 모달 보상(Inter-modal reward, $R_{matching}$): 예측된 모션과 예측된 묘사(및 그들의 실제 값) 사이의 임베딩 거리를 측정하는 새로운 신호입니다. 이는 물리적 행동의 구현과 시맨틱 묘사 사이의 충실도를 직접 최적화하며, 이는 지도 학습만으로는 얻을 수 없는 신호입니다.

특징 추출 (Feature Extraction)

3D 장면 특징 추출 파이프라인은 카메라 포즈와 최적 뷰 선택 정책을 사용하여 에고센트릭 비디오 프레임으로부터 밀집된 2D 시맨틱 특징을 3D 포인트 클라우드로 들어 올립니다(lift). 이 특징들은 복셀화(voxelized)되고, 에고센트릭 위치 인코딩과 함께 인코딩되며, Q-Former를 통해 쿼리 임베딩으로 압축된 후 비디오 임베딩과 융합되어 LM을 조건화합니다.

주요 기여

1. 3D 장면 인지 에고센트릭 모션 예측: 3점 단서, 에고센트릭 비디오, 명시적 3D 장면 특징을 활용하여 과거와 미래의 언어 및 3D 포즈를 공동으로 예측하는 통합 프레임워크를 제시합니다.
2. 동시 4-출력 디코딩: 단일 패스 생성 메커니즘을 통해 시간적 및 교차 모달 일관성을 강제함으로써, 예측된 모션과 언어 묘사 사이의 충실도를 크게 향상시킵니다.
3. 다단계 학습: 3D 공간-시맨틱 이해에서 시작하여 총체적인 트래킹/예측으로 나아가며, 최종적으로 포즈-언어 일관성을 명시적으로 최적화하는 GRPO 기반 강화 학습으로 마무리되는 점진적 학습 체계를 구축합니다.

실험 결과

실험은 동기화된 에고센트릭 비디오, 언어 묘사, 재구성된 3D 장면을 제공하는 Nymeria 벤치마크에서 수행되었습니다.

• 성능: Ego3DLM은 미래 모션 예측, 과거 모션 트래킹, 그리고 그에 대응하는 언어 묘사의 모든 지표에서 최첨단(SOTA) 성능을 달성했습니다.
• 모션 정확도: 가장 강력한 베이스라인인 UniEgoMotion과 비교했을 때, Ego3DLM은 APE를 2.4%, JPE를 14.1%, FDE2s를 13.3% 감소시켰습니다.
• 트래킹 정확도: 모션 트래킹에서의 개선은 더욱 두드러지며, APE가 베이스라인 대비 36.7% 감소했습니다.
• 언어 및 정렬(Alignment): 모델은 미래 모션 묘사 BLEU-4를 EgoLM 대비 60.0%, 과거 내레이션 BLEU-4를 70.4% 개선했습니다. 결정적으로, 모션-묘사 임베딩 거리($x-y$ Align.)가 56.8% 개선되어, 동시에 예측된 모션과 묘사가 공유된 시맨틱 공간 내에서 긴밀하게 정렬되어 있음을 입증했습니다.
• 정성적 분석: 시각화를 통해 3D 장면 접지가 없는 모델은 종종 벽이나 가구와 충돌하는 모션을 예측함을 보여줍니다. 반면, 3D 레이아웃을 바탕으로 추론하는 Ego3DLM은 공간적 경계와 어포던스를 준수하는 물리적으로 타당한 궤적을 생성합니다.

의의 및 주장

본 논문은 3D 장면 접지가 총체적인 교차 모달 예측을 통해 물리적으로 타당하고 시맨틱적으로 일관된 모션 예측을 산출한다는 점을 입증한다고 주장합니다.

저자들은 포즈와 언어를 별개의 스트림으로 취급하는 것이 시맨틱 추론을 직접적인 귀납적 편향(inductive bias)으로 활용할 기회를 놓치는 것이라고 주장합니다. 공간 추론이 모션 예측보다 앞서도록 하는 단일 패스 생성을 강제하고, 모션과 텍스트 사이의 일관성을 직접 최적화하기 위해 강화 학습을 사용함으로써, 모델은 정확할 뿐만 아니라 해석 가능하고 물리적 환경에 접지된 출력을 생성합니다.

이 연구는 더 선제적이고, 해석 가능하며, 상호작용 가능한 임바디드 AI 시스템을 향한 한 단계로서 의미를 갖습니다. 저자들은 현재 방식이 사전 계산된 3D 장면 특징이 가용하다는 것을 가정한다는 한계를 언급했습니다. 이들은 향-후 연구가 새롭게 관찰되는 장면에 대해 3D 지식을 점진적으로 등록할 수 있는 언어 모델에 집중할 수 있음을 시사했습니다.