1. 문제 정의 (Problem Statement)

기존의 3D 인간 포즈 추정 (Pose Estimation) 기술은 주로 전신 (Whole-body) 재구성에 초점을 맞추며, 루트 관절 (Root Joint, 보통 골반) 을 기준으로 한 상대적인 좌표계에서 성능을 평가합니다. 그러나 로봇이 사용자와 물리적으로 상호작용하는 근접 거리 (Close-range) 의 이고센트릭 (Egocentric, 로봇이 착용하거나 머리에 부착된 카메라 시점) 환경에서는 다음과 같은 한계가 존재합니다.

• 작업 관련 부위의 정밀한 위치 파악 필요: 로봇이 악수, 물건 전달, 휠체어 이동 보조 등을 수행할 때 전신 재구성보다는 **손, 팔, 어깨 등 특정 작업과 관련된 신체 부위의 절대적인 3D 공간 좌표 (Metric-scale localization)**가 훨씬 중요합니다.
• 근접 시점의 어려움: 로봇 카메라는 사용자와 매우 가까운 거리에 위치하므로, 심한 가려짐 (Occlusion), 잘림 (Truncation), 급격한 시점 변화가 발생합니다. 이는 기존 방법들이 전신 재구성에 의존할 때 깊이 (Depth) 추정의 불확실성을 증가시키고, 작업에 중요한 말단 부위 (손목, 발목 등) 의 위치 추정 오차를 크게 만듭니다.
• 카메라 좌표계 부재: 대부분의 기존 방법은 카메라 내파라미터 (Intrinsics) 를 고려하지 않거나 루트 기준 좌표계를 사용하므로, 로봇의 실제 제어 및 경로 계획에 필요한 절대적인 공간 정보를 제공하기 어렵습니다.

2. 제안 방법 (Methodology: TAIHRI)

저자들은 **TAIHRI (Task-Aware 3D Human Keypoints Localization for HRI)**라는 새로운 비전 - 언어 모델 (VLM) 을 제안합니다. 이는 근접 HRI 환경에 특화된 첫 번째 모델로, 다음과 같은 핵심 기술들을 포함합니다.

가. 데이터셋 구축: CloseHRI

• 기존 데이터셋 (Human3.6M 등) 은 3 인칭 시점이나 전신에 치중되어 있어 근접 HRI 에 부적합합니다.
• CloseHRI 데이터셋을 구축하기 위해 AMASS 의 모션 시퀀스를 SMPL-X 로 렌더링하고, Blender 에서 로봇 시점 (0.5m~3m 거리) 을 시뮬레이션하여 정규 맵 (Normal maps) 을 생성했습니다.
• SD-XL을 사용하여 다양한 배경과 텍스트 프롬프트로 사실적인 이미지를 합성하고, SAM3과 VitPose를 통해 저품질 샘플을 필터링하여 100 만 장 이상의 고품질 데이터를 확보했습니다.

나. 이산화된 상호작용 공간 표현 (Discretized Interaction Space)

• VLM 의 토큰 예측 능력을 활용하기 위해 연속적인 3D 공간 (카메라 좌표계 내) 을 이산화된 보크셀 (Voxel) 그리드로 변환합니다.
• 로봇의 상호작용 영역 (가로, 세로, 깊이) 을 정의하고, 각 축을 0~999 의 정수 토큰으로 양자화 (Quantization) 합니다. 이를 통해 3D 좌표 $(x, y, z)$를 토큰 시퀀스로 변환하여 VLM 이 생성할 수 있도록 합니다.
• 카메라 내파라미터 통합: 깊이 추정의 모호성을 해결하기 위해 초점 거리를 고정하고 이미지 크기를 조정하며, 주점 (Principal point) 은 랜덤 크롭 증강으로 시뮬레이션하여 모델이 다양한 카메라 설정에 일반화되도록 합니다.

다. 2D 키포인트 추론을 통한 3D 위치 결정 (Thinking with 2D Keypoint Reasoning)

• 단일 이미지에서 직접 3D 좌표를 예측하는 대신, Chain-of-Thought (CoT) 방식을 차용하여 2 단계 추론을 수행합니다.
  1. 2D 위치 예측: 이미지 평면상의 2D 키포인트 좌표를 먼저 예측합니다.
  2. 3D 깊이 추론: 예측된 2D 좌표를 바탕으로 해당 부위의 3D 깊이 값을 추론하여 최종 3D 좌표를 도출합니다.
• 이 방식은 시각 정보에 기반한 2D 위치 파악이 상대적으로 용이하다는 점을 활용하여 3D 추정의 정확도를 높입니다.

라. 강화 학습 미세 조정 (Reinforcement Finetuning, RFT)

• SFT (Supervised Fine-Tuning) 후, GRPO (Group Relative Policy Optimization) 알고리즘을 적용하여 모델을 최적화합니다.
• 보상 함수 (Reward Function): 가시적인 관절의 3D 및 2D 오차 (Huber loss 및 PCK-style success term) 를 기반으로 보상을 계산하여, 모델이 정확하고 안정적인 예측을 하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. TAIHRI 모델: 근접 HRI 를 위해 설계된 최초의 VLM 기반 3D 키포인트 로컬라이제이션 모델입니다. 자연어 명령을 이해하여 작업 관련 (Task-aware) 신체 부위에 주의를 집중하고 해당 부위의 정밀한 3D 좌표를 예측합니다.
2. CloseHRI 데이터셋: 근접 이고센트릭 시점과 다양한 상호작용 시나리오를 포괄하는 대규모 고품질 데이터셋을 공개했습니다.
3. 새로운 평가 패러다임: 루트 기준 (Root-relative) 이 아닌 **카메라 좌표계 (Global Camera Coordinate)**에서의 절대적 거리 오차 (G-MPJPE) 를 주요 평가 지표로 사용하여, 실제 로봇 제어에 필요한 정밀도를 검증합니다.
4. 다목적 적용성: 예측된 3D 키포인트를 활용하여 자연어 제어, 전신 메쉬 복구 (Global Mesh Recovery), 로봇 제어 등 다양한 다운스트림 작업에 유연하게 적용 가능합니다.

4. 실험 결과 (Results)

• 데이터셋: Harmony4D-Egocentric 및 EgoBody 테스트셋에서 평가 수행.
• 성능 비교:
  • 기존 3D 포즈 추정 방법 (CameraHMR, PromptHMR, SAM 3D Body 등) 과 비교하여 모든 신체 부위 구성 (상체, 하체, 좌/우 팔 등) 에서 G-MPJPE (밀리미터 단위) 가 크게 개선되었습니다. 특히 루트에서 먼 말단 부위 (손목, 발목) 의 정확도가 획기적으로 향상되었습니다.
  • 일반 VLM (GPT-5.2, Qwen3-VL, Gemini 등) 과 비전 기반 모델 (Depth Anything 등) 보다 월등히 높은 정확도를 보였습니다. 일반 VLM 은 3D 좌표 예측 능력이 부족하거나 불안정했으며, 깊이 기반 방법은 가려짐 상황에서 성능이 급격히 저하되었습니다.
• Ablation Study: 카메라 내파라미터 입력, 2D 추론 단계, 강화 학습 (RFT) 단계가 모두 성능 향상에 필수적임을 입증했습니다. 특히 2D 추론 단계를 생략하거나 MSE 손실 함수를 직접 적용할 경우 성능이 크게 떨어졌습니다.

5. 의의 및 결론 (Significance)

TAIHRI 는 Embodied AI(구현형 인공지능) 분야에서 인간 - 로봇 상호작용의 새로운 패러다임을 제시합니다.

• 실용성: 로봇이 사용자와 물리적으로 상호작용할 때 필요한 정밀한 메트릭 스케일 (Metric-scale) 의 공간 정보를 실시간으로 제공할 수 있어, 안전하고 자연스러운 물리적 상호작용 (악수, 안마, 보조 등) 을 가능하게 합니다.
• 확장성: 자연어 명령을 통해 로봇의 주의를 특정 부위로 유도할 수 있어, 다양한 HRI 시나리오에 유연하게 대응할 수 있습니다.
• 연구 방향: 단순한 전신 재구성을 넘어, 작업 인지 (Task-aware) 와 3D 공간 추론을 결합한 VLM 기반 접근법이 근접 HRI 의 핵심 기술임을 입증했습니다.

이 연구는 로봇이 인간의 의도를 정확히 이해하고, 안전하고 정밀하게 물리적으로 상호작용할 수 있는 기반 기술을 마련했다는 점에서 큰 의의가 있습니다.