기술 요약: PhotoHOI

문제 정의

손-물체 상호작용(Hand-object interaction, HOI) 합성은 AR/VR, 디지털 휴먼, 그리고 체화된 상호작용(embodied interaction) 분야의 애플리케이션에 있어 매우 중요합니다. 그러나 기존 방법들은 일반적으로 사전에 정의된 물체 기하 구조, 물체 궤적, 또는 수동으로 준비해야 하는 특정 작업 조건에 의존하며, 이는 자연스러운 실제 입력값에 대한 적용 가능성을 제한합니다.

PhotoHOI는 단 하나의 RGB 사진과 오픈 보캐블러리 언어 지시문이라는 최소한의 사용자 입력으로부터 3D 손-물체 상호작용 시퀀스를 합성하는 과제를 해결합니다. 본 시스템은 이미지로부터 작업 관련 물체 기하 구조, 초기 상태 및 공간적 관계를 추론하고, 충돌을 고려한 물체 궤적을 계획하며, 사전 지식 없이도 물체의 3D 모델이나 운동 경로를 생성해 낼 수 있는 대응하는 손 동작 시퀀스를 합성해야 합니다.

방법론

PhotoHOH는 두 단계 파이프라인으로 구성됩니다: (1) 장면 복구 및 동작 계획(Scene Recovery and Motion Planning), (2) 학습된 상호작용 사전 지식(priors)에 의해 가이드되는 손 동작 합성(Hand Motion Synthesis).

1. VLM 기반 작업 파싱

시스템은 시각-언어 모델(VLM)을 사용하여 입력 이미지와 지시문을 구조화된 작업 명세로 파싱합니다. VLM은 다음을 추출합니다:

• 작업 관련 물체 ($O_{task}$): 로컬라이제이션할 물체 또는 영역.
• 구조화된 명세 ($\tau$): 동작 유형($a$), 상호작용 물체($o_{int}$), 대상 물체/영역($o_{goal}$), 그리고 공간적 관계($r$)로 구성됨.
  이를 통해 고수준의 의미론적 지시를 하위 단계의 3D 복구 및 동작 계획을 위한 구조화된 단서로 변환합니다.

2. 장면 복구 및 물체 궤적 계획

• 오픈 보캐블러리 세그멘테이션: 파운데이션 모델을 사용하여 이미지 내 작업 관련 물체를 분할하여 인스턴스 마스크를 생성합니다.
• 물체별 3D 복구: 단일 뷰 3D 재구성 모델을 사용하여 분할된 각 물체의 국소 기하 구조($G_i$)와 초기 유사 변환($T_i$)을 복구합니다.
• 지지 기반 최적화(Support-aware Optimization): 공간적 불일치(예: 공중에 떠 있는 물체)를 해결하기 위해, 경량 최적화를 통해 물체의 포즈를 정교화합니다. 이는 지지 평면(예: 테이블)을 추정하고, 지지 표면과의 접촉을 보장하면서 침투를 방지하도록 지지 법선 방향으로 물체의 이동을 최적화합니다.
• 궤적 계획: 복구된 장면과 파싱된 공간적 관계를 바탕으로, 시스템은 충돌을 고려한 매끄러운 물체 궤적을 계획합니다. 이동을 위해 리프티드 큐빅 베지에(lifted cubic Bézier) 궤적을 구축하고, 회전을 위해 구면 선형 보간(SLERP)을 사용합니다. 재계획 메커니즘은 복구된 장면 기하 구조와의 충돌 여부를 확인하고 필요 시 경로를 조정합니다.

3. 손 동작 합성

보지 못한 물체에도 일반화될 수 있는 손 동작을 합성하기 위해, PhotoHOI는 대규모 어포던스(affordance) 및 HOI 데이터셋으로부터 전이 가능한 사전 지식을 학습합니다.

• 작업 조건부 접촉 사전 지식(Task-conditioned Contact Prior): 조건부 변이형 오토인코더(VAE)는 물체 기하 구조와 동작 유형을 기반으로 물체 표면 위의 점 단위 접촉 확률 맵을 예측합니다. 이는 먼저 대규모 어포서 데이터(일반화 가능한 기능적 영역을 위함)로 학습된 후, HOI 접촉 맵에 대해 미세 조정됩니다.
• 접촉 조건부 파지 사전 지식(Contact-conditioned Grasp Prior): 두 번째 조건부 VAE는 예측된 접촉 맵에 조건화된 타당한 손 관절 구성(MANO 파라미터)의 분포를 모델링합니다. 이는 물체-접촉 특징을 유효한 손 구성(hand configuration)을 나타내는 압축된 잠재 공간($z$)으로 매핑하는 법을 학습합니다.
• 잠재 공간 손 최적화(Latent Hand Optimization): 고차원의 MANO 파라미터를 직접 최적화하는 대신, 시스템은 학습된 잠재 공간 내에서 파지(grasp)를 정교화합니다. 최적화 과정에서는 다음의 손실 함수를 최소화합니다:
  • 사전 지식 손실 ($E_{prior}$): 잠재 코드를 학습된 분포 쪽으로 정규화합니다.
  • 접촉 손실 ($E_{contact}$): 손 표면을 높은 확률의 접촉 영역과 일치시킵니다.
  • 침투 손실 ($E_{pen}$): 손과 물체 간의 상호 침투를 방지합니다.
    글로벌 손목 포즈는 별도로 예측되며 잠재 코드와 함께 최적화됩니다.
• 동작 생성: 마지막으로, 자유 공간 포즈에서 최적화된 파지로 보간함으로써 접근 동작(approach motion)을 생성합니다. 조작 중에는 계획된 물체 궤적을 따라가면서 물체와의 최적화된 상대적 변환을 유지합니다.

주요 기여

1. PhotoHOI 프레임워크: 단일 RGB 이미지와 오픈 보캐블러리 지시문으로부터 3D HOI 시퀀스를 합성하는 새로운 시스템으로, 수동으로 준비된 3D 물체 기하 구조나 궤적의 필요성을 제거했습니다.
2. 이미지-투-모션 파이프라인: 작업을 파싱하고, 지지 기반 정교화를 통해 작업 관련 3D 장면을 복구하며, 충돌을 고려한 물체 궤적을 계획하는 포괄적인 접근 방식을 제공합니다.
3. 전이 가능한 상호작용 사전 지식: 작업 조건부 접촉 사전 지식과 접촉 조건부 파지 사전 지식을 개발했습니다. 학습된 잠재 공간에서 파지를 정교화함으로써, 이 방법은 재구성된 미지의 물체에 대해서도 접촉 및 침투 제약 조건을 만족하면서 타당한 손 관절 구성을 보장합니다.

실험 결과

저자들은 GRAB, H2O 벤치마크와 실제 사진 입력을 통해 PhotoHOI를 평가했습니다.

• 벤치마크 성능: GRAB 및 H2O에서 PhotoHOI는 상호 침투 부피(IV), 상호 침투 깊이(ID), 접촉 비율(CR), 자기 침투(SP) 측면에서 기존 최신 방법들(GraspD, DiffH2O, Text2HOI, OpenHOI)보다 우수한 성능을 보였습니다.
• 실제 환경 성능: 30개의 실제 장면과 2,000회의 무작위 실험을 통한 실험에서, PhotoHOI는 베이스라인 모델들에 비해 더 높은 작업 성공률(TSR)과 장면 일관성 비율(SCR)을 달성하여, 지시된 작업을 완료하고 물리적 타당성을 유지하는 데 있어 견고함을 입증했습니다.
• 어블레이션 연구(Ablation Studies): 접촉 사전 지식, 손 포즈 사전 지식, 또는 잠재 최적화를 제거했을 때 성능 저하(침투 증가, 접촉 비율 감소 또는 비현실적인 관절 구성)가 발생하였으며, 이를 통해 각 구성 요소의 필요성을 확인했습니다.

의의 및 주장

본 논문은 PhotoHOI가 수동으로 준비된 데이터에 대한 의존도를 낮춤으로써 실제 시나리오에서 3D HOI 합성을 배포하기 위한 실질적인 단계를 나타낸다고 주장합니다. 복구된 3D 장면에 상호작용을 접지(grounding)하고 전이 가능한 사전 지식을 활용함으로써, 본 시스템은 자연스러운 사용자 입력(이미지 및 언어)과 복잡한 3D 동작 생성 사이의 간극을 메웁니다. 저자들은 이를 콘텐츠 제작 및 체화된 상호작용을 위한 중요한 진전으로 위치시키며, 현재 범위는 테이블탑 장면의 강체(rigid objects)로 제한되어 있으나 향관 작업으로는 관절형/변형 가능한 물체 및 로봇 리타겟팅을 탐구할 수 있다고 언급했습니다.