JointHOI: Jointly Generating Contact Maps Enhances Hand Object Interaction Generation

기술 요약: JointHOI

문제 정의
텍스트 기반의 손-물체 상호작용(Hand–Object Interaction, HOI) 생성은 로보틱스 및 몰입형 애플리케이션(AR/VR) 분야에서 매우 중요하지만, 물리적으로 타당한 상호작용을 생성하는 것은 여전히 큰 과제로 남아 있습니다. 최근의 방법론들은 자연스러운 움직임을 생성할 수는 있으나, 정밀한 접촉 일관성(contact consistency)을 유지하는 데는 종종 실패합니다. 접촉 타이밍이나 근접성에서의 작은 오류는 손가락이 물체 위에 떠 있거나 물체를 뚫고 들어가는 것과 같은 눈에 띄는 아티팩트(artifact)로 나타납니다. 기존 방식들은 대개 다단계 파이프라인(예: 파지(grasp)를 예측한 후 동작을 정교화하는 방식)이나 암시적인 잠재 프라이어(latent priors)에 의존합니다. 이러한 방법들은 정적이고 이진적인(binary) 접촉 단서를 사용하는 경우가 많아, 손이 물체에 접근하고, 잡고, 조작하고, 놓는 과정에서 연속적으로 변화하는 접촉의 시공간적 구조를 포착하지 못합니다. 결과적으로, 이러한 파이프라인은 시간에 따라 변하는 접촉의 진화를 모델링하는 데 어려움을 겪으며, 이는 오차 전파와 물리적 근거(physical grounding)의 결여로 이어집니다.

방법론: JointHOI
저자들은 텍스트 프롬프트로부터 3D 손-물체 동작과 동적 접촉 맵을 동시에 생성하도록 설계된 단일 단계 공동 디퓨전 프레임워크인 JointHOI를 제안합니다. 핵심 혁신은 접촉을 별도의 조건부 신호가 아니라, 동작 자체의 "내부 양상(inner modality)"으로 취급하는 것입니다.

1. 동적 접촉 맵 표현 (Dynamic Contact Map Representation):
   JointHOI는 이진 또는 정적인 접촉 맵 대신, 연속적인 거리 기반 필드로 접촉을 표현합니다. 물체 표면은 최장 거리 샘플링(Farthest Point Sampling)을 통해 고정된 $N_c=1024$개의 앵커 포인트로 이산화됩니다. 각 프레임에 대해, 모델은 각 앵커에서 왼손 및 오른손 표면까지의 최소 유클리드 거리를 예측합니다. 이를 통해 모델은 프레임별로 근접성을 추적하는 조밀하고 시간적으로 진화하는 신호($C \in \mathbb{R}^{L_{max} \times N_c}$)를 생성하며, 이는 임계값 민감도를 피하고 그래디언트 기반 가이드를 위한 매끄러운 신호를 제공합니다.

2. 공동 디퓨전 모델 (Joint Diffusion Model):
   본 프레임워크는 통합된 시퀀스 토큰 $y_l$ 상에서 작동하는 트랜스포머 기반 디퓨전 모델을 채택합니다. 이 토큰은 왼손, 오른손, 물체의 운동학적 상태와 양손의 동적 접촉 맵을 결합한 것입니다.

   • 구조: 모델은 텍text 임베딩(CLIP)과 물체 기하학적 특징(PointNet)을 조건으로 하며, 이러한 신호들을 시퀀스에 주입하기 위해 프리픽스 컨디셔닝(prefix conditioning)을 사용합니다.
   • 학습: 디노이저(denoiser)는 표준 $L_2$ 재구성 손실을 사용하여 노이즈가 섞인 입력으로부터 깨끗한 공동 시퀀스(동작 + 접촉)를 재구성하도록 학습됩니다. 두 양상을 동시에 생성함으로써, 모델은 공유된 잠재 공간 내의 셀프 어텐션 메커니즘을 통해 동작과 접촉 사이의 결합 관계(예: 접근 시 거리가 감소하고, 해제 시 거리가 증가하는 현상)를 직접 학습합니다.

3. 접촉 내부 가이드 (Contact Inner Guidance, CIG):
   추론 시 물리적 타당성을 보장하기 위해, 저자들은 훈련이 필요 없는 분류기 기반 샘플링 전략인 **접촉 내부 가이드(CIG)**를 도입합니다.

   • 메커니즘: 디노이징 과정 동안, CIG는 모델에 의해 명시적으로 생성된 접촉 맵($\hat{C}$)과 합성된 기하 구조로부터 암시적으로 도출된 접촉 맵($\bar{C}$) 사이의 일관성을 강제합니다.
   • 에너지 함수: 접촉 일관성 에너지 $\mathcal{L}_{cig}$는 생성된 접촉 거리와 도출된 접촉 거리의 로그 스케일 간의 $L_1$ 거리로 계산됩니다. 로그 스케일은 물리적 위반이 가장 치명적인 미세한 근접 영역을 강조합니다.
   • 가이드: 이 에너지의 노이즈 변수에 대한 그래디언트는 디노이징 궤적을 유도하는 데 사용되어, 2차 훈련 단계나 사후 처리 정교화 없이도 관통(penetration)이나 부유(floating)와 같은 아티팩트를 줄여줍니다.

주요 기여

• 단일 단계 공동 프레임워크: JointHOI는 3D 동작과 동적 거리 기반 접촉 맵을 단일 디퓨전 단계에서 공동 생성하는 최초의 텍스트 기반 HOI 방법론으로, 다단계 파이프라인의 복잡성과 오차 누적 문제를 제거했습니다.
• 동적 접촉 표현: 정적인 이진 단서보다 더 정보력이 높은 신호 역할을 하는, 시간적으로 조밀한 거리 기반 접촉 맵의 도입을 통해 손-물체 근접성의 연속적인 진화를 포착합니다.
• 접촉 내부 가이드 (CIG): 공동 생성된 접촉 맵을 활용하여 동작 생성을 가이드하는 새로운 추론 시점 샘플링 전략입니다. 이는 외부 신경망이나 사후 처리 없이도 기하학적 일관성을 강제하여 물리적 아티팩트를 크게 감소시킵니다.
• 포괄적 평가: 공동 모델링과 접촉 가이드의 효과를 검증하는 광범한 실험 및 절제 연구(ablation studies)를 수행했습니다.

실험 결과
본 방법론은 GRAB(강체 물체) 및 ARCTIC(굴절 물체) 데이터셋에서 평가되었습니다.

• 물리적 타당성: JointHOI는 모든 합성 방법들 중 가장 낮은 관통 부피(Interpenetration Volume, IV)와 깊이(Depth, ID)를 달축했습니다. ARCTIC 데이터셋에서 강력한 베이스라인인 Text2HOI와 비교했을 때 관통 부피를 약 절반으로 줄였습니다.
• 의미론적 준수: 모델은 우수한 텍스트 준수 능력을 보여주었으며, 두 데이터셋 모두에서 가장 높은 Top-3 액션 정확도와 가장 낮은 프레셰 인셉션 거리(FID)를 기록하여 높은 동작 실재감과 의미론적 정렬을 입증했습니다.
• 효율성: JointHOI는 CIG 단계가 추가되었음에도 불구하고, MDM과 같은 단일 단계 베이스라인과 유사한 추론 시간을 가지며, DiffH2O나 LatentHOI와 같은 다단계 베이스라인보다 훨씬 효율적입니다.
• 절제 연구: 단계적 절제 연구를 통해, 2단계에서 1단계 공동 모델로의 전환, 동적 접촉 맵의 포함, 그리고 CIG 적용이 각각 의미론적 충실도와 물리적 일관성에 뚜렷한 개선을 가져왔음을 확인했습니다.

의의 및 주장
본 논문은 JointHOI가 HOI 생성에서 동작 합성(motion synthesis)과 물리적 접촉 사이의 근본적인 단절 문제를 해결한다고 주장합니다. 접촉을 하나의 내부 양상으로 취급함으로써, 프레임워크는 손-물체 근접성의 시공간적 진화를 명시적으로 모델링하여 모델이 물리적으로 근거 있는 공변 패턴(co-variation patterns)을 내재화할 수 있게 합니다. 저자들은 이 접근 방식이 더 자연스럽고 안정적이며 물리적으로 타당한 상호작용을 생성하며, 기존 방법론들을 괴롭히던 부유(floating)나 관통(interpenetration)과 같은 흔한 아티팩트를 효과적으로 완화한다고 단언합니다. 본 연구는 공동 생성과 추론 시점의 일관성 가이드가 결면 고도로 정밀한 텍스트 기반 상호작용 합성을 위한 견고한 경로를 제공함을 보여줍니다.