기술 요약: GIRAF

문제 정의

실제적인 전신 인간-사물 상호작용(full-body human interactions with articulated objects)을 합성하는 것은 로보틱스 훈련 및 가상 에이전트 분야에 적용 가능한 임바디드 AI(embodied AI)와 컴퓨터 그래픽스의 핵심 과제입니다. 기존 방식들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 좁은 범위: 현재의 모델들은 대개 정적인 사물을 활용한 단순 전신 활동(예: 앉기)이나 정교한 손 중심의 조작(예: 컵 잡기) 중 하나에만 집중하며, 이 두 영역을 통합하지 못합니다.
• 전환 단계의 부재: 대부분의 방법론은 인간이 이미 사물과 접촉 중이거나 근처에 있다는 것을 가정하며, 이동(접근)에서 상호작용(조작)으로 이어지는 매끄러운 전환 과정을 간과합니다.
• 일반화 문제: 모델들은 사물 특유의 접촉 정의에 의존하거나 견고한 훈련 데이터가 부족하여, 보지 못한 사물의 구성, 형태 및 위치에 일반화하는 데 어려움을 겪습니다.
• 데이터 부족: 다양한 관절 구조를 가진 사물에 대한 대규모의 쌍을 이룬 모션-장면 데이터셋을 확보하는 것은 비용이 많이 들고 어려우며, 이는 일반화 가능한 모델을 훈련하는 데 병목 현상을 일으킵니다.

핵심적인 난제는 이동(locomotion)과 미세한 손-사물 접촉, 그리고 사물 자체의 관절 구조를 결합하여 추론하는 동시에, 다양한 기하학적 구조에 대해 물리적 타당성과 일관성을 보장하는 것입니다.

방법론

저자들은 관절 구조를 가진 사물과의 이동에서 상호작용으로 이어지는 긴 호흡의 전신 모션 시퀀스를 합성하도록 설계된 텍스트 조건부 확산 모델인 GIRAF를 제안합니다. 이 프레임워크는 네 가지 핵심 구성 요소에 기반합니다:

1. 사물 중심 표현을 위한 동적 기저 점 집합 (Dynamic Basis Point Sets, BPS)

다양한 사물 기하학에 걸쳐 접촉을 일반화하는 문제를 해결하기 위해, 저자들은 통합된 사물 중심 표현을 도입합니다.

• 개념: 새로운 형태에서 실패할 수 있는 고정된 사물 표면(surface)에 접촉을 인코딩하거나, 사물과의 대응 관계가 부족한 손 키포인트만을 사용하는 대신, 사물 원점을 중심으로 하는 단위 구(unit sphere) 내에 샘래플링된 고정된 점 집합($P$)을 정의합니다.
• 통합: 이 표현 방식은 세 가지 특징을 공유 공간 내에서 통합합니다:
  1. 기저 점들과 사물 표면 사이의 거리($od$).
  2. 기저 점들과 손 끝 효과기(end-effectors) 사이의 거리($\tilde{J}_{hand}$).
  3. 기저 점에 대응하는 표면 점이 손 관절과 접촉하고 있는지 나타내는 이진 접촉 레이블.
• 이점: 공유된 기저 점들에 대한 이 "투표 방식(voting scheme)"은 형태에 구애받지 않으므로, 정교한 손-사물 대응 관계를 유지하면서도 보지 못한 사물 구성에 대한 일반화를 촉진합니다.

2. 혼합 도메인 훈련 전략

이동과 상호작용 사이의 매끄러운 전환을 가능하게 하기 위해, 모델은 특화된 훈련 체계를 채택합니다:

• FiLM 컨디셔닝: Feature-wise Linear Modulation (FiLM) 레이어를 통해 학습 가능한 임베딩을 트랜스포머 블록에 통합합니다. 이는 상호작용 특유의 특징을 보존하는 동시에 모델이 이동을 자연스럽게 표현할 수 있도록 합니다.
• 마스킹 및 어닐링(Masking and Annealing): 이동 마스크($M_{loco}$)는 인간이 사물에서 0.5m 이상 떨어져 있는 프레임을 식별합니다. 훈련 스케줄은 어닐링 방식을 사용합니다: 초기 배치(batch)는 이동과 상호작용의 균형을 맞추는 반면, 후기 배치는 상호작용에 집중됩니다. 이를 통해 모델이 이동의 충실도를 희생하지 않으면서도 매끄러운 전환을 학습할 수 있도록 보장합니다.
• 동질적 배치(Homogeneous Batches): 저자들은 단일 배치 내에서 혼합된 데이터를 사용하는 것보다 동질적인 배치를 사용하여 훈련하는 것이 성능을 위해 필수적이라고 언급했습니다.

3. 접촉 기반 데이터 증강

데이터 부족을 완화하고 일반화 능력을 향 향상시키기 위해 다음을 수행합니다:

• 재배치 및 재스케일링: 사물을 이산화된 3D 그리드 상에 재배치하고 무작위로 크기를 조절합니다.
• 접촉 보존: 원래 시퀀스의 손-사물 접촉 지점들을 변형된 사물의 대응하는 지점으로 매핑하여 상호작용 관계를 보존합니다.
• IK 솔버: 자연스러운 관절 움직임과 물리적 타당성을 보장하기 위해 회전 제한이 있는 CCD 기반 역운동학(Inverse Kinematics) 솔버를 사용하여 인간의 움직임을 재계산합니다.

4. 장면 인식 확산 노이즈 최적화

훈련 후, 물리적 타당성을 개선하기 위한 정교화 단계가 진행됩니다:

• 프로세스: DDIM 샘플링을 사용하여 경사 하강법(gradient descent)을 통해 확산 노이즈를 최적화합니다.
• 손실 함수(Loss Functions):
  • 접촉 손실(Contact Loss): 사물의 움직임을 예측된 손 접촉과 일치시킵니다.
  • 충돌 손실(Collision Loss): 부호 거리 함수(Signed Distance Field, SDF)를 사용하여 손과 사물의 침투를 줄입니다.
  • 매끄러움 손실(Smoothness Loss): 시간에 따른 글로벌 관절 위치의 떨림을 억제합니다.

주요 기여

1. 통합 프레임워크: 관절 구조를 가진 사물과의 통합된 전신 이동 및 상호작용을 생성할 수 있는 텍스트 조건부 확산 모델을 도입했습니다.
2. 사물 중심 접촉 표현: 접촉, 손, 사물 표면을 공유 공간에서 통합함으로써 정교하고 일반화 가능한 손-사물 상호작용을 가능하게 하는 새로운 Dynamic BPS 접근 방식을 제시했습니다.
3. 강력한 훈련 전략: 복잡한 3D 환경에서 장기 호흡의 모션 합성을 지원하는 혼합 도메인 학습, FiL-기반 컨디셔닝 및 접촉 기반 데이터 증강의 조합을 제공합니다.

실험 결과

본 방법론은 네 가지 상호작용 카테고리(서랍, 전자레인지, 냉장고, 세탁기)를 포함하는 ParaHome 데이터셋(이동을 위해 Babel로 증강됨)에서 평가되었습니다.

• 정량적 성능: GIRAF는 모든 지표에서 강력한 베이스라인(LINGO 및 CHOIS)을 능가했습니다:
  • 접촉 및 침투: 가장 낮은 접촉 거리(1.869 cm)와 침투 오차(1.044 cm)를 달 좌표했으며, 정밀도(precision)와 재현율(recall)을 개선했습니다.
  • 포즈 정확도: 평균 관절 위치 오차(MPJPE)를 0.1143으로, 손 오차를 0.1328로 감소시켰습니다.
  • 텍스트-모션 정렬: 가장 높은 R-precision(0.3812)과 가장 낮은 Fréchet Inception Distance(FID)(0.0634)를 달성하여, 강력한 의미론적 정렬과 다양성을 입증했습니다.
• 정성적 결과 및 일반화:
  • 모델은 재학습 없이도 보지 못한 사물 구성(예: 다른 유형의 옷장 문, 다양한 높이의 서랍)에 대해 현실적인 상호작용을 성공적으로 합성했습니다.
  • 텍스트 프롬프트를 통해 접촉 전략(예: 왼손, 오른손 또는 양손)을 지정할 수 있는 제어력을 보여주면서도 물리적 타당성을 유지했습니다.
  • 시각적 비교 결과, GIRAF는 정교한 손-사물 접촉을 해결하고 침투를 최소화하는 반면, 베이스라인 모델들은 손이 떠 있거나 깊게 파고드는 현상이 자주 발생했습니다.

의의 및 한계

본 논문은 GIRAF가 단일 모델 내에서 이동과 조작을 통합함으로써, 물리적으로 타당한 장기 호흡의 인간-사물 상호작용을 생성하는 데 있어 중요한 진전을 이루었다고 주장합니다. 보지 못한 사물의 배치와 형태에 일반화하는 능력은 현재의 임바디드 AI 연구의 공백을 메워줍니다.

그러나 저자들은 현재의 범위에 대해 다음과 같이 한계를 명시했습니다:

• 한계: 모델은 훈련 중에 관찰된 관절 메커니즘에 국한됩니다 (예: ParaHome에서 보지 못한 회전 관절과 같은 새로운 메커니즘에는 취약함).
• 아티팩트(Artifacts): 이동에서 상호작용으로 전환되는 과정에서 발생하는 짧은 발 미끄러짐(foot sliding)이나 관절 떨림과 같은 모션 아티팩트가 여전히 존재하며, 이는 제한된 쌍 데이터로 혼합된 체제를 공동 모델링하는 데 따르는 어려움 때문인 것으로 보입니다.
• 범위: 현재 프레임워크는 단순한 지형과 단거리 조작에 초점을 맞추고 있으며, 상호작용을 포함한 복잡한 내비게이션 시나리오(예: 계단 이동)는 아직 지원하지 않습니다.

향후 연구로는 표현 방식을 더 넓은 범위의 관절 사물 카테고리로 확장하고 더욱 다양한 이동 동작을 통합하는 것이 제안되었습니다.