기술 요약: PIAvatar

문제 정의

현재의 3D 인간 아바타 생성 방식은 포즈 조건부 모델(예: implicit models, 3D Gaussians, parametric bodies)을 통해 높은 시각적 충실도를 달est하지만, 근본적으로 물리적 상호작용 능력이 결여되어 있습니다. 이러한 아바타들은 일반적으로 운동학적 애니메이션(kinematic animations)에 국한되어 환경이나 다른 아바타와 물리적으로 상호작용할 수 없습니다. 최근 물리성을 도입하려는 시도들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 강화 학습(RL) 접근 방식: 단순화된 물리 환경과 원시적인 형태(예: 실린더)에 의존하는 경우가 많아, 비정형 변형(non-rigid deformations)을 표현하는 데 실패합니다.
• 시뮬레이션 기반 방법: (예: 드레스 입은 아바타 물리, Half-Physics) 일방향 상호작용(아바타가 물체에 영향을 주지만, 그 반대는 불가능)만을 지원하거나 표면 변형을 시뮬레이션하지 못해 표현력이 제한됩니다.
• 물질 점 방법(MPM)의 과제: MPM은 비정형 변형과 양방향 운동량 전달을 지원하지만, 사용자 정의 아바타 동작을 적용할 때 두 가지 결정적인 문제를 야기합니다:
  1. 응력 간섭(Stress Interference): 표준 MPM에서 사용자 정의 운동학적 속도는 변형 구배(deformation gradient)로 흡수되어, 의도치 않은 복원 응력을 생성함으로써 아바타가 목표 포즈에 도달하는 것을 방해합니다.
  2. 포즈 추적(Pose Tracking): 아바타가 비정형 물리적 변형을 겪을 때, 포즈를 더 이상 직접적으로 추적할 수 없습니다. 변형된 형상으로부터 포즈를 복구하는 것은 난해한 문제(ill-posed problem)이며, 일반적으로 비용이 많이 드는 최적화나 학습 기반 회귀를 필요로 합니다.

방법론

저자들은 물리적으로 일관되고 양방향이며 비정형적인 상호작용을 가능하게 하는 물질 점 방법(MPM) 기반의 프레임워크인 PIAvatar를 제안합니다. 핵심 혁신은 운동학적 제어와 물리적 변형을 분리하는 데 있습니다.

1. 운동학적 변형 디커플링 (Kinematic Deformation Decoupling)

사용자 정의 동작이 원치 않는 내부 응력을 생성하는 것을 방지하기 위해, 저자들은 운동학적 속도를 변형 구배 업데이트로부터 분리합니다:

• 속도 분해: 입자 속도 $v_p$를 운동학적 성분 $v^k_p$와 물리적 성분으로 분해합니다.
• 별도 그리드 전송: 오직 운동학적 속도만을 사용하여 Particle-to-Grid(P2G) 전송을 통해 별도의 운동학적 그리드 속도장 $v^k_i$를 계산합니다.
• 구배 업데이트: 운동학적 변형 구배 $F^k_p$는 $v^k_p$를 기반으로 업데이트됩니다.
• 무응력 업데이트: 전체 변형 구배 $F_p$는 운동학적 부분을 추출함으로써 업데이트됩니다: $F_p \leftarrow F_p (F^k_p)^{-1}$. 이는 사용자가 정의한 동작이 복원 응력을 유발하지 않고 아바타를 구동하도록 보장하는 동시에, 외부 힘이 물리적 응력과 변형을 생성할 수 있도록 허용합니다.

2. 골격 기반 포즈 회귀 (Skeleton-Based Pose Regression)

비정형 변형 중 포즈를 추적하는 문제를 해결하기 위해, 본 프레임워크는 아바타 내부에 골격 구조를 삽입합니다:

• 내장된 골격: "뼈 입자(bone particles)" 세트가 아바타 표면에 삽입됩니다. 외부 힘은 이 입자들로 전달되어 위치 변화를 일으킵니다.
• 폐쇄형 포즈 추정 (Closed-Form Pose Estimation): 각 뼈의 포즈(회전 $R$ 및 이동 $t$)는 현재의 변형된 위치와 정준(canonical) 뼈 위치를 정렬하기 위해 Kabsch 알고리즘(최소제곱 최적화)을 사용하여 실시간으로 추정됩니다.
• 운동학적 속도 계산: 다음 프레임을 위한 필요한 운동학적 속도 $v^k_p$는 내장된 골격에 대한 선형 블렌드 스키닝(LBS)을 통해 현재와 다음 목표 포즈 사이의 증분 변환으로부터 도출됩니다. 이를 통해 표면이 물리적으로 변형되더라도 견고한 포즈 추적이 가능합니다.

3. 구현 세부 사항

• 프레임워크: Animatable Gaussians(AG)와 SMPL-X 아바타를 모두 지원하며, PhysGaussian을 확장한 MPM 프레임워크를 기반으로 구축되었습니다.
• 재료: 다양한 강성(stiffness)을 시뮬레이션하기 위해 이종 재료 할당(예: 신체에는 Neo-Hookean, 의류/헤어에는 corotated linear elastic)을 지원합니다.
• 최적화: 시각적 피드백을 바탕으로 질량 및 강성과 같은 파라미터를 조정하기 위해 시각-언어 모델(VLM)과 베이지안 최적화를 사용하는 자동 물리 파라미터 최적화 모듈을 포함합니다.

주요 기여

1. PIAvatar 프레임워크: 양방향 물리적 상호작용(아바타-아바타, 아바타-물체)과 비정형 변형을 가능하게 하는 새로운 MPM 기반 시뮬레이션 시스템입니다.
2. 변형 구배 디커플링: 사용자 정의 운동학적 속도를 변형 구배에서 분리하여, 의도한 동작이 응력에 의해 방해받지 않으면서도 물리적 일관성을 유지하도록 하는 방법입니다.
3. 직접 포즈 추정: 내장된 골격 구조와 폐쇄형 포즈 회귀(Kabsch 알고리즘)를 통해, 비정형 물리적 상호작용 중에도 고비용의 최적화나 학습 기반 회귀 없이 실시간 포즈 추적 및 운동학적 속도 계산을 가능하게 합니다.
4. 포괄적인 평가: 인간-물체 충돌, 인간-인간 상호작용, 연조직 변형, 느슨한 의류 시뮬레이션을 포함한 다양한 시나리오에서 물리적으로 근거 있는 상호작용을 입증했습니다.

실험 결과

저자들은 Animatable Gaussians(AG)와 SMPL-X 아바타를 사용하여 PIAvatar를 기본 MPM 베이스라인과 비교 평가했습니다.

• 정량적 성능:
  • 포즈 정확도: PIAvatar는 목표 포즈를 유지하는 데 있어 기본 MPM보다 훨씬 뛰어난 성능을 보였습니다. SMPL-X의 경우, 400 스텝에서의 평균 제곱 오차(MSE)가 베이스라인의 0.248m에서 PIAvater의 0.039m로 감소했습니다. 0.01m 이내의 정확도(Acc@0.01)는 3.6%에서 58.3%로 향상되었습니다.
  • 포즈 추적: Kabsch 기반 포즈 정렬 오차는 부동 소수점 정밀도 수준으로 미미하게 유지되어, 표면 변형에도 불구하고 골격 구조가 포즈 일관성을 보존함을 확인했습니다.
• 정성적 결과:
  • 양방향 상호작용: 무거운 물체가 아바타를 변형시키고, 아바타의 동작(예: 발로 차기, 펀치)이 물체의 궤적을 바꾸는 성공적인 운동량 전달을 입증했습니다.
  • 비정형 변형: 머리카락의 흔들림, 복부의 출렁임, 연조직 변형과 같은 이차적 효과를 명시적인 모델링 없이도 성공적으로 시뮬레이션했습니다.
  • 이종 재료: 충돌 시 서로 다른 신체 부위(예: 딱딱한 발목 vs 유연한 머리카락)에 대해 뚜렷한 변형 동작을 보여주었습니다.
  • 느슨한 의류: 신체 움직임에 의해 구동되는 현실적인 의류 역학(펄럭임, 부풀어 오름)을 시뮬레이션하기 위해 얇은 껍질 솔버(thin-shell solver)와 결러링되었습니다.
• VLM 기반 최적화: 50명의 참가자를 대상으로 한 사용자 연구 결과, VLM 기반 베이지안 최적화 프레임워크가 "무겁다/가볍다", "딱딱하다/부드럽다"라는 인간의 지각과 일치하는 물리적 파라미터(질량, 강성)로 성공적으로 수렴함을 확인했습니다.

의의 및 주장

본 논문은 PIAvatar가 아바타 시뮬레이션에서의 운동학적 제어와 물리적 사실성 사이의 근본적인 트레이드오프를 해결한다고 주장합니다. 변형 구배를 분리함으로써, 시스템은 사용자가 정의한 정밀한 동작을 따르는 동시에 외부 힘에 대해 자연스러운 비정형 물리 반응을 나타낼 수 있습니다.

저자들은 PIAvater가 학습 기반의 포즈 복구나 단순화된 강체 근사치에 의존하지 않고도 무응력 운동학적 제어와 물리적으로 일관된 상호작용을 달성한다고 강조합니다. 이들은 PIAvatar가 아바타가 물리적으로 밀리고, 변형되며, 복잡한 환경과 통합된 시뮬레이션 프레임워크 내에서 상호작용할 수 있게 함으로써, AR/VR에서 생생한 양방향 경험을 가능하게 하는 단계라고 보고 있습니다.

인정된 한계점:
저자들은 현재 시스템이 아바타의 위치와 포즈 시퀀스의 수동 설정이 필요함을 언급했습니다. 또한 기존 포즈 데이터셋(예: AMASS)에 외부 힘에 대한 토크 제어가 부족하며, 마찰력이 아직 구현되지 않아 중력 하에서의 자세 유지가 어렵다는 점을 인정했습니다. 이들은 향-후 연구에서 PID 제어, RL 또는 대규모 물리 엔진(예: Genesis)을 통합하여 이러한 문제를 해결할 수 있다고 제안했습니다. 또한, 급격한 충돌 시 응력이 발생하기 전에 달라붙는 현상이 발생할 수 있음을 지적하며, 장면 구성을 이해하기 위한 추가적인 학습 프레임워크의 필요성을 언급했습니다.