CloDS: Visual-Only Unsupervised Cloth Dynamics Learning in Unknown Conditions

이 논문은 물리적 속성 정보가 없는 미지의 환경에서 다중 시점 영상 관측만으로 천의 역학을 학습할 수 있도록, 비디오-기하학적 정합과 역학 모델 훈련을 결합한 비지도 학습 프레임워크인 CloDS 를 제안합니다.

핵심

이 논문은 **"CloDS"**라는 새로운 인공지능 기술을 소개합니다. 쉽게 말해, **"물리 법칙을 가르치지 않고도, 카메라로 찍은 영상만 보고 천 (옷감) 이 어떻게 움직이는지 스스로 배우는 AI"**입니다.

기존의 컴퓨터 프로그램은 천이 어떻게 움직일지 예측하려면 "중력은 얼마고, 바람은 어느 정도 불고, 천의 재질은 어떤가?" 같은 복잡한 물리 수식을 입력해 줘야 했습니다. 하지만 CloDS 는 그런 지식이 전혀 없는 상태에서도, 단순히 여러 각도에서 찍힌 천의 영상만 보고 "아, 천은 이렇게 휘날리는구나!"라고 스스로 깨닫습니다.

이 기술을 이해하기 위해 몇 가지 비유를 들어보겠습니다.

1. 문제 상황: "눈을 가린 요리사"

기존의 천 시뮬레이션 프로그램은 마치 모든 재료를 계량하고 조리법을 외운 요리사와 같습니다. 재료가 다르면 다시 수식을 짜야 합니다. 하지만 CloDS 는 요리법을 전혀 모르는 요리사입니다. 그런데 이 요리사는 오직 다른 요리사들이 요리를 하는 모습 (영상) 만 지켜보다가, "아, 저기서 소스를 부으면 이렇게 퍼지겠구나"라고 눈으로만 보고 추론할 수 있습니다.

2. 핵심 기술: "투명한 점들이 붙은 거미줄" (Spatial Mapping Gaussian Splatting)

CloDS 가 천을 어떻게 이해할까요? 천은 얇고 구부러지기 쉬우며, 스스로 겹쳐서 보이지 않는 부분 (자신에게 가려진 부분) 이 많습니다.

• 기존 방식의 한계: 기존의 3D 기술은 천을 '입자'나 '고정된 점'으로 보는데, 천이 구부러지거나 겹치면 이 점들이 엉켜서 화면이 깨지거나 투명해져 버립니다. 마치 비 오는 날 우산을 접으려다 우산 뼈대가 부러지는 것과 비슷합니다.
• CloDS 의 해결책 (이중 위치 조절): CloDS 는 천을 **'거미줄에 붙은 수많은 투명한 점 (가우스 입자)'**으로 생각합니다.
  • 이 점들은 천이 움직일 때 거미줄 (메쉬) 에 따라 움직입니다.
  • 핵심 비유: 이 점들은 두 가지 눈을 가지고 있습니다.
    1. 상대적 눈 (세계 좌표): "내가 지금 바람에 날려서 어디로 갔지?" (위치 변화 감지)
    2. 절대적 눈 (메쉬 좌표): "내가 원래 천의 어느 부분에 붙어 있었지?" (원래 위치 기억)
  • 이 두 눈을 동시에 쓰면, 천이 구부러져서 겹쳐도 점들이 "아, 내가 겹쳐진 거구나, 투명해지지 말고 가려진 부분을 잘 보여줘야지"라고 스스로 조절합니다. 이를 **'이중 위치 불투명도 조절'**이라고 합니다.

3. 학습 과정: "3 단계 훈련 캠프"

CloDS 는 다음 세 단계를 거쳐 천의 움직임을 배웁니다.

1. 영상 → 3D 지도 만들기: 여러 각도의 영상을 보고, 투명한 점들이 모여 만든 3D 천의 모양을 재구성합니다. (기하학적 기초 다지기)
2. 3D 지도 → 3D 지도 연결: 3D 천의 모양이 다음 순간에 어떻게 변할지 예측합니다. (천의 움직임 패턴 학습)
3. 예측 → 영상 다시 만들기: 학습한 움직임 패턴을 바탕으로, 3D 천을 다시 영상으로 만들어냅니다. (실제 영상과 비교하며 수정)

이 과정을 반복하면, CloDS 는 천이 바람에 어떻게 휘날리는지, 서로 어떻게 부딪히는지 물리 법칙을 직접 계산하지 않아도 완벽하게 이해하게 됩니다.

4. CloDS 의 놀라운 능력

• 새로운 옷감에도 적응: 훈련할 때 입었던 옷과 모양이 다른 새로운 옷 (예: 원통 모양 천) 을 입혀도, "아, 이 천도 저렇게 움직이겠구나"라고 바로 예측합니다.
• 실제 세상에서도 가능: 컴퓨터로 만든 가상의 천뿐만 아니라, 실제 카메라로 찍은 옷감 영상에서도 잘 작동합니다. (비록 조명이나 카메라 흔들림 때문에 완벽하지는 않지만요.)
• 미래 영상 예측: 현재 영상을 보고 "다음 1 초 뒤 천은 어떻게 될까?"를 매우 정확하게 예측합니다. 기존 비디오 예측 AI 들은 천이 겹칠 때 혼란을 겪지만, CloDS 는 3D 구조를 이해하므로 혼란이 없습니다.

요약

이 논문은 **"복잡한 물리 공식을 외울 필요 없이, 눈으로만 보고 천의 움직임을 완벽하게 이해하는 AI"**를 개발했습니다. 마치 유아기 아이들이 물리 법칙을 배우지 않아도 장난감을 던져보며 중력을 배우는 것처럼, CloDS 는 영상 데이터를 통해 천의 움직임을 자연스럽게 습득합니다.

이 기술은 향후 가상 의류 쇼핑, 로봇이 옷을 다룰 때, 혹은 영화 속 특수효과 등에서 매우 유용하게 쓰일 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 딥러닝 기반 동적 시스템 시뮬레이션 방법들은 물리적 속성 (질량, 탄성 계수 등) 이나 환경 조건을 알고 있는 상태에서 학습된 지도 학습 (Supervised Learning) 에 의존합니다. 이는 로봇 공학이나 컴퓨터 비전 분야에서 **물리적 특성을 알 수 없는 미지의 환경 (Unknown Conditions)**에서 시각 데이터만으로 천의 역학을 학습하는 것을 어렵게 만듭니다.

이 논문은 **Cloth Dynamics Grounding (CDG)**이라는 새로운 문제를 제시합니다.

• 목표: 물리적 지도 신호 (Ground Truth Mesh 등) 없이, 다중 뷰 (Multi-view) 비디오 관찰 데이터만으로 천 (Cloth) 의 역학을 비지도 학습 (Unsupervised Learning) 하는 것.
• 주요 난제:
  • 천의 무한한 상태 공간 (Infinite-dimensional state spaces).
  • 복잡한 물리적 변형 및 비선형성.
  • 빈번한 **자기 가림 (Self-occlusion)**으로 인한 2D 이미지와 3D 기하학적 구조 간의 매핑 어려움.
  • 기존 비전 기반 방법들은 프레임 간 일관성을 유지하거나 기하학적 구조를 추론하는 데 한계가 있음.

2. 제안 방법론: CloDS (Cloth Dynamics Splatting)

저자들은 CDG 문제를 해결하기 위해 CloDS라는 비지도 학습 프레임워크를 제안했습니다. CloDS 는 3 단계 파이프라인을 따르며, 핵심은 Spatial Mapping Gaussian Splatting (SMGS) 모듈을 통해 2D 비디오 프레임을 3D 기하학적 표현으로 'Grounding'하는 것입니다.

2.1 전체 아키텍처

1. Video-to-Geometry Grounding: 다중 뷰 비디오를 입력받아 3D 메시 (Mesh) 형태를 복원합니다.
2. Dynamics Learning: 복원된 메시 시퀀스를 기반으로 그래프 신경망 (GNN) 을 훈련하여 천의 역학 (다음 상태 예측) 을 학습합니다.
3. DVC (Differentiable Visual Computing) Forward Process: 학습된 역학 모델을 사용하여 3D 상태를 예측하고, 이를 다시 2D 이미지로 합성하여 비디오 예측 및 새로운 뷰 합성을 수행합니다.

2.2 핵심 기술: Spatial Mapping Gaussian Splatting (SMGS)

기존의 가우스 스플래팅 (3DGS) 은 강체나 작은 변형에 적합하지만, 천의 큰 변형과 자기 가림에는 한계가 있습니다. 이를 해결하기 위해 SMGS 를 도입했습니다.

• 메시 기반 가우스 어태치먼트: 가우스 구성 요소를 메시의 면 (Face) 에 고정하여 (Barycentric interpolation), 메시가 변형될 때 가우스도 자연스럽게 따라가도록 하여 시간적 일관성을 유지합니다.
• 이중 위치 불투명도 변조 (Dual-Position Opacity Modulation):
  • 기존 방법 (GaMeS 등) 은 자기 가림이 심하거나 큰 변형이 발생할 때 투시 왜곡 (Perspective distortion) 이나 색상 오류가 발생했습니다.
  • 해결책: 가우스의 불투명도 (Opacity) 를 두 가지 좌표계에 기반하여 조절합니다.
    1. World-space ($\mu^W$): 상대적 위치 (Relative position) 를 반영하여 투시 왜곡을 방지.
    2. Mesh-space ($\mu^M$): 절대적 위치 (Absolute position) 를 반영하여 이전에 보지 못한 영역으로 이동할 때 가우스가 투명해지거나 사라지는 것을 방지.
  • 이 메커니즘은 2D 관측과 3D 기하학 간의 미분 가능한 매핑을 가능하게 하여, 이미지 손실 (Image Loss) 을 통해 3D 메시 노드를 역전파 (Backpropagation) 로 업데이트할 수 있게 합니다.

2.3 학습 프레임워크 (3-Stage Training)

지도 신호가 없으므로 3 단계로 나누어 학습합니다.

1. 1 단계 (Gaussian Construction): 첫 번째 프레임의 이미지와 초기 메시를 사용하여 SMGS 로 가우스 표현을 구축합니다.
2. 2 단계 (Mesh Extraction from Image): SMGS 를 통해 2D 이미지에서 3D 메시를 추출합니다. 이미지 재구성 손실과 메시의 형태를 유지하기 위한 **에지 손실 (Edge Loss, $L_{edge}$)**을 사용하여 메시 노드의 위치를 반복적으로 최적화합니다. 이를 통해 $M_1 \to M_T$까지의 3D 레이블 시퀀스를 생성합니다.
3. 3 단계 (Dynamics Simulator Training): 2 단계에서 추출된 3D 메시 시퀀스를 지도 신호로 사용하여 GNN (예: MGN) 을 학습시킵니다. GNN 은 $p(M_{t+1}|M_t)$를 학습하여 천의 역학을 모델링합니다.

3. 주요 기여 (Key Contributions)

1. Cloth Dynamics Grounding (CDG) 문제 제안: 물리적 supervision 없이 다중 뷰 비디오만으로 천의 역학을 학습하는 새로운 시나리오를 정의하고 탐구했습니다.
2. CloDS 프레임워크 제안:
   • SMGS: 큰 변형과 자기 가림을 처리하기 위한 '이중 위치 불투명도 변조'를 포함한 새로운 가우스 스플래팅 모듈을 개발했습니다.
   • 비지도 학습: 3 단계 파이프라인을 통해 시각 데이터만으로 역학 모델을 학습할 수 있는 체계를 구축했습니다.
3. 다양한 기능 지원: 학습된 모델은 천의 역학 학습뿐만 아니라 **비디오 예측 (Video Prediction)**과 **동적 장면의 새로운 뷰 합성 (Novel View Synthesis)**을 동시에 수행할 수 있습니다.
4. 성능 입증: 기존 비디오 예측 모델 및 3D 재구성 모델 대비 뛰어난 성능을 보이며, 보지 못한 구성 (Unseen configurations) 에 대한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: FLAGSIMPLE 데이터셋을 기반으로 Blender 로 생성된 다중 뷰 천 비디오 (100 개 훈련, 20 개 테스트 트래젝토리) 를 사용했습니다.
• Cloth Dynamics Grounding (CDG) 성능:
  • CloDS 는 메시 기반 지도 학습 모델 (MGN) 과 비교했을 때, 비디오 데이터만 학습한 경우에도 유사하거나 더 좋은 성능을 보였습니다.
  • 특히 **보지 못한 초기 상태 (Unviewed)**에 대한 외삽 (Extrapolation) 성능에서 기존 비디오 예측 모델들 (SimVP, MAU 등) 보다 월등히 우수한 RMSE 를 기록했습니다.
• Dynamic Scene Novel View Synthesis:
  • SMGS 는 기존 동적 장면 합성 모델 (4DGS, GaMeS 등) 보다 PSNR, SSIM, LPIPS 지표에서 우수한 성능을 보였습니다.
  • 특히 천의 가장자리와 자기 가림 영역에서 왜곡이 적고 일관된 결과를 생성했습니다.
• 비디오 예측 (DVC Forward Process):
  • CloDS 는 3D 구조를 명시적으로 모델링하기 때문에, 시간이 지남에 따라 에지가 흐려지거나 일관성이 깨지는 기존 비디오 예측 모델들의 문제점을 해결했습니다.
• 일반화 능력:
  • 형태 및 질감: 원통형 천이나 다른 질감 (Texture) 에 대해서도 역학을 잘 학습하여 적용 가능함을 보였습니다.
  • 실제 데이터: SAM(Segment Anything Model) 을 이용해 실제 촬영된 비디오에서 천 영역을 추출하여 학습한 결과, 아티팩트가 존재하지만 역학 학습이 가능함을 확인했습니다.
  • 복잡한 상호작용: 천과 물체 (구) 간의 충돌 시나리오에서도 성공적으로 역학을 학습했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 시각 데이터만으로 복잡한 유체/연체체의 물리 법칙을 비지도적으로 학습할 수 있는 가능성을 열었습니다.

• 물리 기반 시뮬레이션의 한계 극복: 물성 파라미터를 알 수 없는 실제 환경 (Robotic manipulation 등) 에서도 천의 움직임을 예측하고 제어할 수 있는 기반을 마련했습니다.
• 3D-2D 매핑의 혁신: 자기 가림과 큰 변형이 발생하는 상황에서도 정확한 3D 기하학을 복원하기 위한 SMGS 와 이중 위치 불투명도 변조는 향후 동적 장면 분석 및 생성 분야에서 중요한 기술적 기여를 했습니다.
• 응용 가능성: 학습된 역학 모델은 가상 의류 애니메이션, 로봇의 천 조작 제어, 증강현실 (AR) 의 현실적인 천 합성 등 다양한 분야에 적용될 수 있습니다.

요약하자면, CloDS 는 물리적 지식이 없는 상태에서 오직 '보는 것 (Visual Observation)'만으로 천의 복잡한 물리적 행동을 이해하고 예측할 수 있는 강력한 프레임워크를 제시한 연구입니다.