기술 요약: CoGS – 단일 모노큘러 비디오로부터의 구성적 동적 인간-물체 장면 가우시안 스플래팅 (Compositional Dynamic Human-Object Scenes Gaussian Splatting from Monocular Video)

1. 문제 정의

단일 모노큘러 비디오로부터 인간과 물체의 상호작용이 포함된 동적 장면을 재구성하는 것은 매우 도전적인 역문제(inverse problem)입니다. 핵심적인 어려움은 장면이 서로 다른 운동 모델을 따르면서도 동일한 이미지 픽셀을 공유하는 세 가지 별개의 구성 요소—관절이 있는 인간, 조작되는 강체 물체, 그리고 정적인 배경—로 구성되어 있다는 점에 있습니다.

기존의 동적 라디언스 필드 및 가우시안 스플래팅 방법들은 종종 전체 장면을 하나의 변형되는 필드로 취급합니다. 이러한 접근 방식은 "운동 얽힘(motion entanglement)" 현상을 초래하여, 물체의 움직임이 인간 표현이나 정적 배경으로 누출되거나 그 반대의 상황이 발생하게 됩니다. 또한, 모노큘러 감독(supervision)은 본질적으로 제약이 적으며, 특히 인간 영역의 경우 관찰되지 않거나, 가려지거나, 자기 가림(self-occlusion)이 발생하는 경우가 많습니다. 명시적인 분리 없이는, 이러한 방법들이 복잡한 상호작용 시나리오에서 기하학적 일관성과 광도 충실도(photometric fidelity)를 유지하기 어렵습니다.

2. 방법론: CoGS 프레임워크

저자들은 비디오를 각기 다른 운동 모델과 감독 전략을 가진 세 개의 조정된 브랜치로 분해하는 구성적 가우시안 스플래팅 프레임워크인 CoGS를 제안합니다. 파이프라인은 전처리, 브랜치별 모델링, 그리고 단계적 최적화 커리큘럼으로 구성됩니다.

2.1. 구성적 분해 (Compositional Decomposition)

CoGS는 장면을 다음과 같이 분리합니다:

1. 관절 인간 브랜치 (Articulated Human Branch): 완전한 캐노니컬 사전 지식(SMPL 기반)으로부터 초기화됩니다. 이는 추정된 신체 포즈에 따라 캐노니컬 가우시안을 변형하기 위해 표면 기반 스키닝 가중치(skinning weights)를 사용합니다.
2. 강체 물체 브랜치 (Rigid Object Branch): 조작되는 물체를 자체적인 강체 궤적을 가진 별도의 가우시안 필드로 모델링합니다. 물체의 움직임은 시간적 매끄러움을 보장하기 위해 큐빅 헤르미트 스플라인(cubic-Hermite splines)과 구면 선형 보간(SLERP)을 통해 보간되는 압축된 키프레임 세트(이동 및 회전)로 파라미터화됩니다.
3. 정적 장면 브랜치 (Static Scene Branch): 배경을 COLMAP 희소 기하 구조로부터 초기화된 정적 가우시안 필드로 표현합니다. 이는 대규모의 저질감(low-texture) 표면을 안정화하기 위해 장면에서 추출된 약한 평면 프리미티브(planar primitives)에 의해 선택적으로 정규화됩니다.

2.2. 가시성 인식 앵커링 (Visibility-Aware Anchoring)

핵심적인 혁신은 가시성 인식 인간 앵커링 메커니즘입니다. 모노큘러 비디오는 특정 신체 부위(예: 물체에 의한 가려짐 또는 자기 가림)에 대한 관찰이 부족한 경우가 많으므로, CoGS는 이러한 영역에 대해 순수하게 광도 증거에만 의존하지 않습니다.

• 각 인간 가우시안에 대해, 해당 가우시안이 인간 마스크 내에 있는지, 물체 마스크 외부에 있는지, 그리고 무시할 수 없는 불투명도에 기여하는지를 바탕으로 가시성 점수를 계산합니다.
• 가시성 점수가 낮은 가우시안은 앵커 손실(anchor loss)을 통해 캐노니컬 인간 시드(seed)에 "부드럽게 결속(softly tethered)"되어, 이들이 표류하거나 붕괴하는 것을 방지합니다.
• 잘 관찰된 가우시안은 이미지 증거에 맞게 자유롭게 움직일 수 있도록 허용됩니다.

2.3. 6단계 최적화 스케줄 (Six-Stage Optimization Schedule)

브랜치 간의 픽셀 경쟁을 방지하고 최적화를 안정화하기 위해, CoGS는 6단계 커리큘럼을 채택합니다:

1. 인간 안정화 (단계 I–II): 인간 브랜치는 사전 시드, RGB/마스크 감독, 그리고 가시성 앵커링을 사용하여 독립적으로 학습됩니다. 사전 구조를 보존하기 위해 밀집화(densification)는 비활성화됩니다.
2. 물체 안정화 (단계 III–IV): 인간 브랜치를 고정한 상태에서, 물체 브랜치는 실루엣, 포즈, 그리고 운동 제약 조건을 사용하여 최적화됩니다. 포즈 오류가 통제되지 않은 가우시안 성장으로 인해 숨겨지는 것을 방지하기 위해 물체 밀집화는 지연되고 제한됩니다.
3. 구성적 융합 (단계 V–VI): 안정화된 인간 및 물체 브랜치를 새로운 장면 필드와 융합합니다. 전체 렌더러는 전체 이미지 감독, 전경 일관성, 그리고 지연된 장면 평면 정규화를 사용하여 학습됩니다. 마지막 "true-resume" 패스는 외관과 알파 일관성을 정밀하게 조정합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

• 구성적 정식화 (Compositional Formulation): 비디오를 관절 인간, 강체 물체, 정적 장면 브랜치로 명시적으로 분리하고 각 브랜치에 별도의 운동 모델을 할당하는 새로운 가우시안 스플래팅 접근 방식을 제시합니다.
• 신뢰도 인식 감독 (Reliability-Aware Supervision): 가시성 인식 앵커링을 도입하여, 관찰이 약한 인간 영역을 캐노니컬 사전 지식에 결속시키는 동시에 관찰된 영역은 광도 증거에 적응할 수 있도록 함으로써 이를 보존합니다.
• 단계적 최적화 커리큘럼 (Staged Optimization Curriculum): 개별 구성 요소를 융합하기 전에 안정화하는 6단계 학습 스케줄을 통해 브랜치 간의 경쟁을 줄이고, 구성 요소가 안정적인 지지 기반을 갖출 때까지 공격적인 밀도 변화를 지연시킵니다.
• 실증적 검증 (Empirical Validation): HOSNeRF(인간-물체 상호작용) 및 NeuMan(in-the-wild 인간-장면) 벤치마크에 대한 종합적인 평가를 통해, 전체 프레임 및 인간 중심 재구성 품질 모두에서 개선된 성능을 입증했습니다.

4. 실험 결과

저자들은 CoGS를 K-Planes, 4DGS, NeuMan, HUGS와 같은 최첨단 동적 장면 및 인간-장면 베이스라인과 비교 평가했습니다.

• HOSNeRF (인간-물체 상호작용): CoGS는 테스트된 6개 장면 모두에서 최고의 PSNR을 달 기록했으며, 6개 중 5개 장면에서 최고의 LPIPS를 기록했습니다. 특히 물체에 의한 가려짐(예: Backpack, Suitcase) 및 빠른 관절 운동(예: Tennis, Dance)이 포함된 시나리오에서 상당한 개선을 보였습니다.
• NeuMan (인간-장면): 전체 프레임 평가에서 CoGS는 모든 지표(PSPSNR, SSIM, LPIPS)에서 이전의 모든 방법들을 능가했습니다. PSNR은 8.46%에서 16.46%까지 향상되었고, LPIPS는 40.91%에서 61.54%까지 감소했습니다.
• 인간 전용 영역 (Human-Only Regions): 정적 배경을 제외한 동적 인간 영역만을 평가했을 때, CoGS는 여러 시퀀스에서 L-PIPS 감소 폭이 66.67%에서 81.25%에 달하는 더 큰 이득을 보여주었습니다. 이는 부분적으로 관찰된 신체 부위를 재구성하는 데 있어 가시성 인식 사전 지식의 효과를 강조합니다.
• 절제 연구 (Ablation Studies): 인간 사전 시드 또는 물체 시드를 제거했을 때 LPIPS가 증가(+0.026 및 +0.029)하여, 초기화가 가려짐을 처리하는 데 결정적임을 확인했습니다. 마찬가지로, 인간 알파/경계 손실 또는 지연된 장면 평면 정규화를 제거하면 성능이 저하되었으며, 이는 파이프라인의 각 구성 요소가 특정 실패 모드를 해결하고 있음을 나타냅니다.

5. 의의 및 주장

본 논문은 Co-GS가 운동 얽힘이라는 근본적인 문제를 해결함으로써 단일 모노큘러 동적 장면 재구성에 있어 중요한 진전을 이루었다고 주장합니다. 장면을 서로 다른 물리적 제약을 가진 구성 요소로 명시적으로 분리함으로써, 각 부분이 가장 적절한 감독 신호 하에 최적화될 수 있도록 합니다.

저자들은 이 방식이 멀티 뷰 데이터나 복잡한 하드웨어를 필요로 하지 않고, 표준적인 모노큘러 입력과 기성 전처리 도구(COLMAP, SMPL 추정, SAM)에 의존한다는 점을 강조합니다. 이 연구의 의의는 물체가 인간을 가리거나 그 반대의 상황이 발생하는 "in-the-wild" 시나리오에서, 단일 필드 방식이 해결하기 어려운 문제를 해결하여 더 높은 충실도와 지각적 품질을 달 Achieve 하는 데 있습니다.

저자들이 인정한 한계점:

• 모노큘러 전처리(예: 포즈 추정, 세그멘테이션)의 품질에 대한 의존성.
• 전혀 관찰되지 않는 영역에서의 정체성(identity) 또는 의상 디테일을 완전히 복구할 수 없는 점.
• 평면 프리미티브의 사용이 완전한 장면 기하 구조보다는 약한 수준의 기하 구조만을 제공한다는 점.
• 조작되는 물체가 강체라는 가정으로 인해 변형 가능한 물체에 대한 적용이 제한된다는 점.

향후 연구는 전처리와 재구성을 공동으로 정교화하고, 변형 가능한 물체를 지원하며, 장면 기하 구조 복원을 강화하는 방향에 집중할 것을 제안합니다.