From Far and Near: Perceptual Evaluation of Crowd Representations Across Levels of Detail

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 군집 (Crowd) 을 실시간으로 렌더링할 때, 시각적 사실감과 성능 효율성 사이의 균형을 맞추기 위해 세부 수준 (Level of Detail, LoD) 기술이 필수적입니다. 기존에는 기하학적 메쉬 (Mesh) 와 이미지 기반 임포스터 (Impostor) 가 주류였으나, 최근 신경 렌더링 (Neural Rendering) 기술인 NeRF(신경 방사선 장) 와 3D 가우시안 스플래팅 (3DGS) 이 등장했습니다.
• 문제: 전통적인 LoD 접근법과 최신 신경 표현 방식이 시각적 품질과 성능 면에서 어떻게 비교되는지, 그리고 어떤 조건 (관측 거리, 세부 수준) 에서 신경 표현이 고품질 메쉬와 지각적으로 구별 불가능한지에 대한 체계적인 평가가 부족했습니다.
• 목표: 다양한 LoD 와 관측 거리에서 네 가지 표현 방식 (Mesh, Impostor, NeRF, 3DGS) 의 지각적 품질을 정량적/정성적으로 비교하여, 군집 렌더링을 위한 최적의 LoD 전략을 수립하는 것입니다.

2. 방법론 (Methodology)

2.1. 데이터셋 및 표현 방식

• 데이터: Mixamo 의 여성 캐릭터가 걷는 60 프레임의 애니메이션을 사용했습니다. 반구형 rig 에 장착된 60 개의 가상 카메라로 3,600 개의 이미지를 캡처하여 공유 데이터셋을 구성했습니다.
• 비교 대상 (4 가지 표현):
  1. Mesh (메쉬): 스킨된 메쉬 애니메이션. Blender 의 Decimate 모디파이어를 사용하여 LoD 생성 (면 수: 27k → 5.8k).
  2. Impostor (임포스터): 애니메이션 프레임을 스프라이트 시트 (Sprite sheet) 로 패킹한 이미지 기반 방식. LoD 에 따라 해상도 감소 (1080x1080 → 135x135).
  3. NeRF (Instant-NGP): 멀티레졸루션 해시 그리드 인코딩과 소형 MLP 사용. LoD 는 해시 테이블 용량과 네트워크 폭을 조절하여 제어.
  4. 3D Gaussian Splatting (3DGS): 가시성 인식 래스터라이저와 이방성 스플랫 사용. LoD 는 가우시안 개수 (120k → 1.9k) 와 불투명도 프루닝으로 제어.

2.2. 실험 설계 (User Study)

• 참가자: 24 명 (온라인 Qualtrics 를 통해 수행).
• 조건:
  • 표현 (Representation): Mesh, Impostor, NeRF, 3DGS.
  • LoD: 4 단계 (L0: 100%, L1: 50%, L2: 25%, L3: 12.5%).
  • 관측 거리 (Distance): 5 단계 (D0: 100% 픽셀 크기 ~ D4: 20%).
  • 모드: 정지 이미지 (Image) 와 동영상 (Video, 움직임 포함).
• 과제: 고해상도 메쉬 기준 (Ground Truth) 을 제시한 후, 4 가지 표현 중 가장 유사한 것을 선택하도록 요청 (강제 선택).
• 분석: 반복 측정 ANOVA 및 이항 GLM (Generalized Linear Model) 을 사용하여 통계적 유의성을 검증했습니다.

2.3. 정량적 평가

• 이미지 유사도: PSNR, SSIM, LPIPS 지표를 사용하여 각 LoD 에서의 메쉬 기준과의 차이를 측정.
• 자원 효율성: 온디스크 자산 크기 (메모리 사용량) 와 오프라인 학습 시간 (학습 기반 방식의 경우) 을 비교.

3. 주요 기여 (Key Contributions)

1. LoD 배치에 대한 지각적 임계값 분석: 네 가지 표현 방식이 고품질 메쉬와 지각적으로 가장 유사하다고 판단된 비율을 분석하여, 거리와 LoD 에 따른 전환 임계값을 제시했습니다.
2. 지각 기반 LoD 파이프라인 및 툴킷: 네 가지 표현 방식을 통합한 렌더링 파이프라인을 소개하고, 재현을 위한 자산 생성 가이드라인과 도구를 제공합니다.
3. 신경 렌더링 vs 전통적 렌더링 비교: 움직임 유무, 거리, 세부 수준에 따른 각 표현 방식의 장단점을 체계적으로 규명했습니다.

4. 주요 결과 (Results)

4.1. 지각적 평가 결과 (User Study)

• 주요 요인: 지각적 유사성은 표현 방식 (Representation), 관측 거리 (Distance), LoD의 상호작용에 의해 결정되었습니다.
• 움직임의 영향: 움직임 (Video) 유무는 지각적 판단에 통계적으로 유의미한 영향을 미치지 않았습니다 (p > 0.25).
• 성능 패턴:
  • 고해상도/근접 거리: Mesh가 가장 선호되었습니다.
  • 저해상도/원거리: **3D Gaussian (3DGS)**이 메쉬와 구별하기 어려워지며 (indistinguishable), 성능과 품질의 균형이 가장 뛰어났습니다.
  • Impostor: 원거리 저세부 영역에서 효율적이지만, 애니메이션 블렌딩의 유연성이 제한적입니다.
  • NeRF: 3DGS 보다 메모리 사용량이 크고 학습 비용이 높았으며, 지각적 이점 면에서 3DGS 보다 뚜렷한 우위를 보이지 않았습니다.

4.2. 정량적 및 자원 분석

• 이미지 품질: L0(최고 해상도) 에서 NeRF 와 3DGS 는 메쉬와 매우 높은 유사도 (PSNR > 36dB, SSIM > 0.98) 를 보였습니다. LoD 가 낮아질수록 NeRF 는 PSNR 은 부드럽게 감소하지만 SSIM 은 유지하는 반면, 3DGS 는 PSNR 감소가 크지만 중간 LoD 까지 SSIM/LPIPS 에서 경쟁력을 유지했습니다.
• 메모리 및 학습 비용:
  • Impostor: 메모리 효율성이 가장 뛰어나고 학습 비용이 없습니다.
  • 3DGS: LoD 가 낮아질수록 압축률이 매우 높으며 (L3 에서 0.7MB), 학습 시간이 LoD 가 낮아질수록 감소합니다.
  • Mesh: LoD 감소에 따른 메모리 절감 효과가 미미하며, 학습 비용은 없지만 기하학적 데이터의 제약이 있습니다.
  • NeRF: 모든 LoD 에서 가장 큰 메모리 footprint 을 가지며, 학습 비용이 일정하게 발생합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가이드라인:
  • 원거리/저세부: Impostor가 가장 비용 효율적이고 확장성이 좋습니다.
  • 중간~고해상도/원거리: 3D Gaussian이 메쉬와 구별되지 않는 시각적 품질을 제공하면서도 실시간 렌더링이 가능하여 강력한 대안이 됩니다.
  • 근접/고세부: Geometric Mesh가 여전히 최상의 품질을 보장합니다.
• 응용 분야: VR 및 몰입형 환경에서 군집이 포함된 시나리오에서, 지각적 정보를 기반으로 LoD 를 선택함으로써 시각적 사실감과 프레임 속도 (성능) 를 최적화할 수 있음을 입증했습니다.
• 한계 및 향후 과제: 단일 캐릭터와 고정 조명 환경에서 수행되었으므로, 다양한 캐릭터, 조명, 복잡한 물리 상호작용 (옷감 역학, 캐릭터 간 접촉) 으로 확장된 연구가 필요하며, 실제 시스템에서의 런타임 성능 벤치마킹이 후속 과제로 제시되었습니다.

이 논문은 군집 렌더링 시스템 설계 시, 단순히 성능만 고려하는 것이 아니라 사용자의 지각적 한계를 고려하여 어떤 표현 방식 (Representation) 을 어떤 거리와 세부 수준에서 사용할지 결정하는 데 중요한 기준을 제공합니다.