💻 computer science

CrowdGaussian: Reconstructing High-Fidelity 3D Gaussians for Human Crowd from a Single Image

CrowdGaussian 은 단일 이미지로부터 복잡한 가림과 저해상도 문제를 해결하기 위해 자기지도 적응 파이프라인과 자기 보정 학습 (SCL) 전략을 도입하여 고충실도 3D 가우스 스플래팅 (3DGS) 으로 다중 인 Crowd 을 재구성하는 통합 프레임워크를 제안합니다.

원저자: Yizheng Song, Yiyu Zhuang, Qipeng Xu, Haixiang Wang, Jiahe Zhu, Jing Tian, Siyu Zhu, Hao Zhu

게시일 2026-03-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yizheng Song, Yiyu Zhuang, Qipeng Xu, Haixiang Wang, Jiahe Zhu, Jing Tian, Siyu Zhu, Hao Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

CrowdGaussian: 한 장의 사진으로 '사람들 군중'을 3D 로 되살리는 마법

이 논문은 **"한 장의 사진만으로도 복잡한 군중 속의 사람들을 3D 로 완벽하게 재현하는 기술"**을 소개합니다. 기존 기술들은 한 명 한 명을 잘 찍은 사진으로만 3D 를 만들 수 있었지만, 이 새로운 방법인 **'CrowdGaussian(크라우드 가우시안)'**은 사람들이 서로 겹치고, 흐릿하게 찍힌 사진에서도 놀라운 3D 장면을 만들어냅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "누가 누구인지, 어디가 잘린 건지 알 수 없는 사진"

생각해 보세요. 지하철이나 축제 같은 붐비는 곳에 서서 한 장의 사진을 찍었다고 가정해 봅시다.

가려짐 (Occlusion): 앞사람이 뒷사람의 얼굴을 가리고, 기둥이 다리를 가립니다.
흐림 (Degradation): 사진이 너무 멀리서 찍혀서 얼굴이 뭉개져 있거나, 해상도가 낮습니다.

기존의 3D 기술들은 이런 사진을 보면 "어? 여기가 비어있네?"라고 생각해서 빈 공간에 투명한 유리를 끼워 넣거나, 아예 뭉개진 채로 만들었습니다. 마치 누군가 반쪽짜리 인형을 보고 나머지 반쪽을 아무렇게나 붙여놓은 것처럼 보였죠.

2. 해결책: CrowdGaussian 의 두 단계 마법

이 기술은 **두 명의 전문가 (AI)**가 팀을 이루어 문제를 해결합니다.

1 단계: LORM (대형 가려진 인간 복원 모델) - "상상력이 풍부한 조각가"

역할: 사진에서 가려진 부분을 논리적으로 상상해서 채워 넣는 역할입니다.
비유: 마치 실루엣만 남은 조각상을 보고, "아, 이 사람은 오른손을 들고 있겠지. 옷 주름은 이렇게 흘러가겠지"라고 상상력으로 빈 부분을 채우는 조각가 같습니다.
특징: 이 조각가는 3D 지도 (정답) 를 보지 않고도, 수천 장의 사진을 학습한 **선생님 (Teacher AI)**의 도움을 받아 스스로 배웁니다. 가려진 부분을 채우는 '자기 교습'을 통해, 가려진 얼굴이나 손도 자연스럽게 만들어냅니다.
결과: 이때 만들어진 3D 모델은 모양은 완벽하지만, 피부 질감이나 옷 주름 같은 디테일은 흐릿한 '초벌구이' 상태입니다.

2 단계: CrowdRefiner (크라우드 리파이너) - "디테일 전문가 화가"

역할: 흐릿한 초벌구이 3D 모델에 생생한 디테일을 입히는 역할입니다.
비유: 초벌구이된 인형에게 마법 같은 붓으로 머리카락 하나하나, 옷감의 주름, 피부의 결까지 정교하게 그려내는 화가입니다.
핵심 기술 (SCL - 자기 보정 학습): 이 화가는 무작정 다 그리는 게 아니라, "이미 잘 그려진 부분은 건드리지 않고, 흐릿한 부분만 집중해서 고치는" 지혜를 가졌습니다.
- 만약 무작정 다 그리면, 얼굴이 일그러지거나 이상한 문양이 생길 수 있습니다. 하지만 이 기술은 **"잘된 부분은 그대로 두고, 필요한 부분만 보충"**하는 균형을 맞춰서, 자연스럽고 선명한 3D 를 완성합니다.

3. 최종 결과: "현실보다 더 현실적인 3D 군중"

이 두 단계를 거치면, 한 장의 흐릿하고 겹쳐진 사진에서 다음과 같은 결과가 나옵니다.

투명하지 않은 완전한 몸: 가려진 다리나 얼굴도 자연스럽게 채워져 있습니다.
선명한 디테일: 흐릿했던 사진에서도 머리카락과 옷의 질감이 선명하게 살아납니다.
새로운 각도에서 보기: 만들어진 3D 장면을 360 도 돌려보거나, 다른 각도에서 바라봐도 자연스럽게 보입니다.

4. 왜 이것이 중요한가요? (일상 속 활용)

이 기술은 단순히 사진이 예뻐지는 것을 넘어, 다음과 같은 변화를 가져올 수 있습니다.

가상 현실 (VR) & 메타버스: 실제 축제나 콘서트의 사진을 한 장만 찍어도, 그 현장의 3D 군중을 만들어 VR 에서 걸어 다니며 구경할 수 있습니다.
영화 및 게임: 수많은 엑스트라 (군중) 를 일일이 모델링할 필요 없이, 한 장의 사진으로 수백 명의 3D 캐릭터를 빠르게 생성할 수 있습니다.
화상 회의: 멀리서 찍은 흐릿한 회의 사진에서도 각 참가자의 3D 아바타를 만들어 더 생생한 소통을 가능하게 합니다.

요약

CrowdGaussian은 "가려진 부분을 상상력으로 채우고 (LORM), 흐릿한 부분을 화가처럼 정교하게 다듬는 (CrowdRefiner)" 두 단계의 마법을 통해, 한 장의 사진으로 완벽한 3D 군중을 만들어내는 혁신적인 기술입니다. 마치 초라한 스케치북을 보고, 마법 같은 붓으로 생생한 3D 회화를 완성하는 것과 같습니다.

CrowdGaussian: 단일 이미지로부터 고충실도 3D 가우시안으로 인간 군집 재구성

이 논문은 CrowdGaussian이라는 새로운 프레임워크를 제안하여, 단일 이미지 (단일 뷰) 로부터 복잡한 인간 군집 (Crowd) 의 고충실도 3D 가우시안 스플래팅 (3DGS) 장면을 재구성하는 방법을 제시합니다. 기존 연구가 주로 개별 인물의 명확한 클로즈업 이미지에 집중했던 것과 달리, 본 연구는 가림 (Occlusion), 낮은 해상도, 다양한 외모 등 실제 환경에서 발생하는 복잡한 문제를 해결하는 데 초점을 맞춥니다.

1. 문제 정의 (Problem)

단일 이미지로부터 인간 군집의 3D 모델을 재구성하는 작업은 다음과 같은 근본적인 어려움에 직면해 있습니다:

심한 가림 (Extensive Occlusions): 군집 내 인물 간, 또는 사물 간의 가림으로 인해 신체 부위가 불규칙하게 누락되거나 가려집니다. 기존 2D 인페인팅이나 3D 재구성 방법은 이러한 불완전한 입력에서 기하학적으로 일관성 없거나 의미 없는 결과를 생성합니다.
낮은 선명도 (Low Clarity): 군집 내 개별 인물은 작은 크기로 나타나 저해상도 입력을 제공하며, 이는 고주파수 디테일 (얼굴, 옷감 질감 등) 의 손실로 이어집니다.
효율성 및 다양성: 수많은 인물을 동시에 재구성해야 하는 효율성 요구와 다양한 자세, 의상, 외모에 대한 일반화 능력이 필요합니다.

기존의 "포즈 추정 후 개별 인물 자르기 및 3D 재구성" 방식은 가림으로 인한 불완전한 입력 처리가 어렵고, 저해상도 입력에서 디테일이 흐릿해지는 문제가 있었습니다.

2. 방법론 (Methodology)

CrowdGaussian 은 두 단계로 구성된 통합 프레임워크입니다.

1 단계: 거친 군집 완성 (Coarse Crowd Completion) - LORM

목표: 가려진 입력 이미지에서도 완전한 3D 기하학과 외관을 복원합니다.
LORM (Large Occluded Human Reconstruction Model): 사전 학습된 대형 인간 재구성 모델 (LHM 등) 을 기반으로 합니다.
자기 지도 적응 (Self-Supervised Adaptation):
- Teacher-Student 프레임워크: 완전한 이미지로 훈련된 'Teacher' 모델이 생성한 깨끗한 3D 가우시안을 렌더링하여 'Clean Pseudo-GT'를 생성합니다.
- 가림 시뮬레이션: Student 모델 (LORM) 에는 원본 이미지에 임의의 베지어 곡선, 타원형 마스크 등을 적용하여 가림된 이미지 ( $I_{occ}$ ) 를 입력합니다.
- 자기 증류 (Self-Distillation): Student 모델이 가림된 입력에서 Teacher 모델의 렌더링 결과와 일치하도록 3D 가우시안을 학습시킵니다. 이를 통해 3D 주석 데이터 없이도 가림에 강인한 완전한 3D 구조를 복원하는 능력을 배웁니다.
- LoRA 적용: 효율성을 위해 Transformer 백본에만 LoRA 를 주입하여 미세 조정하고, 나머지 부분은 고정합니다.

2 단계: 확산 기반 군집 정제 (Diffusion-based Crowd Refinement) - CrowdRefiner

목표: 1 단계에서 생성된 거친 3DGS 표현의 해상도와 디테일을 향상시킵니다.
CrowdRefiner: 1 단계의 거친 렌더링과 SMPL 정규 맵 (Normal Map) 을 입력받아 고충실도 이미지를 생성하는 단일 단계 (Single-step) 확산 모델입니다.
자기 보정 학습 (Self-Calibrated Learning, SCL):
- 기존 저해상도 $\to$ 고해상도 쌍만 학습하면 과도한 정제 (Over-refinement) 로 인해 얼굴 왜곡이나 아티팩트가 발생할 수 있습니다.
- SCL 전략은 정체성 보존 샘플 (고해상도 $\to$ 고해상도) 과 열화 $\to$ 고해상도 쌍을 혼합하여 학습합니다.
- 이를 통해 모델은 복구가 필요한 영역은 세밀하게 강화하되, 이미 잘 복원된 영역은 왜곡하지 않도록 적응적으로 조정됩니다.
3DGS 정제: CrowdRefiner 가 생성한 고충실도 '의사-정답 (Pseudo-Ground Truth)' 이미지를 차분한 렌더링 (Differentiable Rendering) 을 통해 3D 가우시안 파라미터에 역전파하여 최종 3D 장면을 정제합니다.

3. 주요 기여 (Key Contributions)

군집 특화 단일 이미지 3D 재구성 프레임워크: 단일 이미지로부터 다중 인물의 3DGS를 직접 재구성하는 최초의 강력한 프레임워크를 제안했습니다. 복잡한 군집 환경에서 기존 SOTA 방법보다 월등히 우수한 품질을 달성했습니다.
자기 지도 적응을 통한 가림 복원: 3D 주석 데이터 없이도 사전 학습된 대형 모델을 가림된 입력에 적응시켜 완전한 3D 기하학을 복원하는 LORM 을 개발했습니다.
CrowdRefiner 및 SCL 전략: 2D 생성적 사전 지식을 활용하여 3DGS를 정제하는 단일 단계 확산 모델을 도입하고, 과도한 정제를 방지하고 구조적 무결성을 유지하는 자기 보정 학습 (SCL) 전략을 제안했습니다.

4. 실험 결과 (Results)

정성적 평가: 실제 환경 (In-the-wild) 의 복잡한 군집 이미지에서 LHM, IDOL, PSHuman 등 기존 방법들은 가림 영역에서 투명성 아티팩트나 기하학적 불일치를 보인 반면, CrowdGaussian 은 완전한 기하학과 선명한 질감을 재구성했습니다.
정량적 평가:
- 가림 강인성: 무작위 마스크로 가림을 시뮬레이션한 실험에서 PSNR, SSIM, LPIPS 모든 지표에서 기존 방법들을 상회했습니다. 가림 비율이 60% 로 증가해도 성능 저하가 미미했습니다.
- 해상도 강인성: 입력 이미지가 2 배, 4 배 다운샘플링되었을 때에도 기존 방법들이 흐릿해지거나 아티팩트가 발생하는 반면, CrowdGaussian 은 선명한 질감과 구조를 유지했습니다.
- Ablation Study: SCL 전략과 SMPL 정규 맵 조건부 입력이 정제된 2D 출력의 품질과 3D 일관성에 결정적인 역할을 함을 입증했습니다.

5. 의의 및 결론 (Significance)

CrowdGaussian 은 가상 현실 (VR), 텔레컨퍼런스, 디지털 콘텐츠 제작 분야에서 단일 이미지로부터 현실적이고 애니메이션 가능한 다중 인물 3D 장면을 생성할 수 있는 가능성을 열었습니다. 특히, 가림과 저해상도라는 현실적인 제약 조건을 극복하기 위해 자기 지도 학습과 생성적 AI (Diffusion) 를 효과적으로 결합한 접근법은 향후 3D 인간 재구성 연구의 새로운 방향성을 제시합니다. 이 연구는 개별 인물뿐만 아니라 복잡한 사회적 상호작용이 있는 군집 장면의 디지털 트윈 구축에 중요한 기여를 합니다.