Stylos: Multi-View 3D Stylization with Single-Forward Gaussian Splatting

이 논문은 포즈가 지정되지 않은 단일 이미지 또는 다중 뷰 컬렉션에서 별도의 스타일 참조 이미지에 조건부로 작동하며, 퍼-scene 최적화나 사전 계산된 포즈 없이도 기하학적 정합성과 뷰 일관성을 유지하는 단일 순방향 3D 가우스 스플래팅 프레임워크인 'Stylos'를 제안합니다.

핵심

스타일로스 (Stylos): 3D 장면을 한 번에 '화풍'으로 입히는 마법

이 논문은 ICLR 2026에 발표된 **'스타일로스 (Stylos)'**라는 새로운 기술을 소개합니다. 쉽게 말해, **"하나의 사진만 보고도 3D 공간 전체를 그림처럼 변신시키는 기술"**입니다.

기존의 방식들은 3D 장면을 스타일화하려면 매번 장면을 하나하나 분석하고, 수백 번의 계산 과정을 거쳐야 했기 때문에 시간이 매우 오래 걸렸습니다. 하지만 스타일로스는 마치 마법 지팡이를 휘두르듯, 입력된 장면을 한 번만 스캔하면 순식간에 원하는 화풍 (예: 반 고흐의 그림, 수채화, 팝아트 등) 으로 바꿔줍니다.

이 기술이 어떻게 작동하는지, 일상적인 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "건축가"와 "디자이너"의 완벽한 협업

스타일로스는 3D 장면을 재구성할 때 두 명의 전문가가 협력하는 시스템을 사용합니다.

• 건축가 (Geometry Backbone): 이 친구는 오직 구조와 형태만 봅니다. 건물의 벽이 어디에 있는지, 의자의 다리가 어떻게 생겼는지 등 '실체'를 정확히 파악하는 역할입니다. 이 부분은 기존에 잘 훈련된 'VGGT'라는 똑똑한 AI 를 그대로 가져와서 사용합니다.
• 디자이너 (Style Aggregator): 이 친구는 색감과 분위기를 담당합니다. "이 장면을 반 고흐의 그림처럼 노란색과 파란색으로 칠해줘"라고 지시받으면, 건축가가 만든 뼈대 위에 그 화풍을 입힙니다.

비유하자면:

마치 레고 조립을 생각해보세요.

• 건축가는 레고 블록을 정확하게 조립해서 집의 모양을 만듭니다. (기하학적 구조)
• 디자이너는 그 완성된 집의 벽지를 바꾸거나, 천장에 전구를 달아 분위기를 바꿉니다. (스타일)

기존 기술들은 집 모양을 다 뜯어고치면서 벽지를 바꿨다면, 스타일로스는 집 모양은 그대로 둔 채 벽지만 순식간에 바꿔버립니다. 그래서 속도가 엄청나게 빠릅니다.

2. 기술의 비밀: "크로스 블록 (Cross-Block)"과 "입체 도화지"

이 기술이 왜 특별한지 두 가지 핵심 장치를 통해 설명해 드릴게요.

① 크로스 블록: 서로 다른 세계를 연결하는 다리

스타일로스는 '건축가'와 '디자이너'가 서로 대화할 수 있게 해주는 크로스 블록이라는 장치를 사용합니다.

• 건축가는 자기만의 세계 (자신만의 사진들) 에서 구조를 파악합니다. (자기 주시, Self-Attention)
• 디자이너는 그 구조를 보며 "여기에 이 화풍을 입혀야지"라고 생각하면서 색을 입힙니다. (교차 주시, Cross-Attention)

이 두 가지가 동시에 일어나기 때문에, 건물의 모양이 뭉개지지 않으면서도 그림의 화풍이 자연스럽게 스며듭니다. 마치 투명한 유리에 그림을 그릴 때, 유리의 형태를 해치지 않고 그림만 입히는 것과 같습니다.

② 3D 볼륨 손실 (Voxel-based 3D Style Loss): "입체 도화지"의 법칙

기존의 2D 이미지 스타일화는 "사진 한 장"을 보고 색을 바꿨습니다. 하지만 3D 공간은 여러 각도에서 봤을 때 일관되어야 합니다.

• 기존 방식: 각 사진마다 따로따로 색을 입히면, 한쪽에서 보면 노란색인데 다른 쪽에서 보면 파란색이 되는 어색한 현상이 생길 수 있습니다.
• 스타일로스 방식: 이 기술은 3D 공간을 **작은 정육면체 (큐브) 들로 가득 채운 '입체 도화지'**로 상상합니다. 그리고 이 도화지 전체에 걸쳐 "이 공간의 색감은 통일되어야 한다"는 규칙을 적용합니다.

비유하자면:

2D 방식은 종이 위에 그림을 그리는 것이라면, 스타일로스는 전체 방을 한 번에 페인트칠하는 것입니다. 벽 한 면만 칠하는 게 아니라, 방 전체를 한 번에 균일하게 칠해서 어떤 각도에서 봐도 같은 화풍이 느껴지도록 만듭니다.

3. 왜 이 기술이 중요한가요?

• 실시간성 (Single-Forward): "한 번에 끝낸다"는 뜻입니다. 과거에는 3D 장면을 스타일화하는 데 몇 시간이 걸렸다면, 스타일로스는 0.05 초 만에 끝냅니다. VR(가상현실) 이나 AR(증강현실) 게임에서 실시간으로 배경을 그림처럼 바꿔주고 싶을 때 정말 유용합니다.
• 범용성 (Zero-Shot): 이 기술은 특정 장면을 미리 학습하지 않아도 됩니다. 처음 보는 사람, 처음 보는 사물, 처음 보는 화풍이라도 즉시 적용할 수 있습니다. 마치 모든 스타일을 다 아는 만능 화가처럼 작동합니다.
• 일관성: 여러 각도에서 찍은 사진들을 합쳐서 3D 를 만들 때, 각도마다 화풍이 달라지는 '찢어진 느낌'이 없습니다. 모든 각도에서 매끄럽고 자연스러운 그림이 나옵니다.

4. 결론: 3D 콘텐츠 제작의 혁명

스타일로스는 **"3D 공간에 예술의 영혼을 불어넣는 빠른 길"**을 제시했습니다.

• 과거: 3D 장면을 예술작품으로 바꾸려면, 장비를 들고 가서 몇 시간씩 공들여 그림을 그려야 했습니다.
• 현재 (스타일로스): 스마트폰으로 장면을 찍고, 원하는 그림 스타일 하나만 보여주면, AI 가 순식간에 그 장면을 예술작품으로 변신시켜줍니다.

이 기술은 앞으로 가상현실 (VR) 게임, 메타버스, 디지털 아트 분야에서 우리가 상상했던 것보다 훨씬 더 쉽고 빠르게 3D 콘텐츠를 창작할 수 있게 해줄 것입니다. 마치 마법처럼, 한 번의 터치로 세상을 그림으로 바꾸는 시대가 온 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 3D 스타일 전이 (Style Transfer) 기술은 다음과 같은 한계를 가지고 있었습니다:

• 높은 계산 비용: NeRF(Neural Radiance Fields) 기반 방법들은 고화질 렌더링이 가능하지만, 각 장면 (scene) 마다 별도의 최적화 (per-scene optimization) 가 필요하여 실시간 적용이 어렵고 일반화 능력이 떨어집니다.
• 3D Gaussian Splatting (3DGS) 의 한계: 최근 3DGS 는 실시간 렌더링 효율성을 제공하지만, 기존 스타일 전이 방법들 (StyleGaussian 등) 역시 여전히 장면별 피팅 (scene-specific fitting) 을 요구하거나, 다중 뷰 (multi-view) 간의 일관성을 유지하기 어렵습니다.
• 포즈 (Pose) 의존성: 많은 방법들이 미리 계산된 카메라 포즈를 필요로 하며, 포즈가 알려지지 않은 (unposed) 입력 데이터에 대해서는 적용이 어렵습니다.
• 2D 기반 손실 함수의 부재: 기존 스타일 손실 함수는 2D 이미지 통계에 기반하여, 3D 구조의 기하학적 일관성과 다중 뷰 간의 스타일 일관성을 보장하지 못합니다.

Stylos는 이러한 문제들을 해결하기 위해 **포즈가 알려지지 않은 입력 (unposed inputs)**으로부터 **단일 순전파 (single-forward pass)**로 3D 가우시안 장면을 생성하고 스타일을 전이하는 프레임워크를 제안합니다.

---

2. 방법론 (Methodology)

Stylos 는 Transformer 기반의 아키텍처를 사용하며, 기하학 (Geometry) 과 스타일 (Style) 을 분리하여 처리하는 두 가지 경로를 가진 공유 백본 (Shared Backbone) 을 핵심으로 합니다.

가. 네트워크 아키텍처

1. 기하학적 백본 (Geometric Backbone):

   • VGGT (Visual Geometry Grounded Transformer) 를 기반으로 합니다.
   • 프레임 간 (frame-wise) 및 글로벌 (global) 자기 주의 (self-attention) 를 교차하여 입력 뷰들 간의 기하학적 구조와 일관성을 학습합니다.
   • 이 경로는 스타일 조건부 (conditioning) 없이 순수하게 기하학적 속성 (위치, 스케일, 회전, 불투명도) 을 예측합니다.

2. 스타일 어그리게이터 (Style Aggregator) 및 Cross-Block:

   • 스타일 이미지와 콘텐츠 이미지를 공유 특징 공간으로 매핑합니다.
   • Cross-Block 모듈: 자기 주의 (Self-Attention) 와 MLP 사이에 교차 주의 (Cross-Attention) 레이어를 삽입합니다.
     • 콘텐츠 토큰 (Query) 은 자기 주의로 기하학적 구조를 유지합니다.
     • 스타일 토큰 (Key, Value) 은 교차 주의를 통해 콘텐츠에 스타일 정보를 주입합니다.
   • Global CrossBlock 전략: 모든 뷰를 연결하여 글로벌 시퀀스로 처리함으로써, 장기적인 다중 뷰 기하학적 일관성을 유지하면서 스타일 정보를 전역적으로 전파합니다.

3. 예측 헤드 (Prediction Heads):

   • Geometry Head: 백본 특징으로부터 3D 가우시안의 기하학적 파라미터를 예측합니다.
   • Style Head: 스타일 어그리게이터의 출력을 기반으로 구형 조화 함수 (Spherical Harmonics) 계수를 예측하여 가우시안의 색상을 결정합니다.

4. 볼륨화 및 렌더링:

   • 예측된 3D 포인트를 볼륨 (Voxel) 그리드로 매핑하고, 신뢰도 기반 가중치를 사용하여 가우시안을 융합합니다. 이는 AnySplat 에서 영감을 받았습니다.

나. 학습 전략 (Two-Stage Training)

1. 1 단계 (Geometry Pretraining): VGGT 가중치로 초기화하여 기하학과 광학적 외관을 학습합니다. 이때 콘텐츠 뷰 중 하나를 스타일 참조로 사용하여 색상 변화에 대한 강인성을 학습합니다.
2. 2 단계 (Stylization Fine-tuning): 기하학 관련 모듈을 고정하고, 스타일 어그리게이터와 색상 헤드만 미세 조정합니다.

다. 3D 스타일 손실 함수 (3D Style Loss)

기존의 2D 스타일 손실 (이미지 수준, 장면 수준) 을 넘어선 볼륨 기반 3D 스타일 손실을 제안합니다.

• 과정: 다중 뷰에서 렌더링된 특징을 디프러젝션 (differentiable unprojection) 을 통해 3D 볼륨 그리드 (Voxel Grid) 에 융합합니다.
• 목표: 융합된 3D 볼륨 특징의 통계량 (평균, 분산) 이 스타일 이미지의 통계량과 일치하도록 제약합니다.
• 효과: 이는 2D 이미지 수준이 아닌 3D 구조 수준에서 스타일 일관성을 강제하여, 뷰 간 일관성과 기하학적 정합성을 동시에 보장합니다.

---

3. 주요 기여 (Key Contributions)

1. 단일 순전파 3D 스타일 전이 프레임워크: 장면별 최적화나 사전 계산된 포즈 없이, 단일 이미지에서 수백 개의 뷰까지 확장 가능한 3D 스타일 전이 시스템 (Stylos) 을 제안했습니다.
2. 이중 경로 Transformer 설계: 기하학적 추론을 위한 자기 주의 경로와 스타일 주입을 위한 교차 주의 경로를 분리하여, 기하학적 정밀도와 스타일 일관성을 동시에 달성했습니다.
3. 볼륨 기반 3D 스타일 손실: 3D 볼륨 공간에서 특징 분포를 정렬하는 새로운 손실 함수를 도입하여, 기존 2D 기반 방법들이 가지지 못한 강력한 다중 뷰 일관성과 기하학적 인식을 가능하게 했습니다.
4. 제로샷 일반화 (Zero-shot Generalization): 훈련 데이터에 없는 카테고리, 장면, 스타일에 대해 뛰어난 일반화 성능을 입증했습니다.

---

4. 실험 결과 (Results)

• 데이터셋: CO3D (카테고리별 일반화), DL3DV-10K 및 Tanks & Temples (장면별 일반화), WikiArt/DELAUNAY (스타일).
• 비교 대상: StyleGaussian, G-Style, StylizedGS, SGSST, Styl3R 등 최신 3D 스타일 전이 모델.
• 성능 지표:
  • 일관성 (Consistency): 단거리 및 장거리 뷰 간 LPIPS 와 RMSE 에서 모든 비교 대상 모델보다 **가장 낮은 오류율 (Best)**을 기록했습니다. 이는 뷰 간 스타일 일관성이 매우 우수함을 의미합니다.
  • 예술적 품질 (Artistic Quality): ArtScore 와 ArtFID 지표에서 최상위권 성능을 보이며, 시각적으로 자연스럽고 예술적인 결과를 생성했습니다.
  • 속도 (Efficiency): 단일 순전파 방식이므로 훈련이 필요 없는 모델 (Styl3R) 과 비교했을 때, 0.05 초의 매우 빠른 추론 속도를 보여주며 실시간 3D 스타일 전이가 가능함을 입증했습니다. (기존 3DGS 기반 방법들은 장면별 최적화로 인해 수 분~수 십 분이 소요됨)
• 정성적 평가: 트럭, 정글, 정원과 같은 복잡한 장면에서도 배경과 전경의 색상이 일관되게 전이되며, 기하학적 구조가 왜곡되지 않고 유지되는 것을 확인했습니다.

---

5. 의의 및 결론 (Significance)

이 논문은 실시간 3D 콘텐츠 생성의 새로운 지평을 열었습니다.

• 실용성: 장면별 최적화 없이 즉시 적용 가능한 속도는 AR/VR, 메타버스, 게임 등 실시간 3D 콘텐츠 제작 분야에서 혁신적인 가능성을 제시합니다.
• 기술적 진보: 3D 공간에서 스타일 일관성을 보장하는 볼륨 기반 손실 함수의 도입은 3D 스타일 전이 연구에 중요한 방향성을 제시합니다.
• 확장성: 단일 뷰부터 수백 개의 뷰까지 유연하게 처리할 수 있는 확장성은 대규모 3D 씬 처리에 적합합니다.

결론적으로, Stylos는 기하학적 정확성과 스타일 일관성을 모두 유지하면서, 포즈 불확실성과 높은 계산 비용이라는 기존 3D 스타일 전이의 핵심 장벽을 극복한 획기적인 프레임워크입니다.