1. 문제 정의 (Problem)

기존의 이미지 벡터화 (Image Vectorization) 기술은 '모달 (Modal)' 인식 패러다임에 기반하고 있습니다. 이는 이미지의 가시적인 픽셀만 추적하고 가려진 (occluded) 영역은 무시하는 방식입니다. 이로 인해 다음과 같은 한계가 발생합니다.

• 의미론적 얽힘 (Semantic Entanglement): 가려진 물체가 있을 경우, 벡터화 결과물은 하나의 통합된 객체가 아니라 단편적이고 의미 없는 벡터 조각들로 나뉩니다.
• 기하학적 불완전성: 가려진 부분이 누락되어 객체의 전체적인 형태를 복원할 수 없습니다.
• 편집성 부재: 생성된 SVG 는 개별 객체 단위 (Object-level) 로 재배치, 재색상, 크기 조절, 제거 등의 편집이 불가능하며, 이는 그래픽 디자인 및 애니메이션 분야에서 SVG 의 핵심 장점인 구조적 편집성을 무력화시킵니다.

따라서, 가시 영역뿐만 아니라 가려진 영역까지 포함한 완전한 객체 기하학과 외관을 복원하여, 의미론적으로 분리되고 편집 가능한 벡터 레이어를 생성하는 새로운 작업인 'Amodal Image Vectorization (모달 이미지 벡터화)' 이 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 AmodalSVG라는 새로운 프레임워크를 제안하며, 이를 두 단계 (Two-stage) 프로세스로 구성합니다.

1 단계: 시맨틱 레이어 피링 (Semantic Layer Peeling, SLP)

라스터 (Raster) 도메인에서 시맨틱 레이어를 분리하고 가려진 부분을 복원하는 과정입니다.

• VLM 기반 전경 파싱 (VLM-Driven Foreground Parsing):
  • Vision-Language Model (VLM, 예: Qwen3-VL) 을 활용하여 장면의 깊이 (depth) 와 가림 (occlusion) 관계를 추론합니다.
  • 체인 오브 씽킹 (Chain-of-Thought) 프롬프트를 통해 가장 앞쪽에 있는 객체를 식별하고, 해당 객체의 키워드와 설명을 생성합니다.
  • GroundedSAM 을 사용하여 정밀한 이진 마스크를 생성합니다.
• 홀리스틱 레이어 완성 (Holistic Layer Completion):
  • 전경 완성: 객체가 이미지 경계에 잘려 있거나 잘린 경우, 캔버스를 확장하여 가려진 부분을 합성합니다.
  • 배경 복원 (Hybrid Inpainting): 객체를 제거한 후 생긴 구멍 (hole) 을 채우기 위해 LaMa(배경 질감 복원) 와 FLUX(고충실도 세부 사항 및 의미론적 텍스처 생성) 를 결합한 하이브리드 인페인팅을 사용합니다. 이를 통해 가려진 배경이 자연스럽게 복원되어 다음 레이어 피링을 위한 깨끗한 배경을 제공합니다.
  • 이 과정을 반복하여 장면이 배경만 남을 때까지 레이어를 순차적으로 추출합니다.

2 단계: 적응형 레이어 벡터화 (Adaptive Layered Vectorization, ALV)

완성된 각 라스터 레이어를 효율적으로 벡터 (SVG) 로 변환하는 과정입니다.

• 콘텐츠 적응형 초기화 (Content-Adaptive Initialization):
  • 레이어의 마스크 면적에 비례하여 초기 원시 (primitive) 수를 할당하고, 픽셀 색상과 위치를 기반으로 초기화하여 최적화 수렴을 가속화합니다.
• 가림 인식 원시 가지치기 (Occlusion-aware Primitive Pruning):
  • 기존 방법 (면적 또는 불투명도 기반) 과 달리, 전체 가림 계층 구조 (Global Occlusion Hierarchy) 내에서 각 원시의 시각적 기여도 (Visual Contribution) 를 계산합니다.
  • 상위 레이어에 의해 완전히 가려져 시각적으로 보이지 않는 원시만 제거하여, 구조적 무결성을 해치지 않으면서 효율성을 높입니다.
• 중요도 기반 원시 추가 (Importance-driven Primitive Addition):
  • 재구성 오차 맵 (Error Map) 을 분석하여 오차가 큰 영역 (세부 사항이 필요한 곳) 에 새로운 원시를 동적으로 추가합니다.
  • 오차 예산 (Error Budget) 메커니즘을 통해 현재 오차와 목표 오차의 차이를 해결하기 위해 필요한 원시 수를 예측하고, 이를 기반으로 원시 개수를 조절합니다.

3. 주요 기여 (Key Contributions)

1. Amodal Image Vectorization 작업 정의: 가려진 영역까지 포함한 완전한 객체 기하학을 복원하는 새로운 벡터화 작업을 정의하고, 이를 위한 AmodalSVG 프레임워크를 제안했습니다.
2. 시맨틱 레이어 피링 (SLP) 전략: VLM 의 공간 추론 능력과 하이브리드 인페인팅을 결합하여, 가려진 객체를 구조적으로 완전한 독립 레이어로 분리하고 복원하는 기술을 개발했습니다.
3. 적응형 레이어 벡터화 (ALV) 메커니즘: 고정된 휴리스틱이 아닌, 피드백 기반의 동적 원시 관리 (가지치기 및 추가) 를 통해 재구성 충실도와 원시 효율성 사이의 최적 균형을 달성했습니다.
4. 성능 및 편집성 입증: 기존 최첨단 방법들보다 뛰어난 시각적 충실도를 보일 뿐만 아니라, 객체 단위 재배치, 재색상, 제거 등 기존에는 불가능했던 고급 편집 기능을 지원함을 증명했습니다.

4. 실험 결과 (Results)

• 재구성 충실도 (Reconstruction Fidelity):
  • 다양한 메트릭 (MSE, PSNR, SSIM, LPIPS) 에서 기존 방법 (DiffVG, LIVE, LayerTracer 등) 을 압도적으로 상회했습니다.
  • 특히 PSNR 은 32.91 dB 로 2 위인 DiffVG(30.52 dB) 보다 월등히 높았으며, LPIPS 는 0.0554 로 가장 낮은 값을 기록하여 인간이 인지하는 화질 차이가 가장 적음을 보였습니다.
• 레이어 품질 (Layering Quality):
  • 기존 방법들은 객체가 분열되거나 (Path-by-path), 의미론적으로 얽혀 있는 (Coarse-to-fine) 반면, AmodalSVG 는 각 객체가 완전한 형태 (예: 고양이 뒤에 있는 개의 전체 몸체, 가려진 책상 등) 로 분리된 레이어를 생성했습니다.
• 편집 가능성 (Editing Capabilities):
  • 생성된 SVG 는 개별 객체 단위로 재배치 (Reposition), 재색상 (Recolor), 크기 조절 (Resize), 제거 (Remove), 순서 변경 (Reorder), 교체 (Replace) 가 모두 가능하여, 배경에 구멍이 생기거나 아티팩트가 발생하지 않았습니다.
• Ablation Study:
  • SLP 의 VLM 반복 피링과 하이브리드 인페인팅이 없으면 객체 분리가 실패하거나 배경 복원이 불완전함이 확인되었습니다.
  • ALV 의 가지치기와 추가 전략이 없으면 원시 수가 과도하게 증가하거나 세부 사항이 손실됨이 입증되었습니다.

5. 의의 및 결론 (Significance)

AmodalSVG 는 단순한 이미지 벡터화를 넘어, 시각적 인식의 한계를 넘어선 '모달 (Amodal)' 복원을 벡터 그래픽 생성에 성공적으로 적용했습니다.

• 구조적 편집성 회복: 생성된 벡터 파일은 전문 그래픽 디자이너가 원하는 대로 객체를 자유롭게 조작할 수 있는 '실제' 벡터 아트와 유사한 구조를 가집니다.
• 새로운 패러다임: 라스터 도메인에서 의미론적 분리와 완성을 먼저 수행한 후 벡터화하는 접근법은, 복잡한 자연 이미지에서도 높은 품질의 벡터화를 가능하게 하는 새로운 표준을 제시합니다.
• 응용 분야: 애니메이션, 게임 자산 제작, 인터랙티브 웹 디자인 등 구조적 편집이 필수적인 분야에서 기존 래스터 이미지를 벡터 기반으로 변환하는 데 혁신적인 도구가 될 것입니다.

이 연구는 VLM 의 추론 능력과 생성형 AI(인페인팅) 를 결합하여 컴퓨터 비전과 그래픽스 간의 간극을 메우는 중요한 진전으로 평가됩니다.