💻 computer science

Abstraction in Style

이 논문은 기존 스타일 전이 방법의 한계를 극복하기 위해 구조적 추상화와 시각적 스타일화를 분리하여, 소수의 스타일 예시만으로 대상 이미지의 구조를 재해석하고 이를 기반으로 표현력 있는 비사실적 스타일링을 가능하게 하는 생성 프레임워크 'Abstraction in Style (AiS)'을 제안합니다.

원저자: Min Lu, Yuanfeng He, Anthony Chen, Jianhuang He, Pu Wang, Daniel Cohen-Or, Hui Huang

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Min Lu, Yuanfeng He, Anthony Chen, Jianhuang He, Pu Wang, Daniel Cohen-Or, Hui Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

그림의 '마법'을 이해하는 새로운 방법: '스타일 속 추상화 (Abstraction in Style)'

이 논문은 그림을 그릴 때, 단순히 색이나 질감만 바꾸는 것이 아니라 그림의 '뼈대'나 '구조' 자체를 예술가의 눈으로 다시 해석하는 기술을 소개합니다.

기존의 AI 그림 기술들은 "원래 그림의 모양은 그대로 두고, 붓터치만 바꾸는" 방식이 주를 이루었습니다. 하지만 진짜 예술가들은 사물의 모양을 과감하게 왜곡하거나, 불필요한 부분을 지우고, 핵심만 남기면서 그림을 그립니다. 이 논문은 바로 그 **'형체를 변형시키는 마법'**을 AI에게 가르치는 방법을 제안합니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 요리와 건축에 비유해 설명해 드릴게요.

1. 문제점: 기존 기술은 '모양'을 너무 고집합니다

기존의 스타일 변환 기술은 마치 "레몬을 그대로 둔 채, 껍질만 오렌지처럼 칠하는" 것과 같습니다.

원래 그림 (Target): 정교하게 그려진 실제 사진 같은 고양이.
참고 그림 (Reference): 선이 굵고 귀여운 만화 스타일의 고양이.
기존 AI의 결과: 만화 같은 색감과 붓터치는 적용했지만, 고양이의 몸통이나 다리 비율은 여전히 사진처럼 딱딱하고 사실적입니다. 그래서 "만화 같으면서도 이상하게 실사 같은" 어색한 결과가 나옵니다.

2. 이 기술의 핵심: '두 단계 요리법'

이 논문 (AiS) 은 그림을 그리는 과정을 두 단계로 나누어 해결책을 제시합니다.

1 단계: '뼈대 재구성' (Structural Abstraction)

이 단계에서는 그림의 실제 모양을 예술가의 눈으로 다시 뜯어고칩니다.

비유: 마치 건축가가 건물의 외장재 (벽돌, 유리) 를 모두 떼어내고, 철근 구조 (골조) 만 남긴 뒤, 그 골조를 예술가의 스타일에 맞게 다시 구부리거나 늘이는 작업입니다.
작동 원리:
1. 입력된 그림에서 불필요한 디테일 (털, 그림자 등) 을 지우고, 사물의 핵심 연결 구조만 남긴 **'숨은 뼈대 (Hidden Backbone)'**를 만듭니다.
2. 참고하는 예술 작품 (예: 귀여운 만화) 의 뼈대가 어떻게 변형되었는지 학습합니다. (예: "만화에서는 귀를 크게, 다리를 짧게 그린다"는 규칙을 발견).
3. 입력된 그림의 뼈대에 그 규칙을 적용하여 **'추상화 중간체 (Abstraction Proxy)'**를 만듭니다. 이때부터 그림은 원래의 사실적인 모양에서 벗어나, 예술가의 스타일에 맞는 '새로운 모양'으로 변합니다.

2 단계: '표면 마무리' (Visual Stylization)

이제 변형된 뼈대에 예술적인 색감과 질감을 입힙니다.

비유: 재건축된 뼈대에 예술가 특유의 페인트와 장식을 입히는 작업입니다.
작동 원리: 1 단계에서 만들어진 '새로운 모양'에 참고 그림의 붓터치, 색상, 질감을 입혀 최종 그림을 완성합니다.

3. 왜 이것이 특별한가요? (핵심 메커니즘)

이 기술의 가장 큰 장점은 **'비유 (Analogy)'**를 학습한다는 점입니다.

기존 방식: "이것을 저것처럼 그려줘"라고 명령하면, AI 는 무작정 비슷하게 그리려다 모양을 망칩니다.
이 기술 (VAT): AI 는 **"A 는 B 로 변했고, C 는 D 로 변했다. 그럼 E 는 어떻게 변해야 할까?"**라는 비유적 사고를 합니다.
- 예: "참고 그림에서 '진짜 닭'은 '간단한 선화'로 변했다. 그럼 '진짜 고양이'도 '간단한 선화'로 변해야 한다."
- 이 비유를 통해 AI 는 형체를 왜곡하는 논리를 스스로 터득하게 됩니다.

4. 실제 효과: 마치 마법처럼

이 기술을 사용하면 다음과 같은 놀라운 결과를 얻을 수 있습니다.

완벽한 스타일 일치: 참고 그림이 "기하학적이고 단순한" 스타일이라면, 결과물도 복잡한 디테일을 과감히 잘라내고 단순한 도형으로 재해석됩니다.
조절 가능한 창의성: '뼈대 재구성'과 '표면 마무리'를 따로따로 조절할 수 있습니다.
- 예시: A 작가의 '형체 왜곡 스타일' + B 작가의 '색감 스타일'을 섞어서 새로운 하이브리드 스타일을 만들 수도 있습니다.

5. 요약: 한 마디로 정리하면?

"기존 기술은 그림에 '의상'만 갈아입히는 반면, 이 기술은 그림의 '몸체' 자체를 예술가의 눈으로 다시 빚어낸 뒤, 의상을 입혀줍니다."

이 '스타일 속 추상화 (AiS)' 기술은 AI 가 단순히 그림을 모방하는 것을 넘어, 예술가가 사물을 바라보는 **창의적인 시각 (어떤 부분을 강조하고, 무엇을 생략할지)**까지 이해하고 적용할 수 있게 해줍니다.

1. 문제 정의 (Problem)

기존의 스타일 전이 (Style Transfer) 기술은 주로 이미지의 질감, 색상, 브러시 스트로크 등 표면적인 시각적 특성을 참조 이미지로 전달하는 데 중점을 두었습니다. 그러나 많은 예술적 스타일 (특히 일러스트레이션 및 비사실적 스타일) 은 단순한 외형의 변화가 아니라 **구조의 의도적인 재해석 (Structural Reinterpretation)**을 포함합니다.

기존 방법의 한계: 기존 방법들은 입력 이미지의 기하학적 구조 (Geometry) 를 그대로 유지하려는 경향이 강합니다. 이로 인해 참조 스타일이 가진 '추상화'의 본질 (형태의 단순화, 비율 왜곡, 대칭 의도적 파괴, 불필요한 세부 사항 제거 등) 을 포착하지 못합니다.
핵심 과제: 표면적인 스타일링과 구조적 추상화를 분리하여, 참조 스타일의 논리에 따라 대상 이미지의 구조 자체를 재구성하는 새로운 프레임워크가 필요합니다.

2. 제안 방법론 (Methodology)

저자들은 **Abstraction in Style (AiS)**이라는 생성 프레임워크를 제안했습니다. 이는 스타일 전이를 **구조적 추상화 (Structural Abstraction)**와 **시각적 스타일링 (Visual Stylization)**의 두 단계로 명확히 분리합니다. 두 단계 모두 **시각적 유추 전이 (Visual Analogy Transfer, VAT)**라는 공통 메커니즘을 기반으로 합니다.

A. 전체 파이프라인 (Two-Stage Process)

1 단계: 구조적 추상화 (Structural Abstraction)
- 입력: 대상 이미지 (Target Image).
- 과정:
  - Hidden Backbone 생성: 대상 이미지를 벡터화 (Vectorization) 하여 세부 질감을 제거하고, 골격 추출 (Skeletonization) 과 영역 침식 (Area Erosion) 을 통해 단순화된 구조적 백본을 생성합니다. 이는 객체의 의미론적 레이아웃과 위상적 조직만 남깁니다.
  - A-VAT (Abstraction VAT) 적용: 참조 이미지들의 'Backbone → Abstraction Proxy' 쌍을 학습하여, 대상 이미지의 Backbone 을 참조 스타일의 추상화 논리에 따라 재해석된 Abstraction Proxy로 변환합니다.
- 출력: 기하학적 충실도는 낮추되 의미 구조는 유지한 중간 추상화 프록시 이미지.
2 단계: 시각적 스타일링 (Visual Stylization)
- 입력: 1 단계에서 생성된 Abstraction Proxy.
- 과정: **S-VAT (Stylization VAT)**를 사용하여 프록시 이미지를 참조 스타일의 시각적 외관 (색상, 질감, 브러시 스타일) 에 맞춰 렌더링합니다.
- 출력: 최종 스타일화된 이미지 (AiS Output).

B. 핵심 기술: 시각적 유추 전이 (Visual Analogy Transfer, VAT)

개념: $A \to A' :: B \to B'$ 형태의 시각적 유추 문제를 해결합니다. (참조 쌍 $A \to A'$ 의 변환 관계를 새로운 입력 $B$ 에 적용하여 $B'$ 을 생성).
구현: 사전 학습된 확산 모델 (Diffusion Model, FLUX.1-Fill-dev) 에 LoRA (Low-Rank Adaptation) 어댑터를 미세 조정 (Fine-tuning) 하여 구현합니다.
데이터 효율성: 명시적인 기하학적 지도 (Geometric Supervision) 없이, 스타일 예시 (Exemplars) 소수 (스타일당 평균 10 개, 학습 샘플 5~20 개) 만으로 변환 관계를 학습합니다.

3. 주요 기여 (Key Contributions)

구조와 외관의 분리 (Decoupling): 스타일 전이 과정에서 '구조적 추상화'를 명시적이고 전이 가능한 별도의 단계로 분리하여, 기존 방법들이 놓쳤던 심층적인 추상화 논리를 포착합니다.
Abstraction Proxy의 도입: 대상 이미지의 구조를 재해석하는 중간 표현 (프록시) 을 도입함으로써, 기하학적 제약 없이 스타일 특유의 구조적 변형을 자연스럽게 적용할 수 있게 합니다.
제어 가능성 (Controllability): A-VAT(구조) 와 S-VAT(스타일) 를 분리했기 때문에, 서로 다른 구조 추상화 모델과 스타일링 모델을 자유롭게 조합하여 새로운 디자인을 생성할 수 있습니다.
데이터 효율성: 복잡한 3D 모델링이나 수동 주석이 필요 없이, 소수의 2D 예시 이미지만으로 복잡한 구조적 변환을 학습할 수 있습니다.

4. 실험 결과 (Results)

정성적 평가 (Qualitative): 다양한 일러스트레이션 스타일 (강조, 단순화, 비율 왜곡 등) 에서 AiS 는 대상의 본질을 유지하면서도 참조 스타일의 추상화 논리를 충실히 반영한 결과를 생성했습니다. 기존 방법들은 원본 기하학을 유지하여 추상화 스타일과 어색한 조화를 보인 반면, AiS 는 구조적 재해석이 자연스러웠습니다.
정량적 평가 (Quantitative):
- CSD (Contrastive Style Descriptors): 스타일 유사도 측정에서 AiS 가 0.72 로 가장 높은 점수를 기록했습니다.
- LPIPS (Perceptual Similarity): 지각적 유사도 (낮을수록 좋음) 에서 0.47 로 가장 낮은 값을 기록하여, 참조 스타일과의 일치도가 가장 높음을 증명했습니다.
사용자 연구 (User Study): 블라인드 테스트에서 사용자들은 AiS 가 생성한 이미지를 50% 의 비율로 가장 선호했습니다 (차순위 Nano Banana 35%).
Ablation Study:
- Hidden Backbone: 침식된 영역 (Eroded Regions) 을 제거하면 구조적 무결성이 손상됨을 확인.
- 2 단계 파이프라인: 추상화 단계를 생략하거나 (단일 단계) A-VAT 를 제거한 경우, 원본 기하학에 갇혀 스타일의 추상화 논리를 제대로 반영하지 못함.

5. 의의 및 의의 (Significance)

예술적 표현의 확장: 단순한 필터링이나 질감 전이를 넘어, 예술가가 의도하는 '구조의 재해석'까지 자동화하여 비사실적 (Non-photorealistic) 스타일 생성의 가능성을 크게 확장했습니다.
해석 가능성과 제어: 추상화와 스타일링을 분리함으로써 생성 과정의 각 단계를 이해하고 제어할 수 있게 되었으며, 이를 통해 더 다양하고 창의적인 스타일 변형을 가능하게 합니다.
미래 지향성: 이 연구는 스타일 전이가 단순한 외형의 모방이 아니라, 의미론적 왜곡과 구조적 변형을 포함하는 고차원적인 시각적 추론 과정임을 보여주며, 향후 더 복잡한 의미론적 변형 (Semantic Warping) 을 위한 기반을 마련했습니다.

요약하자면, AiS는 "스타일이란 단순히 색과 질감이 아니라, 형태를 어떻게 재해석하느냐에 있다"는 전제하에, 구조적 추상화를 명시적인 단계로 분리하여 기존 스타일 전이 기술의 한계를 극복한 획기적인 프레임워크입니다.