Data-Efficient Brushstroke Generation with Diffusion Models for Oil Painting

이 논문은 소량의 손으로 그린 샘플만으로도 확산 모델을 통해 인간과 유사한 붓터치를 생성하고 제어할 수 있는 'StrokeDiff' 프레임워크를 제안하여, 데이터 효율적인 원시 요소 모델링이 표현력 있고 구조화된 멀티미디어 콘텐츠 제작을 가능하게 함을 보여줍니다.

핵심

이 논문은 **"적은 데이터로도 화가처럼 자연스러운 붓터치를 만들어내는 인공지능"**에 대한 이야기입니다.

기존의 AI 그림 그리기 기술은 보통 수만 장의 사진을 먹어서 배우기 때문에, 화가 한 명이 손으로 그린 붓터치 몇 백 개만으로는 제대로 배우기 힘들었습니다. 마치 수만 권의 요리책을 읽은 셰프에게 레시피가 적힌 쪽지 한 장만 주면, 그걸로 요리를 잘할 수 있을까? 하는 문제와 비슷하죠.

이 연구팀은 이 문제를 해결하기 위해 **'스무스 정규화 (Smooth Regularization, SmR)'**라는 새로운 기술을 개발했습니다.

🎨 핵심 아이디어: "혼란스러운 연습장"

1. 문제 상황: 데이터가 너무 적어요!
기존 AI 모델은 붓터치 데이터가 470 개밖에 없는데, 이걸로 학습하면 AI 는 "아, 붓터치는 이런 거구나"라고 배우기보다, "아, 그냥 색칠된 얼룩이구나"라고 착각해서 이상한 그림만 그렸습니다. (이를 '모드 붕괴'라고 합니다.)

2. 해결책: "가상의 붓터치"를 섞어주세요!
연구팀은 학습하는 동안, AI 가 진짜 붓터치를 볼 때 무작위로 다른 붓터치 하나를 섞어서 보여줍니다.

• 비유: 요리사가 레시피를 외울 때, 옆에서 다른 요리사가 "이건 소금 좀 더 넣어야 해"라고 자주 다른 조언을 해주는 것과 같습니다.
• AI 는 "아, 이 붓터치도 저런 모양이구나, 저것도 저런 모양이구나"라고 다양한 패턴을 경험하게 됩니다.
• 중요한 점은, 실제 그림을 그릴 때 (결과물을 낼 때) 는 이 '가상의 조언'을 모두 끄고 오직 AI 가 배운 실력만으로 그립니다. 그래서 결과물은 자연스럽고 일관성 있게 나옵니다.

이 기술을 **스무스 정규화 (SmR)**라고 부르는데, 마치 AI 가 학습하는 동안 부드럽게 (Smooth) 다양한 경험을 쌓게 만들어 주는 '안정제' 역할을 합니다.

🖌️ 더 멋진 기능: "마법 같은 붓"

이 AI 는 단순히 무작위로 그림만 그리는 게 아닙니다.

• 조절 가능한 붓: 사용자가 "이 붓은 길게, 저쪽은 짧게"라고 **베지어 곡선 (Bezier curve)**으로 모양을 지정해 주면, AI 는 그 지시대로 정확한 모양의 붓터치를 만들어냅니다.
• 층층이 쌓기: 실제 화가가 그림을 그릴 때, 먼저 배경을 칠하고 그 위에 물체를 그리고, 마지막으로 디테일을 추가하듯, AI 도 **어떤 순서로 붓을 칠할지 정렬 (Ranking)**해서 그림을 완성합니다. 이렇게 하면 붓터치가 겹칠 때 어색해 보이지 않고, 마치 실제 유화처럼 층이 살아있는 그림이 나옵니다.

🏆 결과: 어떤 차이가 있나요?

• 기존 기술: 기하학적인 선이나 미리 정해진 스텐실처럼 딱딱하고 반복적인 붓터치.
• 이 연구 (StrokeDiff): 화가가 손으로 그린 듯한 불규칙하고 생동감 넘치는 질감. 유화의 두꺼운 물감 층이 겹쳐지는 느낌까지 재현합니다.

사람들이 직접 평가해 본 결과, 이 AI 가 만든 그림은 예술적인 느낌 (스타일), 질감, 그리고 미적인 아름다움에서 다른 기술들보다 훨씬 높은 점수를 받았습니다. 다만, 원본 사진과 너무 똑같아야 한다는 점에서는 약간 점수가 낮았는데, 이는 "예술적 재해석"을 했기 때문이라고 설명합니다.

🚀 앞으로의 가능성

이 기술은 단순히 그림을 그리는 것을 넘어, 다음과 같은 분야에서 쓰일 수 있습니다.

• 로봇이 그림 그리기: 로봇 팔이 이 AI 가 만든 붓터치 데이터를 따라 실제 캔버스에 그림을 그릴 수 있습니다.
• 디지털 드로잉 도구: 태블릿이나 스타일러스에 이 기술을 적용하면, 사용자가 그린 선이 자동으로 유화 같은 질감으로 변환되어 더 생생한 작품을 만들 수 있습니다.
• 3D 프린팅: 붓터치의 두께와 질감을 높이 정보로 변환해, 손으로 만졌을 때 실제 유화처럼 울퉁불퉁한 느낌을 주는 2.5D 프린팅도 가능해집니다.

한 줄 요약:

"적은 데이터로도 화가처럼 자연스럽고 질감 넘치는 붓터치를 배워, AI 가 진짜 유화 같은 그림을 그릴 수 있게 만든 새로운 기술입니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 데이터 부족 문제: 현대의 생성 모델 (Diffusion Models 등) 은 대규모 자연 이미지 데이터셋에 의존하지만, 예술적 표현의 기본 단위인 '붓질 (Brushstroke)'과 같은 시각적 원시 데이터는 수집이 어렵고 양이 매우 적습니다. 이 논문은 전문 화가의 손으로 그린 470 개의 붓질 샘플이라는 극소량의 데이터로 학습하는 것을 목표로 합니다.
• 기존 방법의 한계:
  • 템플릿/기하학적 접근: 기존 스텟-기반 렌더링 (SBR) 은 미리 정의된 템플릿이나 기하학적 곡선을 사용하지만, 인간 붓질의 다양성, 불규칙성, 질감을 표현하지 못해 예술적 추상화에 한계가 있습니다.
  • GAN 기반 생성: GAN 은 데이터가 부족할 때 모드 붕괴 (Mode Collapse) 를 일으키기 쉽습니다.
  • 확산 모델 (Diffusion Models) 의 미세 조정: 사전 학습된 확산 모델을 소량의 붓질 데이터로 직접 파인튜닝하면, 구조적 붕괴가 발생하거나 붓질의 본질적인 질감과 형태를 잃어버리는 문제가 발생합니다.
• 핵심 과제: 소량의 데이터에서도 구조적 일관성과 예술적 스타일 (질감, 불규칙성) 을 유지하면서 인간과 유사한 붓질을 생성하고, 이를 제어 가능한 방식으로 통합하는 것입니다.

2. 제안 방법론 (Methodology)

저자들은 StrokeDiff라는 확산 기반 프레임워크를 제안하며, 핵심은 **Smooth Regularization (SmR)**입니다.

A. Smooth Regularization (SmR)

• 개념: 확산 과정의 훈련 단계에서 확률적 시각 사전 지식 (Stochastic Visual Priors) 을 주입하여 데이터 부족으로 인한 학습 불안정을 해결하는 정규화 전략입니다.
• 작동 원리:
  • 각 확산 단계 (timestep) 에서 목표 붓질 ($x_0$) 에 더해, 훈련 데이터셋에서 무작위로 샘플링된 다른 붓질 ($x_s$) 을 '시각 사전 (Visual Prior)'으로 주입합니다.
  • 수식적으로, 노이즈 과정에 $\sqrt{\eta}x_s$ 항을 추가하여 데이터 항과 시각 사전 항을 모두 포함하는 분포를 만듭니다. 여기서 $\eta$는 주입 강도를 조절하는 스케일링 인자입니다.
  • 핵심 특징: 이 사전 지식은 훈련 시간에만 적용되며, 추론 (Inference) 단계에서는 제거됩니다. 따라서 추가적인 조건이나 계산 오버헤드 없이 기존 확산 샘플링 전략과 호환됩니다.
  • 효과: 모델이 고정된 구조를 암기하는 것을 방지하고, 저신호 (Low-signal) 환경에서도 전역 구조와 의미론적 일관성을 유지하도록 돕습니다.

B. 제어 가능한 붓질 합성 (Controllable Stroke Synthesis)

• 베지어 기반 조건부 모듈: 스캔된 래스터 이미지를 파라미터화하여 제어 가능성을 부여합니다.
  • 각 붓질을 단일 3 차 베지어 곡선 ($c_p$) 으로 근사화합니다 (제어점, 색상, 불투명도, 너비 등 포함).
  • 이 벡터 그래픽 파라미터를 컨텍스트 특징과 결합하여 U-Net 의 크로스 어텐션 (Cross-Attention) 메커니즘에 주입합니다.
  • 이를 통해 특정 모양, 위치, 스타일을 가진 붓질을 생성할 수 있습니다.

C. 페인팅 파이프라인 통합

• 스탬프 예측기 (Stroke Predictor): 목표 이미지에서 붓질의 위치, 모양, 크기 및 **그림 순서 (Ranking Score)**를 예측합니다.
• 랭킹 손실 (Ranking Loss): 붓질 간의 중첩 (Overlap) 을 방지하고 자연스러운 레이어링을 위해, 붓질이 그려져야 할 순서를 예측하는 손실 함수를 도입했습니다. 이는 그림의 일관성을 높이는 데 필수적입니다.
• 렌더링: 예측된 순서에 따라 생성된 붓질을 캔버스에 순차적으로 합성하여 최종 유화 이미지를 완성합니다.

3. 주요 기여 (Key Contributions)

1. Smooth Regularization (SmR): 추론 과정을 변경하지 않고 훈련 시 확률적 시각 사전 지식만 주입하여, 소량의 데이터에서도 확산 모델의 안정성을 확보하는 경량 정규화 기법.
2. 제어 가능한 파이프라인: 베지어 파라미터를 기반으로 한 조건부 생성 모듈과 붓질 순서 최적화 (Ranking Loss) 를 포함한 완성된 유화 생성 파이프라인 구축.
3. 종합적 평가: 붓질 수준 (FID, CRD, LPIPS) 과 완성된 그림 수준 (CLIP 점수, 인간 평가) 에서 템플릿, 벡터, GAN, 기존 확산 모델 기반 방법들과 비교 평가.

4. 실험 결과 (Results)

• 데이터 효율성: 470 개의 손으로 그린 붓질 데이터만으로 학습했습니다.
• 정량적 성능:
  • FID (Fréchet Inception Distance): SmR 을 적용한 StrokeDiff 는 기존 노이즈 스케줄링 (INS) 이나 LoRA 기반 파인튜닝보다 훨씬 낮은 FID 점수를 기록하여, 생성된 붓질이 실제 데이터 분포에 더 가깝고 구조적 붕괴가 없음을 입증했습니다.
  • CRD (Closed Region Detection): 붓질의 구조적 결함 (파편화 또는 뭉침) 을 측정하는 지표에서 기존 방법들보다 월등히 우수한 성능을 보였습니다.
  • 제어 가능성: 베zier 파라미터 조건부 생성 시, 모양과 외관을 정확하게 일치시켰습니다.
• 정성적 평가 (Human Evaluation):
  • 51 명의 참가자 (예술 전공자 포함) 를 대상으로 한 평가에서 스타일, 미적 가치, 질감 분야에서 모든 경쟁 방법 (Diffvg, Learn2Paint, Stylized 등) 을 능가했습니다.
  • 완성된 그림은 더 풍부한 질감과 명확한 레이어링을 보여주며, 유화 특유의 예술적 추상화를 잘 구현했습니다.
  • 단, 예술적 표현을 강조하다 보니 사진과의 내용 일치도 (Content Retention) 는 다소 낮았으나, 이는 비사진적 렌더링의 본질적 특성에 기인한 것으로 해석됩니다.

5. 의의 및 결론 (Significance)

• 데이터 효율적 원시 모델링: 대규모 데이터 없이도 예술적 원시 (Primitives) 를 학습할 수 있음을 보여주어, 데이터 수집이 어려운 창의적 멀티미디어 분야에 새로운 가능성을 열었습니다.
• 구조와 표현의 균형: 확산 모델의 강력한 생성 능력과 붓질의 구조적 제어 (베지어, 순서) 를 결합하여, 단순한 이미지 변환을 넘어 '프로세스 인식 (Process-aware)' 콘텐츠 생성을 가능하게 했습니다.
• 확장성: SmR 기법은 붓질 생성뿐만 아니라 다른 저데이터 도메인 (예: 인페인팅 등) 에서도 정규화 전략으로 활용될 잠재력을 가집니다.
• 응용 분야: 로봇 페인팅, 디지털 크리에이티브 도구, 2.5D 프린팅 등 다양한 분야에 적용 가능한 기술적 기반을 제공합니다.

이 논문은 제한된 데이터 환경에서도 고품질의 예술적 생성을 가능하게 하는 새로운 확산 모델 아키텍처와 평가 체계를 제시했다는 점에서 의의가 큽니다.