🤖 AI

VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

본 논문은 실제 확산 사후 분포의 비가우시안 마르코프 근사를 최적화함으로써 대규모 마스킹 영역과 잠재 확산 모델을 처리하는 기존 방법의 한계를 효과적으로 해결하고 고품질·다양한 이미지 인페인팅 및 기타 역문제를 가능하게 하는 계층적 변분 추론 알고리즘인 VIPaint를 제안한다.

원저자: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

게시일 2026-05-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sakshi Agarwal, Gabriel Hope, Jimin Heo, Erik B. Sudderth

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 아름답고 고해상도의 사진이 있는데, 누군가 거대한 더러운 마커로 그 사진의 큰 부분을 덮어썼다고 가정해 봅시다. 당신은 이를 고치고 싶지만, 그 낙서 아래에 무엇이 있었는지 알지 못합니다. 고양이였을까요? 자동차였을까요? 아니면 산이었을까요?

이것이 이미지 인페인팅 (image inpainting) 의 문제입니다. 오랫동안 컴퓨터들은 이러한 큰 결손 부분을 채울 때, 무언가를 흐릿하거나 기괴하게, 혹은 완전히 잘못 보이게 만들지 않고 채우는 데 어려움을 겪었습니다.

이제 이 논문에서 소개된 새로운 방법인 VIPaint 가 등장했습니다. VIPaint 를 단순히 추측하는 화가로 생각하지 말고, 방대한 "만약에 (what-ifs)" 라이브러리를 활용해 결손된 픽셀의 미스터리를 해결하는 초지능 탐정으로 생각하세요.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. "마법 도서관" (사전 훈련된 확산 모델)

먼저, 수백만 장의 사진을 수년 동안 연구한 컴퓨터를 상상해 보세요. 이 컴퓨터는 세상이 어떻게 보이는지에 대한 "규칙"을 학습했습니다. 예를 들어, 고양이의 귀가 머리에 어떻게 연결되는지, 하늘의 구름이 어떻게 보이는지, 혹은 자동차의 바퀴가 차체에 어떻게 맞는지 등을 알고 있습니다. 논문에서는 이를 확산 모델 (Diffusion Model) 이라고 부릅니다.

이 모델을 존재할 수 있는 모든 가능한 이미지의 마법 도서관으로 생각하세요. 만약 이 모델에게 "고양이"를 그리라고 요청하면, 이전에 모든 고양이를 본 적이 있기 때문에 고양이가 정확히 어떻게 생겼는지 알고 있습니다.

2. 구식 방법의 문제점 ("추측 게임")

이전 방법들은 낙서로 덮인 사진을 고치기 위해 한 번 추측을 해보고, 그 결과를 살펴본 뒤, 다시 사진의 보이는 부분 쪽으로 밀어 넣는 방식을 사용했습니다.

논문에 따르면 이는 어두운 방을 한 걸음씩 걸어가며 넘어지고, 벽에 부딪히지 않기를 바라는 것과 같습니다. 결손된 부분이 거대하다면 (예: 얼굴 전체), 이러한 구식 방법들은 종종 길을 잃습니다. 그들은 구멍을 고양이 머리로 채울 수는 있지만, 몸통은 개처럼 보이거나 색상이 방의 나머지 부분과 맞지 않을 수 있습니다. 그들은 세부 사항을 채우는 동안 "큰 그림"의 일관성을 유지하는 데 어려움을 겪습니다.

3. VIPaint 의 비밀 무기: "계층적 지도"

VIPaint 는 변분 추론 (Variational Inference) 이라는 기법을 사용하여 게임의 규칙을 바꿉니다. VIPaint 는 단순히 최종 이미지를 추측하는 대신, 마법 도서관을 탐색하기 위한 계층적 지도 (단계별 가이드) 를 구축합니다.

다음은 비유입니다:

구식 방법은 "순수한 노이즈 (정적)"에서 "최종 이미지"로 바로 점프하려 합니다. 그들은 종종 넘어져서 엉망진창을 만듭니다.
VIPaint는 그 길에 있는 여러 "검문소"에서 멈춥니다. 숨겨진 계곡 (결손된 이미지) 을 찾기 위해 산을 내려가는 상황을 상상해 보세요.
- 검문소 1 (정상부): 당신은 큰 그림을 봅니다. "좋아, 이건 확실히 도시가 아니라 숲이야."
- 검문소 2 (중간): 당신은 나무들을 봅니다. "좋아, 이건 야자수가 아니라 소나무야."
- 검문소 3 (아래쪽): 당신은 구체적인 가지와 잎을 봅니다.

VIPaint 는 이러한 검문소들을 동시에 최적화합니다. 이는 "큰 그림" (숲) 이 "작은 세부 사항" (소나무 바늘) 과 일치하도록 보장할 뿐만 아니라, 낙서로 덮이지 않은 사진의 부분들과도 모든 것이 정렬되도록 합니다.

4. 더 나은 이유 ("유연한 찰흙")

논문에 따르면 VIPaint 는 경직된 동상보다는 유연한 찰흙처럼 결손된 이미지를 처리한다는 점에서 특별합니다.

불확실성: 사진에 큰 구멍이 있다면, 정답이 하나만 있는 것은 아닙니다. 고양이, 개, 혹은 여우일 수 있습니다. VIPaint 는 이를 이해합니다. 컴퓨터에게 즉시 하나의 "정답"을 선택하도록 강요하지 않습니다. 대신, 이미지의 보이는 부분으로부터 충분한 단서를 수집하여 범위를 좁힐 때까지 옵션을 열어둡니다 (이것이 "불확실성"입니다).
Zero-Shot Learning (제로샷 학습): 이는 큰 성과입니다. VIPaint 는 새로운 유형의 사진마다 재훈련될 필요가 없습니다. (Stable Diffusion 에 사용되는 것과 같은) 사전 훈련된 "마법 도서관"을 가져와 즉시 당신의 특정 낙서 사진에 적응시킵니다. 마치 요리 학교에 갈 필요 없이, 당신이 건네준 재료만으로 완벽한 요리를 할 수 있는 마스터 셰프와 같습니다.

5. 결과: 선명하고, 사실적이며, 다양함

논문은 다양한 시나리오에서 VIPaint 를 테스트했습니다:

거대한 구멍 채우기: 이미지의 50~80% 가 결손되어 있더라도, VIPaint 는 사진의 나머지 부분과 일치하는 사실적인 세부 사항으로 채웁니다.
흐린 사진 수정: 흐린 이미지를 선명하게 만들거나 (디블러링), 작은 사진을 더 크게 만드는 (초해상도) 것도 가능합니다.
텍스트-이미지: Stable Diffusion 3.5 와 같은 가장 진보된 텍스트 기반 이미지 생성기와도 작동하여, 선명할 뿐만 아니라 전체적으로 의미 있는 이미지를 생성합니다.

요약하자면:
VIPaint 는 손상되거나 낙서로 덮인 사진을 고치는 새로운 방법입니다. VIPaint 는 맹목적으로 추측하는 대신, 방대한 이미지 지식 도서관을 탐색하기 위한 지능적인 단계별 전략을 사용합니다. 이는 "큰 그림"과 "작은 세부 사항"을 동시에 점검하여, 이미지의 거대한 부분이 결손되어 있더라도 최종 결과가 사실적이고 선명하며 일관되도록 보장합니다. 이는 재훈련 없이도 모든 것을 수행하므로, 이미지를 수정하기 위한 강력한 "플러그 앤 플레이" 도구가 됩니다.

"VIPaint: Variational Inference 를 통한 사전 훈련된 확산 모델을 활용한 이미지 인페인팅"에 대한 상세한 기술 요약입니다.

1. 문제 제기

이 논문은 사전 훈련된 확산 모델 (Diffusion Models, DMs), 특히 Stable Diffusion 과 같은 **잠재 확산 모델 (Latent Diffusion Models, LDMs)**을 사용하여 이미지 인페인팅 (이미지의 누락되거나 마스킹된 영역을 채우는 작업) 의 과제를 다룹니다.

핵심 난제: DM 은 노이즈로부터 새로운 이미지를 생성하는 데 탁월하지만, 손상되었거나 부분적으로 관측된 이미지 (인페인팅) 에 조건을 부여하는 것은 쉽지 않습니다. 목표는 $y$ 가 관측된 (마스킹된) 이미지이고 $x$ 가 완전한 이미지일 때, 실제 조건부 사후 분포 $p(x|y)$ 에서 표본을 추출하는 것입니다.
기존 방법의 한계:
- 휴리스틱/반복적 방법: RePaint, CoPaint, DPS(Diffusion Posterior Sampling) 와 같은 접근법은 반복적 정제나 '시간 여행' 휴리스틱에 의존하는 경우가 많습니다. 이러한 방법들은 넓은 영역이 마스킹되었을 때 전역 구조를 포착하지 못해 일관성이 없거나 비현실적인 결과를 초래하는 경우가 많습니다.
- 변분 방법 (REDdiff): 이전의 변분 추론 시도들 (예: REDdiff) 은 종종 단순한 가우시안 근사를 사용하여 노이즈가 없는 수준 ( $t=0$ ) 에서 단일 이미지를 최적화합니다. 이는 불확실성을 포착하지 못하며, 최적화 불안정성 (특히 저노이즈 영역에서) 에 취약하고 LDM 으로 일반화하기 어렵습니다.
- 훈련 요구사항: 많은 최첨단 방법들은 특정 데이터셋이나 마스크에 대해 생성 모델을 미세 조정 (fine-tuning) 해야 하므로 계산 비용이 많이 들고 새로운 작업에 대한 '제로샷 (zero-shot)' 적용을 방해합니다.

2. 방법론: VIPaint

저자들은 사전 훈련된 확산 모델을 사전 분포 (prior) 로 간주하는 계층적 변분 추론 (hierarchical variational inference, VI) 알고리즘인 VIPaint를 제안합니다. VIPaint 는 단일 이미지를 최적화하는 대신, 여러 노이즈 수준에서 잠재 변수에 대한 분포를 최적화합니다.

A. 계층적 변분 사후 분포

VIPaint 는 실제 확산 사후 분포의 비가우시안, 마르코프 근사를 정의합니다. 이는 역확산 궤적 내에서 $K$ 개의 '키프oints(중간 타임스텝)' $\{h(1), \dots, h(K)\}$ 집합을 도입합니다 (여기서 $h(K)$ 는 고노이즈, $h(1)$ 은 저노이즈입니다).

변분 분포는 다음과 같이 정의됩니다:
$q_\lambda(z_{h(1):h(K)}) = q_\lambda(z_{h(K)}) \prod_{i=1}^{K-1} q_\lambda(z_{h(i)} | z_{h(i+1)})$

구조:
- 고노이즈 ( $h(K)$ ): 분해된 가우시안으로 모델링됩니다.
- 중간/저노이즈: 평균이 사전 훈련된 모델로부터의 사전 확산 예측과 해당 이미지에 특화된 학습된 변분 매개변수의 볼록 결합 (convex combination) 인 가우시안으로 모델링됩니다.
- 분산: 분산은 학습되며 차원별로 특정되어, 모델이 관측된 영역에서는 확신을 유지하면서 마스킹된 영역에서는 불확실성을 동적으로 증가시킬 수 있게 합니다.

B. 목적 함수

VIPaint 는 관측치 $y$ 의 주변 가능도 (marginal likelihood) 에 대한 변분 하한을 최적화합니다. 손실 함수는 세 가지 항으로 구성됩니다:

재구성 손실: 가장 낮은 노이즈 수준 ( $h(1)$ ) 에서 생성된 샘플이 관측된 픽셀 $y$ 와 일관되도록 보장합니다. 이는 한 단계 제거 노이즈 예측을 사용하여 근사화됩니다.
사전 손실: 가장 높은 노이즈 수준 ( $h(K)$ ) 을 정규화하여 고노이즈 영역에서 확산 사전 분포가 인코딩한 전역 의미론과 일치하도록 합니다.
계층적 손실: 계층 내 인접 키프oints 간의 일관성을 보장하여 중간 수준의 이미지 세부 사항과 구조를 포착합니다.

C. 최적화 및 샘플링

최적화: 변분 매개변수 $\lambda$ (평균, 분산, 혼합 가중치) 는 이미지별로 경사 하강법 (Adam) 을 사용하여 최적화됩니다. 중요한 점은 어닐링 (annealing) 없이 수행된다는 것입니다 (손실을 위해 무작위 시간 샘플링이 사용됨). 이는 편향되지 않은 하한을 제공하며, $T$ 에서 $0$으로 어닐링하는 방법에서 관찰되는 불안정성을 피합니다.
샘플링: 최적화 후, 다양한 재구성이 다음과 같이 생성됩니다:
1. 조상 샘플링 (Ancestral Sampling): $h(K)$ 에서 $h(1)$ 까지 최적화된 계층적 사후 분포에서 샘플링합니다.
2. 정제: 사전 훈련된 제거 노이즈 네트워크를 사용하여 가능도 기울기 (DPS 와 유사하지만 더 잘 초기화된 사후 분포에서 시작) 에guided 되어 $h(1)$ 에서 $t=0$ 까지 샘플을 추가로 정제합니다.

3. 주요 기여

계층적 비가우시안 근사: 이전의 VI 방법들이 단일 지점 ( $t=0$ ) 에서 사후 분포를 근사하는 것과 달리, VIPaint 는 노이즈 수준의 계층을 걸쳐 사후 분포를 모델링합니다. 이를 통해 전역 의미론(고노이즈에서) 과 국소 세부 사항(저노이즈에서) 을 동시에 포착할 수 있습니다.
제로샷 적응: VIPaint 는 사전 훈련된 확산 모델을 미세 조정할 필요가 없습니다. 각 쿼리에 대해 변분 매개변수를 최적화함으로써 새로운 마스크와 이미지에 모델을 적응시키므로, 모든 사전 훈련된 DM(픽셀 기반 또는 잠재 기반) 에 적용 가능합니다.
안정성 및 불확실성 모델링: 주요 최적화 단계 동안 (제거 노이즈 네트워크가 매끄럽지 않고 불안정한) 저노이즈 영역을 피하고 분산을 명시적으로 모델링함으로써, VIPaint 는 누락된 데이터의 불확실성을 반영하는 다양하고 타당한 추정치를 생성합니다.
LDM 으로의 일반화: 이 방법은 명시적으로 잠재 확산 모델 (LDM) 과 작동하도록 설계되어, 픽셀 기반 접근법보다 낮은 계산 비용으로 고해상도 인페인팅 (예: 1024x1024) 을 가능하게 합니다.

4. 실험 결과

저자들은 ImageNet64, ImageNet256, LSUN-Churches, 그리고 텍스트 조건부 Stable Diffusion 3.5에서 VIPaint 를 평가했습니다.

정량적 성능:
- 대형 마스크: VIPaint 는 이미지 영역의 40-80% 가 마스킹된 대형 영역에서 PSNR, SSIM, LPIPS 측면에서 기준선 (DPS, RePaint, CoPaint, REDdiff) 보다 크게 우월한 성능을 보입니다.
- 텍스트 조건부 모델: Stable Diffusion 3.5 에서 VIPaint 는 우수한 PSNR(26.69 대 DPS 의 25.22) 과 LPIPS(0.050 대 0.061) 를 달성하여 미세한 세부 사항을 보존하는 전역적으로 일관된 이미지를 생성합니다.
- 기타 역문제: 이 방법은 **디블러링 (deblurring)**과 **초해상도 (super-resolution)**에서도 강력한 성능을 보여주며, PSLD 및 ReSample 과 같은 전문화된 기준선들을 능가합니다.
정성적 성능:
- 시각적 결과는 VIPaint 가 다른 방법들이 흐릿하거나 일관성 없는 아티팩트를 생성하는 대신 전역적으로 일관된 구조 (예: 일관된 물체 모양과 조명) 를 생성함을 보여줍니다.
- 동일한 마스킹된 이미지에 대해 다양한 여러 개의 타당한 완성을 성공적으로 생성하여 사후 분포의 다중 모드 (multi-modal) 특성을 모델링하는 능력을 입증합니다.
효율성:
- VIPaint 는 계산적으로 효율적입니다. $K=2$ 인 경우, 최적화를 위해 약 150 개의 제거 노이즈 네트워크 호출만 필요하며 (샘플링 기반 방법은 1000 회 이상), 더 높은 품질을 제공하면서도 많은 기준선들보다 빠릅니다.

5. 의의

VIPaint 는 확산 모델을 활용한 역문제 분야에서 중요한 진전을 의미합니다. 휴리스틱 샘플링이나 단일 지점 최적화에서 원칙적인 계층적 변분 추론 프레임워크로 전환함으로써, 대형 마스크 인페인팅에서의 전역적 불일치라는 핵심 문제를 해결합니다.

재훈련 없이 최첨단 기반 모델 (Stable Diffusion 3.5 등) 과 제로샷으로 작동할 수 있는 능력은 이를 실제 세계의 이미지 편집, 복원, 완성 작업에 매우 실용적인 도구로 만듭니다. 이는 변분 추론의 이론적 엄밀함과 현대 생성형 AI 의 실용적 능력 사이의 간극을 메웁니다.