🤖 AI

InverFill: One-Step Inversion for Enhanced Few-Step Diffusion Inpainting

이 논문은 무작위 가우시안 노이즈 초기화의 한계를 극복하기 위해 입력 이미지의 시맨틱 정보를 노이즈에 주입하는 'InverFill'이라는 한 단계 역전달 방법을 제안하여, 재학습 없이도 소수 단계 확산 모델의 인페인팅 품질과 텍스트 일관성을 크게 향상시킵니다.

원저자: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Duc Vu, Kien Nguyen, Trong-Tung Nguyen, Ngan Nguyen, Phong Nguyen, Khoi Nguyen, Cuong Pham, Anh Tran

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 1. 문제: "그림을 빨리 고치려다 망친 경우"

상상해 보세요. 친구가 그린 그림의 한 구석을 지우개로 지웠습니다. 이제 그 빈 공간을 채워야 합니다.

기존의 방식 (느린 방법): 전문가가 천천히, 한 번에 한 번씩 붓질을 하며 빈 공간을 채웁니다. 배경의 빛, 그림자, 색감을 하나하나 맞춰가며 아주 자연스럽게 완성합니다. 하지만 시간이 너무 오래 걸립니다.
빠른 방식 (Few-step Diffusion): "빨리 그려!"라고 외치면 인공지능이 몇 번의 붓질만으로 그림을 완성합니다. 속도는 엄청 빠르지만, 문제가 생깁니다.
- 인공지능이 빈 공간을 채울 때, **"아무것도 없는 흰색 종이에 무작위로 점을 찍는 것"**처럼 시작합니다.
- 그래서 빈 공간에 그려진 그림이 배경과 전혀 어울리지 않거나, 색이 이상하게 튀거나, 아예 엉뚱한 무언가가 그려져 버립니다. (예: 배경이 해변인데 빈 공간에 눈사람이 그려짐)

🚀 2. 해결책: InverFill (인버필) - "맞춤형 시작점"

InverFill 은 이 문제를 해결하기 위해 **"무작위 시작"을 버리고 "맞춤형 시작"**을 제안합니다.

비유: "빈 공간에 이미 그려진 그림의 흔적을 미리 심어주는 것"

기존 방식이 빈 캔버스에 아무것도 없는 상태에서 그림을 그리기 시작한다면, InverFill 은 다음과 같이 합니다:

지워진 부분을 분석: 인공지능이 지워진 부분의 주변을 살펴봅니다. "아, 여기는 바다 배경이니까 파란색과 물결 무늬가 필요하겠구나."라고 파악합니다.
맞춤형 '시작 재료' 만들기: 그림을 그릴 때 필요한 '시작 재료 (노이즈)'를 무작위로 뽑는 대신, 주변 배경과 완벽하게 어울리는 재료를 미리 만들어냅니다.
- 마치 요리할 때, 빈 그릇에 아무 재료나 넣는 게 아니라, 요리의 맛을 미리 내어둔 국물을 먼저 붓는 것과 같습니다.
빠른 완성: 이제 인공지능은 이 '맞춤형 재료'를 바탕으로 그림을 그리기 시작합니다. 시작점이 이미 배경과 잘 어울리기 때문에, 몇 번의 붓질만으로도 배경과 자연스럽게 이어지는 완벽한 그림이 나옵니다.

✨ 3. InverFill 의 핵심 기술 (쉬운 설명)

이 기술이 어떻게 작동하는지 세 가지 핵심 아이디어로 정리해 볼게요.

① 거꾸로 뒤집기 (One-Step Inversion):
보통 인공지능은 그림을 그릴 때 '소음 (잡음)'에서 시작해 그림을 만들어냅니다. InverFill 은 그 반대로, 이미 있는 그림 (지워진 상태) 을 분석해서 그 그림을 만들 수 있었던 '소음'을 역으로 찾아냅니다. 그리고 그 소음을 지워진 부분에 맞춰 수정합니다.
② 정보 유출 방지 (Re-Blending):
지워진 부분을 분석할 때, 주변 배경의 정보가 너무 많이 섞여 들어오면 오히려 그림이 망가질 수 있습니다. InverFill 은 지워진 부분에는 깨끗한 '새로운 소음'을 섞어주면서, 주변 배경 정보는 살려주는 똑똑한 장치를 달았습니다. (비유: 지워진 구멍에 새로운 흙을 채우되, 주변 풀밭의 뿌리만 건드리지 않게 하는 것)
③ 자연스러운 규칙 준수 (Gaussian Regularization):
인공지능이 그리는 소음은 특정한 규칙 (가우시안 분포) 을 따라야 자연스럽습니다. InverFill 은 이 규칙을 지키도록 훈련시켜, 만들어진 그림이 어색하지 않고 매끄럽게 완성되도록 합니다.

🏆 4. 왜 이 기술이 대단한가요?

속도: 기존에 30 번의 붓질이 필요했던 작업을 2~4 번으로 줄였습니다. (약 6 배 빠름)
품질: 속도가 빨라졌는데도, 그림의 질은 전문적인 30 번 붓질 작업과 비슷하거나 더 좋습니다.
편의성: 별도의 복잡한 학습이나 추가 비용 없이, 기존에 있는 빠른 인공지능 모델에 이 '맞춤형 시작점' 기술만 입히면 됩니다.
초경량: 이 기술을 적용하는 데 걸리는 시간은 0.06 초입니다. (우리가 눈을 깜빡이는 시간보다 훨씬 짧음)

📝 요약

InverFill은 "그림을 빨리 고치고 싶을 때, 무작위로 시작하지 말고 주변 환경을 미리 분석해서 가장 어울리는 시작점부터 그리라"는 아이디어입니다.

이 덕분에 우리는 이제 아주 짧은 시간 안에, 배경과 자연스럽게 어울리는 고화질의 그림 수정 작업을 즐길 수 있게 되었습니다. 마치 마법처럼, 지워진 부분이 순식간에 원래의 모습으로 돌아오는 것입니다.

1. 문제 정의 (Problem Statement)

배경: 최근 확산 모델 (Diffusion Models) 은 텍스트 기반 이미지 인페인팅 (Image Inpainting) 에서 뛰어난 사실성을 보여주지만, 고품질 결과를 얻기 위해 수십~수백 단계의 샘플링 (NFEs, Neural Function Evaluations) 이 필요하여 실시간 응용에 제한적입니다.
현재의 한계:
- Few-step 모델의 부적응: 텍스트 - 이미지 생성을 위해 최적화된 Few-step (예: 2~4 단계) 확산 모델을 인페인팅에 직접 적용할 경우, 배경과 채워진 영역 간의 조화 (Harmonization) 가 떨어지고 아티팩트가 발생합니다.
- 무작위 노이즈 초기화의 실패: 기존 인페인팅은 무작위 가우시안 노이즈에서 시작합니다. Multi-step 모델은 이 노이즈를 점진적으로 정제하며 배경과 일치시키지만, Few-step 모델은 각 단계에서 큰 업데이트를 수행하므로 초기 노이즈와 마스킹된 영역 간의 의미론적 불일치 (Semantic Misalignment) 를 보정할 시간이 부족합니다.
- 기존 Few-step 인페인팅 모델의 복잡성: TurboFill 과 같은 기존 Few-step 인페인팅 전용 모델은 복잡한 적대적 학습 (Adversarial Training) 과 실제 이미지 감독 (Real-image supervision) 이 필요하여 학습 비용이 크고 일반화가 어렵습니다.

2. 제안 방법 (Methodology)

저자들은 InverFill을 제안합니다. 이는 인페인팅을 위해 맞춤 설계된 단일 단계 역변환 (One-Step Inversion) 네트워크로, 기존 Few-step 텍스트 - 이미지 모델의 성능을 재학습 없이 향상시킵니다.

핵심 구성 요소:

의미론적으로 정렬된 역변환 노이즈 (Semantically Aligned Inverted Noise):
- 무작위 가우시안 노이즈 대신, 입력된 마스킹된 이미지 (Masked Image) 를 분석하여 의미론적 정보를 담은 초기 노이즈 잠재 변수 (Noise Latent, $\hat{z}_T$ ) 를 생성합니다.
- 이를 통해 Few-step 샘플링 과정에서 배경과의 의미론적 정렬을 초기 단계부터 보장합니다.
재블렌딩 (Re-Blending) 연산:
- 문제: 마스킹된 이미지를 역변환할 때, 가시 영역의 정보가 노이즈 잠재 공간으로 유출 (Leakage) 되어 마스킹 영역의 노이즈 분포가 왜곡될 수 있습니다.
- 해결: 예측된 노이즈 잠재 변수 $\hat{z}_T$ 에서 마스킹된 영역을 무작위 가우시안 노이즈 ( $\epsilon'$ ) 로 교체하여, 확산 모델이 기대하는 분포를 부분적으로 복원하고 정보 유출을 방지합니다.
가우시안 정규화 손실 (Gaussian Regularization Loss, $L_{reg}$ ):
- 문제: Re-Blending 만으로는 마스킹 영역의 노이즈가 확산 모델이 요구하는 표준 가우시안 분포를 완전히 따르지 못해 재구성 품질이 저하될 수 있습니다.
- 해결: 합성된 잠재 변수 ( $\hat{z}^{blend}_T$ ) 의 통계적 모멘트 (평균, 분산) 를 표준 가우시안 분포의 이론적 모멘트와 일치시키는 정규화 손실을 도입하여 분포 정렬을 강제합니다.
이미지 없는 학습 파이프라인 (Image-free Training Pipeline):
- 실제 이미지 - 마스크 - 텍스트 3 중 조합 (Triplets) 이나 복잡한 다단계 학습이 필요 없습니다.
- 사전 학습된 Few-step 생성 모델 (Teacher) 을 활용하여 가상의 데이터 (Synthetic Data) 를 실시간으로 생성하고, 이를 통해 역변환 네트워크를 학습합니다.
인페인팅 파이프라인:
- 역변환 네트워크를 통해 생성된 의미론적 노이즈를 Re-Blending 하여 초기 입력으로 사용합니다.
- 이후 기존 Few-step 모델의 Blended Sampling 전략을 적용하여 최종 이미지를 생성합니다.

3. 주요 기여 (Key Contributions)

InverFill 제안: 인페인팅을 위한 효율적인 단일 단계 역변환 네트워크를 최초로 제안하여, Few-step 인페인팅의 품질을 획기적으로 개선하고 오버헤드를 최소화했습니다.
Re-Blending 및 가우시안 정규화: 정보 유출을 방지하고 노이즈 분포의 안정성을 확보하기 위한 두 가지 핵심 기법을 도입했습니다.
간소화된 학습 프로세스: 실제 이미지 감독 없이, 생성 모델 자체를 활용하여 학습하는 간결한 파이프라인을 설계했습니다.
범용성 및 성능: 특정 인페인팅 모델에 대한 미세 조정 (Fine-tuning) 없이도 기존 Few-step 텍스트 - 이미지 모델 (SANA-Sprint, SDXL-Turbo 등) 을 전문 인페인팅 모델 수준으로 끌어올립니다.

4. 실험 결과 (Results)

정량적 평가 (BrushBench, MagicBrush):
- 성능 향상: InverFill 을 적용한 Few-step 모델 (예: SANA-Sprint 2 단계, SDXL-Turbo 4 단계) 은 기존 Multi-step 모델 (30 단계 이상) 과 경쟁 가능한 또는 더 나은 성능 (ImageReward, HPS, CLIP 점수 등) 을 달성했습니다.
- 전문 모델 대비 우위: BrushNet(전문 인페인팅 모델) 과 결합 시, 추가적인 미세 조정 없이도 성능이 더욱 향상되었습니다.
- 텍스트 정합성: 복잡한 프롬프트에서도 텍스트 - 이미지 정합성 (CLIP Score) 이 크게 개선되었습니다.
효율성:
- 초저 지연: NVIDIA A100 GPU 에서 0.04~0.06 초의 추가 오버헤드만 발생시킵니다.
- 속도: 50 단계 DDIM 역변환 기반 방법보다 약 6 배 빠릅니다 (0.74 초 vs 4.32 초).
정성적 평가:
- 배경과의 자연스러운 조화, 아티팩트 감소, 의미론적 일관성 유지가 시각적으로 확인되었습니다.

5. 의의 및 결론 (Significance)

실시간 인페인팅의 실현: 고품질 인페인팅을 위한 계산 비용과 시간을 획기적으로 줄여, 실시간 응용 (예: 사진 편집, 콘텐츠 생성) 에의 배포를 가능하게 합니다.
모델 재학습 불필요: 기존에 훈련된 강력한 Few-step 텍스트 - 이미지 생성 모델을 별도의 재학습 없이 인페인팅 작업에 즉시 활용할 수 있게 하여, 개발 리소스를 절약합니다.
기술적 통찰: Few-step 확산 모델에서 초기 노이즈의 의미론적 정렬이 생성 품질에 결정적임을 증명하고, 이를 해결하기 위한 역변환 기법의 중요성을 부각시켰습니다.

요약하자면, InverFill은 Few-step 확산 모델의 인페인팅 한계를 해결하기 위해, 무작위 노이즈 초기화를 의미론적으로 정렬된 역변환 노이즈로 대체하고 이를 위한 효율적인 학습 전략을 제시함으로써 고속かつ고품질의 인페인팅을 실현한 획기적인 연구입니다.