💻 computer science

SONIC: Spectral Optimization of Noise for Inpainting with Consistency

이 논문은 선형 근사와 스펙트럼 프리컨디셔닝(spectral preconditioning)을 사용하여 초기 노이즈 샘플을 최적화함으로써, 별도의 추가 학습 없이도 기성 텍스트-이미지 모델이 특화된 인페인팅 모델보다 뛰어난 성능을 발휘할 수 있도록 하는 학습이 필요 없는 인페인팅 방법인 SONIC을 소개한다.

원저자: Seungyeon Baek, Erqun Dong, Shadan Namazifard, Mark J. Matthews, Kwang Moo Yi

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seungyeon Baek, Erqun Dong, Shadan Namazifard, Mark J. Matthews, Kwang Moo Yi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아름답고 오래된 사진 한 장이 있다고 상상해 보세요. 하지만 누군가 그 사진의 일부분을 검은색 마커로 크게 덧칠해 버렸습니다. 당신은 이 사라진 부분을 복구하고 싶습니다. AI의 세계에서 이것은 "인페인팅(inpainting)"이라고 불립니다.

보통 이를 해결하려면 수천 장의 부분이 누락된 사진을 학습한 특화된 AI가 필요합니다. 하지만 이 논문의 저자들은 SONIC을 통해 다른 질문을 던졌습니다. 이미지를 그리는 법을 알고 있는 일반적인 범용 AI(텍스트로부터 그림을 그려내는 AI)를 재학습 없이 사용하여 이 문제를 해결할 수 있을까?

정답은 '예'입니다. 단, 그림을 키우기 시작하기 전에 "시드(seed)"를 먼저 고정한다면 말이죠. 그들이 어떻게 이를 수행했는지 쉬운 비유를 통해 설명하겠습니다.

문제점: 잘못된 씨앗

생성형 AI를 숙련된 정원사라고 생각해 보세요. 만약 당신이 정원사에게 무작위 씨앗(노이즈라고 불리는 것)과 꽃에 대한 설명을 준다면, 정원사는 꽃을 피울 것입니다. 하지만 당신이 원하는 것이 이미 존재하는 특정 나무(사진의 가려지지 않은 부분) 바로 옆에 꽃이 자라는 것이라면, 아무 무작위 씨앗이나 땅에 던져서는 안 됩니다.

만약 무작위 시드를 사용한다면, AI는 그 자체로는 멋진 꽃을 피울지 몰라도 그 뿌리가 기존의 나무와 어긋나거나, 줄기의 색상이 주변 환경과 맞지 않는 결과를 낳을 수 있습니다. 기존의 방식들은 정원사가 작업하는 동안 계속해서 "가이드"를 주려고 시도했지만, 저자들은 진짜 문제가 시드 그 자체에 있다는 것을 발견했습니다. 시드가 기존의 사진과 일치하지 않으면, 최종 결과물은 서로 따로 노는 것처럼 보일 것입니다.

해결책: SONIC

SONIC 방식은 완벽한 시드를 찾기 위한 "학습이 필요 없는(training-free)" 방법입니다. 새로운 AI를 학습시키는 대신, 기존 사진의 부분들과 자연스럽게 어우러지도록 초기 노이즈(시드)를 미세하게 조정합니다.

그들은 두 가지 영리한 기법을 사용하여 이 문제를 해결했습니다.

1. "지름길 지도" (선형화)

보통 완벽한 시드를 찾으려면, 정원사가 꽃을 피우는 과정을 단계별로 지켜본 다음, 다시 되감고, 시드를 조정한 뒤, 다시 지켜보는 과정을 반복해야 합니다. 이는 엄청나게 느리고 막대한 컴퓨터 연산 능력을 요구합니다(마치 20단계로 구성된 영화를 거꾸로 돌리는 것과 같습니다).

저자들은 현대의 AI에게 있어 "무작위 노이즈"에서 "완성된 이미지"로 가는 경로는 굽이굽이 휘어진 산길이라기보다 매우 직선적이고 예측 가능한 고속도로와 같다는 사실을 깨달았습니다.

비유: 목적지에 도착하기 위해 전체 굽이진 길을 다 운전해 보는 대신, 그들은 시작점에서 끝점까지의 직선 경로를 지도 위에 그렸습니다. 이 "선형 근사(linear approximation)"를 통해 매번 전체 과정을 시뮬레이션할 필요 없이 즉각적으로 완벽한 시작점을 계산할 수 있습니다. 이는 도시 전체를 다 돌아다니지 않고도 GPS 지름길을 이용해 올바른 주소를 찾는 것과 같습니다.

2. 라디오 주파수 조율 (스펙트럼 프리컨디셔닝)

지름길을 찾은 후에는 시드를 최적화해야 했습니다. 하지만 시드를 조정하려고 할 때마다 이미지가 깜빡거리며 불안정해졌는데, 이는 마치 여러 개의 정전기 주파수를 한꺼번에 잡으려는 라디오와 같았습니다. 이미지의 어떤 부분은 너무 세밀해지는 반면, 다른 부분은 계속 흐릿하게 남았습니다.

비유: 이미지가 여러 가지 음표(주파수)로 이루어진 노래라고 상상해 보세요. 만약 노래 전체의 볼륨을 한꺼번에 조절하려 한다면, 저음은 너무 커지고 고음은 너무 작아지는 문제가 생길 수 있습니다. 저자들은 각 "음표(주파수)"를 개별적으로 조율해야 한다는 것을 깨달았습니다.
그들은 최적화 과정을 "스펙트럼 영역(주파수의 세계)"으로 옮겼습니다. 모든 주파수를 각각의 독립된 악기처럼 다루는 스마트한 옵티마이저(Adam)를 사용함으로써, 저음과 고음을 각각의 완벽한 속도로 조율할 수 있었습니다. 이를 통해 이미지의 깜빡임 현상을 막고 최적화를 안정적이고 빠르게 만들었습니다.

안전장치: 빈 공간은 건드리지 마라

마지막으로 한 가지 문제가 더 있었습니다. 시드를 최적화하는 과정에서, 수학적 계산을 맞추기 위해 AI가 이미 완벽한 부분(가려지지 않은 영역)까지 바꾸기 시작했습니다. 이는 마치 정원사가 새로운 꽃을 더 잘 보이게 하려고 이미 건강한 나무의 모양을 바꾸는 것과 같습니다.

이를 해결하기 위해 그들은 좋은 부분 주위에 "울타리"를 쳤습니다. 그들은 최적화 과정에 다음과 같이 명령했습니다. "너는 오직 검은색 마커로 가려진 부분 안의 픽셀만 바꿀 수 있다. 나머지는 그대로 두어라." 이를 통해 새로운 부분이 기존 사진을 훼손하지 않으면서도 원본과 매끄럽게 어우러지도록 보장했습니다.

결과

이러한 지름길과 주파수 조율을 통해 완벽한 "시드"를 찾아냄으로써, SONIC은 일반적인 AI 모델을 가져와서 그 일을 위해 특별히 훈련된 모델들보다 더 뛰어난 인페인팅 성능을 내게 만들었습니다.

학습 불필요: 새로운 AI를 가르치기 위해 몇 주씩 시간을 보낼 필요가 없습니다.
더 나은 일관성: 새로 생성된 부분이 원본 사진의 조명, 스타일, 구조와 완벽하게 일치합니다.
빠른 속도: "지름길 지도"를 사용했기 때문에 표준 컴퓨터 하드웨어에서도 빠르게 실행됩니다.

요약하자면, SONIC은 망가진 사진을 고치기 위해 반드시 특화된 도구가 필요한 것이 아니라, 이미 가지고 있는 도구의 "올바른 시작점"을 찾는 것이 중요하다는 것을 증명했습니다.

기술 요약: SONIC (일관성을 위한 노이즈의 스펙트럼 최적화, Spectral Optimization of Noise for Inpainting with Consistency)

문제 정의

오프더쉘(off-the-shelf) 텍스트-이미지 모델(특히 디노이징 확산 모델 및 플로우 모델)을 이용한 현재의 이미지 인페인팅 방식은 범용성과 성능 사이의 트레이드오프 문제에 직면해 있습니다. 가이드(guidance)나 사후 샘플링(posterior sampling)에 의존하는 훈련 불필요(training-free) 방식은 값비싼 미세 조정 없이도 일반적인 모델을 역문제(inverse problems)에 사용할 수 있게 해주지만, 전문적으로 학습된 인페인팅 모델에 비해 생성된 이미지의 구조적 일관성이 떨어지는 경우가 많습니다.

저자들은 기존의 훈련 불필요 방식의 주요 한계가 **초기 노이즈 샘플(initial noise sample)**을 간과했다는 점에 있다고 주장합니다. 초기 노이즈가 최종 생성물의 레이아웃과 구조를 크게 결정한다는 것은 잘 알려진 사실이지만, 이 노이즈를 직접 최적화하는 것은 계산적으로 매우 부담스럽습니다. 표준적인 접근 방식은 전체 디노이징 체인( $T$ 단계)을 언롤링(unrolling)하여 역전파(back-propagation)를 수행해야 하는데, 이는 현대의 대규모 모델에서 메모리와 연산 제약으로 인해 실행이 불가능합니다. 결과적으로 기존 방식들은 차선의 노이즈 초기화에 머물게 되며, 이는 인페인팅된 영역에서 구조적 불일치를 초래합니다.

방법론

SONIC은 입력 이미지의 마스크되지 않은 영역을 충실히 재현하도록 초기 노이즈 샘플을 최적화함으로써, 최종 생성의 구조적 일관성을 보장하는 새로운 훈련 불필요 프레임워크를 제안합니다. 이 방법은 디노이저를 통한 역전파를 피하기 위해 두 가지 핵심적인 기술적 혁신을 채택합니다.

1. 디노이징 궤적의 선형화 (Linearization of the Denoising Trajectory)

디노이징 체인을 언롤링해야 하는 필요성을 피하기 위해, SONIC은 디노이징 궤적을 선형 경로로 근사합니다.

정식화: 저자들은 $x_0 = D_T(x_T)$ 인 디노이징 과정을 모든 단계를 거쳐 그래디언트를 계산해야 하는 복잡한 비선형 함수로 취급하는 대신, 궤적 $x(t)$ 를 다음과 같이 근사합니다:
$\hat{x}(t) \approx \text{stopgrad}(D_T(x_T) - x_T)(1 - \frac{t}{T}) + x_T$
메커니즘: 이 선형화는 최종 디노이징된 이미지와 초기 노이즈 사이의 차이가 과정 전반에 걸쳐 일정하다고 가정합니다. 이를 통해 최적화 목적 함수를 $D_T(\cdot)$ 를 통한 역전파 없이도 $x_T$ 에 대한 미분 가능한 손실 함수로 구성할 수 있습니다. 이 손실 함수는 관측된 마스크된 이미지 $y$ 와 선형적으로 근사된 디노이징 출력의 오염된 버전 사이의 차이를 최소화합니다.

2. 스펙트럼 프리컨디셔닝 (Spectral Preconditioning)

공간 도메인(spatial domain)에서 초기 노이즈를 직접 최적화하면 서로 다른 공간 주파수가 서로 다른 속도로 수렴하여 깜빡임(flickering)이나 아티팩트가 발생하는 불안정성이 나타날 수 있습니다.

스펙트럼 도메인 최적화: 이 방법은 최적화 문제를 주파수 도메인으로 변환합니다. 초기 노이즈 $x_T$ 는 푸리에 변환인 $X_T$ 로 표현됩니다.
Adam 최적화: 최적화는 Adam 옵티마이저를 사용하여 $X_T$ 에 대해 수행됩니다. Adam은 파라미터 업데이트를 그들의 2차 모멘트로 나누기 때문에, 스펙트럼 도메인에서의 연산은 효과적인 프리컨디셔너 역할을 합니다. 이를 통해 각 주파수 성분이 적절한 속도로 수렴할 수 있게 하여, 최적화 과정을 안정화하고 노이즈가 허용 가능한 매니폴드에서 벗어나는 것을 방지합니다.
공간적 제약 (Spatial Constraints): 관측되지 않은(마스크된) 영역의 노이즈가 모델이 기대하는 가우시안 분포에서 벗어나는 것을 방지하기 위해 그래디언트 업데이트에 마스킹을 적용합니다. 즉, 관측된(마스크되지 않은) 픽셀에 해당하는 그래디언트만 적용합니다.

구현 세부 사항

잠재 공간 효율성 (Latent Space Efficiency): 이 방법은 전적으로 잠재 공간(latent space) 내에서 작동합니다. 마스크된 이미지의 경우, 저자들은 인코딩 전 단순한 최근접 이웃(nearest-neighbor) 채우기 전략을 사용하며, 이것이 견고한 성능을 내기에 충분함을 확인했습니다.
워크플로우: 프로세스는 선형화된 손실 함수와 스펙트럼 프리컨디셔닝을 사용하여 고정된 반복 횟수(예: 20회) 동안 초기 노이즈 $X_T$ 를 최적화하는 과정을 포함합니다. 이렇게 얻은 최적화된 노이즈는 최종 이미지를 생성하기 위해 표준 훈련 불필요 인페인팅 파이프라인(예: BLD-SD3.5)에 입력됩니다.

주요 기여

역전파 없는 초기 노이즈 최적화: 본 논문은 디노이징 체인을 언롤링하는 계산 비용 없이 역문제(inverse problems)를 위해 초기 노이즈 샘플을 최적화할 수 있게 하는 선형화 전략을 도입했습니다.
스펙트럼 프리컨디셔닝: 저자들은 스펙트럼 도메인에서 Adam을 통한 최적화가 공간 도메인 최적화보다 훨씬 더 안정적인 수렴을 제공함을 입증하였으며, 이는 확산/플로우 모델 고유의 주파수 의존적 수렴 속도 문제를 해결합니다.
훈련 불필요 SOTA 달성: 이 방법은 추가적인 모델 훈련이나 미세 조정 없이도 기존의 훈련 불필요 베이스라인들보다 우수한 성능을 보이며, 전문적으로 학습된 모델들과 경쟁할 만한 결과를 보여줍니다.

실험 결과

저자들은 FFHQ(얼굴), DIV2K(자연 이미지), BrushBench(복잡한 마스크)의 세 가지 표준 데이터셋에서 SONIC을 평가했습니다.

정량적 성능: SONIC은 주요 지각 지표인 SSIM, LPIPS, FID에서 기존의 SOTA 훈련 불필요 방식(FLAIR, FlowChef, FlowDPS, BLD-SD3.5) 및 전문 학습 모델인 BrushNet을 능가했습니다.
- FFHQ에서 SONIC은 LPIPS 0.121, FID 12.883을 달성하여, FLAIR (0.266 LPIPS, 18.982 FID) 및 BrushNet (0.237 LPIPS, 17.950 FID)보다 유의미하게 우수한 성능을 보였습니다.
- DIV2K 및 BrushBench에서도 유사한 경향이 관찰되었으며, SONIC이 가장 뛰어난 구조적 일관성과 지각적 유사성을 보여주었습니다.
정성적 결과: 시각적 비교 결과, SONIC은 베이스라인들이 흔히 겪는 구조적 불일치나 흐릿한 아티팩트와 달리, 입력 이미지의 전역적 구조, 조명 및 레이아웃과 더 잘 일치하는 인페인팅 영역을 생성했습니다.
절제 연구 (Ablation Studies):
- 스펙트럼 프리컨디셔닝을 제거했을 때(공간 도메인 최적화), 성능이 현저히 저하되어(높은 LPIPS 및 FID), 주파수 의존적 수렴 속도를 조절하는 데 있어 주파수 도메인 안정화의 필요성을 확인했습니다.
- 공간적 제약을 제거하면 최적화가 발산하여 눈에 띄는 아티팩트와 색상 변화가 발생했습니다.
- 인코더에 그라운드 트루스(ground-truth) 픽셀을 사용하는 경우(상한선), 단순한 최근접 이웃 채우기와 거의 동일한 결과를 얻었으며, 이를 통해 잠재 공간 전략의 견고함을 검증했습니다.

의의 및 주장

본 논문은 SONIC이 일반적인 생성 모델을 역문제에 적용할 때 발생하는 결정적인 격차를 해결한다고 주장합니다. 초기 노이즈 샘플을 "잃어버린 퍼즐 조각"으로 식но별하고 이를 최적화하는 실용적이고 안정적인 방법을 제공함으로써, SONIC은 오프더쉘 모델이 전문적으로 학습된 인페인팅 네트워크만이 가질 수 있었던 성능을 달성할 수 있게 합니다.

저자들은 이 방법이 훈련 불필요(training-free) 방식임을 강조하며, 특정 마스크 유형에 모델을 미세 조정하는 데 따르는 비용과 일반화 문제를 피할 수 있다고 설명합니다. 저자들은 SONIC을 단순한 인페인팅 도구가 아니라, 선형화와 스펙트럼 프리컨디셔닝이 복잡한 사후 샘플링이나 역전파 없이도 초고해상도(super-resolution)나 디블러링(deblurring)과 같은 광범위한 역문제를 위해 범용 플로우 모델의 잠재력을 끌어낼 수 있다는 것을 보여주는 개념 증명(proof-of-concept)으로 제시합니다.