📊 statistics

Bridging data-driven priors via the score function for posterior sampling -- Comparative review and experimental study

이 논문은 다양한 데이터 기반 사전 확률(priors)을 그들의 스코어 함수(score functions)를 통해 통합하며, 이미지 복원 작업에 대한 비교 실험을 통해 이 공통된 프레임워크가 효율적이고 다재다능한 사후 샘플링(posterior sampling)을 가능하게 함을 입증한다.

원저자: Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Elhadji Cisse Faye, Mame Diarra Fall, Sylvain Delchini, Nicolas Dobigeon

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 직소 퍼즐을 맞추려 한다고 상상해 보세요. 그런데 누군가 조각의 절반을 버리고, 안개를 뿌려 그림을 흐릿하게 만들었으며, 남은 조각들은 바닥에 흩뿌려 놓았습니다. 이것이 과학자들이 말하는 '역문제(inverse problem)'입니다. 현실 세계에서 이는 흐릿한 사진을 복원하거나, 이미지의 누락된 부분을 채우거나, 카메라가 포착하기에는 너무 작은 디테일을 보는 상황에서 실제로 일어나는 일입니다.

당신이 묻고 있는 이 논문은 이러한 퍼즐을 풀기 위한 새롭고 매우 똑똑한 전략에 관한 것입니다. 이 방식이 어떻게 작동하는지 간단한 아이디어로 나누어 설명하겠습니다.

1. 문제: 사라진 조각 추측하기

손상된 이미지(관측값)가 있을 때, 우리는 그 이미지가 어떻게 손상되었는지에 대한 규칙(예: 흐릿한 렌즈나 누락된 픽셀)을 알고 있습니다. 하지만 이를 복구하려면 원래의 이미지가 어떤 모습이었을지 추측해야 합니다.

전통적으로 과학자들은 '좋은' 이미지란 무엇인지에 대한 엄격한 수학적 규칙(예: "경계선은 날카로워야 한다", "색상은 부드러워워야 한다")을 작성하여 이를 해결하려 했습니다. 하지만 이렇게 손으로 직접 쓴 규칙들은 대개 너무 경직되어 있습니다. 바위의 질감이나 얼굴의 곡선처럼 실제 세상이 가진 복잡하고 무질서한 아름다움을 놓치곤 합니다.

2. 새로운 아이디어: 이미지 도서관으로부터 배우기

규칙을 직접 쓰는 대신, 저자들은 수천 장의 실제 이미지(얼굴이나 풍경 등)로 이루어진 '도서관'을 사용하여 컴퓨터에게 '좋은' 이미지가 무엇인지 가르쳐 줄 것을 제안합니다. 컴퓨터는 '사전 확률(Prior)'—즉, 현실이 보통 어떤 모습인지에 대한 정신적 모델—을 학습합니다.

이 논문은 **스코어 함수(Score Function)**라고 불리는 특정 수학적 도구에 집중합니다. 스코어 함수를 나침반이라고 생각해 보세요.

만약 당신이 안개 낀 숲속에서 길을 잃었다면(손상된 이미지), 나침반은 집이 정확히 어디에 있는지 알려주지는 않습니다.
대신, 나침반은 "집에 더 가까워지는 방향"이 어디인지를 가리킵니다.
이 나침반을 따라 단계별로 이동하다 보면, 결국 선명하고 깨끗한 이미지에 도달하게 됩니다.

3. 옛날 방식 vs 새로운 방식

논문은 이 나침반을 따라가는 두 가지 방법을 비교합니다.

옛날 방식 (ULA): 무겁고 흔들리는 막대기를 들고 숲을 헤매는 것을 상상해 보세요. 지형이 매우 가파르면(매우 흐리거나 손상된 이미지), 막대기가 걸려 움직임이 매우 느려지거나 루프에 갇히게 됩니다. 이것이 '미조정 랑주뱅 알고리즘(Unadjusted Langevin Algorithm, ULA)'입니다. 작동은 하지만, 까다로운 문제에서는 느리고 서투릅니다.
새로운 방식 (LwSGS): 저자들은 **Langevin-within-Split Gibbs Sampler (LwSGS)**라는 새로운 방법을 제안합니다.
- 비유: 전체 경로를 한 번에 걸어가려고 애쓰는 대신, 당신에게 조력자가 있다고 상상해 보세요.
- 1단계: 조력자에게 자신의 기억(스코어 함수 나침반인 '사전 확률')을 바탕으로 이미지가 어떠해야 하는지 예측하도록 요청합니다.
- 2단계: 그 예측값을 가지고 당신이 가진 실제 흐릿한 사진과 대조하여 확인합니다.
- 3단계: 이 두 가지를 결합하여 더 나은 예측을 만듭니다.
- 마법 같은 점: 문제를 이 두 개의 작은 단계로 나눔으로써, '조력자'는 지형이 매우 가파른 상황(심하게 손상된 이미지)에서도 훨씬 빠르고 정확하게 숲을 통과할 수 있습니다.

4. 무엇을 테스트했는가?

저자들은 이 새로운 '나침반 따르기' 전략을 네 가지 유형의 '기억 도서관(priors)'에 대해 테스트했습니다.

디노이징(Denoising): 노이즈가 섞인 사진을 깨끗하게 만드는 법을 아는 도서관.
스코어 기반 모델(Score-Based Models): '실제' 이미지를 향해 방향을 가리키도록 특별히 훈련된 도서관.
노멀라이징 플로우(Normalizing Flows): 단순한 형태를 복잡한 이미지로 늘리고 뒤트는 법을 배우는 도서관.
볼록 리지 정규화(Convex Ridge Regularizers): 데이터로부터 패턴을 학습하는 수학적 도서관.

이들은 다음 두 가지 주요 작업에 대해 테스트를 진행했습니다.

인페인팅(Inpainting): 이미지의 빈 구멍을 채우는 것(예: 워터마크나 흠집 제거).
초해상도(Super-Resolution): 아주 작고 픽셀이 뭉개진 이미지를 크고 선명한 이미지로 바꾸는 것.

5. 결과

논문은 이 새로운 '나침반 따르기' 전략이 네 가지 유형의 도서관 모두에서 기존의 방식(ULA)보다 더 빠르고 정확함을 발견했습니다.

더 선명하고 디테일이 살아있는 이미지를 만들어냈습니다.
쉽게 "갇히는" 현상이 발생하지 않았습니다.
또한, 자신의 답에 대해 얼마나 확신하는지를 알려줄 수 있었습니다. 예를 들어, 퍼즐의 빈 부분에 대해 "이것은 나무일 확률이 높지만, 잎사귀 부분은 확신도가 낮다"라고 말하며 불확실성의 지도를 보여줄 수 있었습니다.

6. 실제 테스트: 암석과 흙

마지막으로, 그들은 단순히 예쁜 사진만을 사용하지 않았습니다. 그들은 프랑스 지질광업연구소(French Bureau of Geological and Mining Research)에서 채취한 지질 샘 샘플(암석 및 광미)을 사용했습니다.

문제: 카메라가 거칠고 울퉁불퉁한 표면에 초점을 맞출 수 없었기 때문에 암석 사진들이 흐릿하게 나왔습니다.
해결책: 이 새로운 방법을 사용하여 흐릿한 암석 사진을 선명하게 만들었습니다.
결과: 복원된 이미지는 훨씬 더 명확해졌으며, 이를 통해 지질학자들이 이전에는 볼 수 없었던 미세한 입자와 균열을 관찰할 수 있게 되었습니다. 이는 이 방법이 단순히 예쁜 사진뿐만 아니라, 지저분한 실제 데이터에도 효과적임을 입증합니다.

요약

요약하자면, 이 논문은 손상된 이미지를 복구하는 더 똑똑하고 빠른 방법을 소개합니다. 혼자서 안개 속을 헤매는 대신, 문제를 관리 가능한 단계로 나누는 '조력자' 시스템을 사용합니다. 이 방식은 다양한 유형의 '기억 도서관'과 함께 작동하며, 디지털 사진부터 실제 암석 이미지까지 모두 복원해 냄으로써 보이지 않던 것을 다시 보이게 만듭니다.

기술 요약: 스코어 함수를 통한 데이터 기반 사전 확률의 통합적 접근

문제 정의
노이즈 제거(denoising), 블러 제거(deblurring), 인페인팅(inpainting), 초해상도(super-resolution)와 같은 이미지 복원(IR) 작업은 일반적으로 선형 역문제($y = Ax + n$)로 정식화됩니다. 베이지안 프레임워크 내에서 이러한 불량 설정(ill-posed) 문제를 해결하려면 솔루션을 정규화하기 위한 사전 분포 $p(x)$ 를 정의해야 합니다. 총 변동량(Total Variation)과 같은 전통적인 모델 기반 사전 확률은 잘 이해되어 있지만, 자연 이미지의 정교한 구조를 포착하는 데는 한계가 있는 경우가 많습니다. 반면, 딥러닝(예: 생성적 적대 신경망(GAN), 변이형 오토인코더(VAE), 노멀라이징 플로우(Normalizing Flows))을 통해 학습된 데이터 기반 사전 확률은 우수한 표현력을 제공하지만, 사후 샘플링(posterior sampling) 측면에서는 상당한 과제를 안겨줍니다.

베이지안 IR의 주요 과제는 이미지 공간의 고차원성과 정규화 함수의 비매끄러움(non-smoothness)이며, 이는 마르코프 체인 몬테카를로(MCMC) 알고리즘의 효율성을 저해합니다. 기존 방법들은 사후 분포로부터 샘플링하기 위해 주로 언조정 랑제빈 알고리즘(Unadjusted Langevin Algorithm, ULA)에 의존합니다. 그러나 ULA는 가능도 함수(likelihood function)의 립시츠 상수(Lipschitz constant)와 연관된 단계 크기(step-size) 제약으로 인해, 심하게 조건화가 나쁜(ill-conditioned) 문제에서 어려움을 겪을 수 있습니다. 또한, 많은 고급 데이터 기반 사전 확률(예: 디노이저 또는 스코어 기반 생성 모델 기반)은 암시적으로 정의되어 있어, 통일된 이론적 프레임워크 없이는 직접적인 샘플링이 어렵습니다.

방법론
본 논문은 스코어 함수( $s(x) = \nabla_x \log p(x)$ )를 통해 표현될 수 있다면, 다양한 데이터 기반 사전 확률로부터 사후 분포를 샘플링할 수 있는 통합 프레임워크를 제안합니다. 핵심 방법론은 **랑제빈-내-분할 깁스 샘플러(Langevin-within-Split Gibbs Sampler, LwSGS)**에 기반합니다.

점근적으로 정확한 데이터 증강(Asymptotically Exact Data Augmentation, AXDA): 이 알고리즘은 보조 변수 $z$ 를 도입하여 사후 분포를 다음과 같은 증강된 형태로 분해합니다:
$\pi_\rho(x, z) \propto \exp\left[ -f(x, y) - g(z) - \frac{1}{2\rho^2}\|x - z\|^2 \right]$
여기서 $f(x,y)$ 는 데이터 충실도(data fidelity) 항이고 $g(z)$ 는 정규화 포텐셜입니다. 결합 파라미터 $\rho \to 0$ 일 때, $x$ 의 주변 분포(marginal distribution)는 타겟 사후 분포로 수렴합니다.
분할 깁스 샘플링(Split Gibbs Sampling, SGS): 알고리즘은 $x$ 와 $z$ 를 샘플링하는 과정을 교대로 수행합니다:
- $x$ 샘플링: $z$ 가 주어졌을 때, 조건부 분포 $p(x|y, z)$ 는 가우시안 분포(선형 가우시안 역문제의 경우)이므로, 효율적이고 폐쇄형(closed-form)인 샘플링이 가능합니다. 결정적으로, 이 단계는 단계 크기를 가능도 함수의 립시츠 상수로부터 분리하여, 표준 ULA의 주요 한계를 해결합니다.
- $z$ 샘플링: $x$ 가 주어졌을 때, 조건부 분포 $p(z|x)$ 는 랑제진 몬테카를로(Langevin Monte Carlo, LMC) 단계를 사용하여 샘플링됩니다:
  $z^{(t+1)} = z^{(t)} + \gamma \left( s(z^{(t)}) + \frac{1}{\rho^2}(x^{(t)} - z^{(t)}) \right) + \sqrt{2\gamma}\epsilon^{(t)}$
  여기서 $s(z) = \nabla \log p(z)$ 는 사전 확률의 스코어 함수입니다.
통합된 사전 확률 표현: 본 논문은 네 가지 서로 다른 클래스의 데이터 기반 사전 확률이 스코어 함수 관점에서 어떻게 통합될 수 있는지 보여줍니다:
- 디노이징에 의한 정규화(Regularization-by-Denoising, RED): 스코어 함수는 디노이징 잔차로부터 직접 유도됩니다( $s(x) \propto -(x - D(x))$ ).
- 스코어 기반 생성 모델(Score-Based Generative Models, SGM): 스코어 함수는 스코어 매칭(또는 디노이징 확산 확률 모델)을 통해 명시적으로 학습됩니다.
- 노멀라이징 플로우(Normalizing Flows, NF): 스코어 함수는 변수 변환 공식으로부터 유도된 로그 밀도의 자동 미분을 통해 계산됩니다.
- 볼록-리지 정규화기(Convex-Ridge Regularizers, CRR): 스코어 함수는 편향 없는 단일 레이어 CNN 출력에 해당합니다.

주요 기여

사전 확률의 통합: 본 논문은 RED, SGM, NF, CRR 사전 확률이 서로 다른 기원과 동기에도 불구하고, 스코어 함수를 통해 하나의 샘플링 프레임워크로 통합될 수 있음을 입증했습니다.
알고리즘의 다재다능함: LwSGS가 명시적이거나 효율적으로 계산 가능한 스코어 함수를 가진 모든 미분 가능한 로그 사전 확률을 처리할 수 있는 범용적인 알고리즘임을 보여줌으로써, 단순 ULA 방식의 한계를 극복했습니다.
제약 조건의 분리: 문제를 분할함으로써, 이 방법은 사전 확률의 샘플링 단계를 데이터 충실도 항의 조건화(conditioning)로부터 독립시킬 수 있게 하여, 잠재적으로 불량 설정 문제에서의 혼합(mixing) 특성을 개선합니다.

실험 결과
저자들은 두 가지 작업인 이미지 인페인팅과 단일 이미지 초해상도 작업에서 LwSGS 프레임워크를 ULA 기반 대응 모델들(PnP-ULA, NF-ULA, 그리고 새롭게 설계된 SGM-ULA 및 CRR-ULA)과 비교 평가했습니다.

데이터셋: 실험은 FFHQ 및 ImageNet 데이터셋의 RGB 이미지 30장에 대해 수행되었습니다.
성능 지표: 재구성 품질과 샘플링 효율성을 측정하기 위해 PSNR, SSIM, LPIPS(지각 유사도), 그리고 통합 자기상관 시간(Integrated Autocorrelation Time, IAT)을 활용했습니다.
결과:
- 재구성 품질: LwSGS는 지면 참값(ground-truth)의 세부 사항을 밀접하게 따르는 고품질의 재구성을 일관되게 생성했습니다. 인페인팅 작업에서는 누락된 영역을 효과적으로 채웠으며, 초해상도에서는 복잡한 세부 사항을 보존했습니다.
- ULA와의 비교: LwSGS는 특히 RED 및 SGM 사전 확률을 사용할 때 더 날카로운 디테일과 높은 충실도를 구현하며, 일반적으로 ULA 기반 방법보다 우수한 성능을 보였습니다. NF 및 CRR 사전 확률을 사용했을 때도 LwSGS는 경쟁력 있거나 우월한 성능을 나타냈습니다.
- 효율성: LwSGS 알고리즘은 ULA에 비해 낮은 IAT 값과 더 빠르게 감소하는 자기상관 함수를 통해 더 빠른 수렴 속도를 입증했습니다.
- 불확실성 정량화: 샘플링 방법으로서 LwSGS는 픽셀 단위 불확실성(표준 편차) 추정을 가능하게 했으며, 예상대로 인페인팅된 영역에서 더 높은 불확실성을 보여주었습니다.
- 실제 응용: 본 프레임워크는 실제 지질학적 테일링 샘플(초점이 흐려진 이미지 디블러링)을 복원하는 데 적용되었습니다. RED 사전 확률을 사용하여, 이 방법은 흐릿한 이미지로부터 날카로운 세부 사항을 성공적으로 복구하여 지질학 분야에서의 실용적 유용성을 입과했습니다.

의의 및 주장
본 논문은 LwSGS 프레임워크가 스코어 함수 기반 사전 확률을 사용하는 베이지안 역문제에 대해 다재다능하고 체계적인 대안을 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

광범위한 적용성: 특정 생성 모델에 국한되지 않고, 스코어 함수를 접근할 수 있는 모든 사전 확률을 다룰 수 있어 다양한 데이터 기반 정규화 패러다임 사이의 간극을 메웁니다.
실용적 효율성: 분할 전략은 ULA에 내재된 조건화 문제를 효과적으로 완화하여, 고차원 공간에서 더 나은 혼합과 빠른 수렴을 이끌어냅니다.
실제적 유용성: 지질학적 샘플의 성공적인 복원은 이 방법이 획득 프로토콜이 최적화되지 않은 운영 파이프라인에서도 견고함을 입증합니다.

저자들은 현재의 연구가 특정 사전 확률에 집중하고 있지만, 본 통합 프레임워크가 스코어 함수 기반의 광범위한 클래스에 정의된 모든 사후 분포를 다룰 수 있을 만큼 충분히 일반적이며, 이는 다양한 딥러닝 모델을 베이지안 추론에 통합하는 길을 열어준다고 결론지었습니다.