💻 computer science

NullFlow: One-Step Generative Reconstruction

NullFlow는 생성 흐름을 측정 일관적 부공간(measurement-consistent subspace)으로 제한하여 반복적인 데이터 충실도 보정의 필요성을 제거하고, 추론 과정을 수백 번의 네트워크 평가에서 단 한 단계로 줄이면서도 최첨단 성능을 구현하는 이미지 재구성을 위한 원칙적인 원스텝 생성 프레임워크이다.

원저자: Xiao Shi, Edward P. Chandler, Chicago Y. Park, Shirin Shoushtari, Ulugbek S. Kamilov

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiao Shi, Edward P. Chandler, Chicago Y. Park, Shirin Shoushtari, Ulugbek S. Kamilov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 직소 퍼즐을 맞추려는데, 누군가 가운데 조각을 찢어내어 버렸다고 상상해 보세요. 가장자리와 주변 그림은 완벽하게 보이지만, 정중앙은 텅 빈 채로 혼란스러운 구멍이 뚫려 있습니다.

컴퓨터 영상 처리의 세계에서는 이를 **역문제(inverse problem)**라고 부릅니다. 컴퓨터는 흐릿하거나 불완전한 사진(측정값)을 가지고 그 사라진 부분들이 어떻게 생겼을지 추측하여 전체 이미지를 재현해야 합니다.

기존 방식: 느리고 철저한 탐정

전통적으로 컴퓨터는 매우 느린 탐정처럼 이 문제를 해결합니다. 먼저 추측을 한 뒤, 그 추측이 보이는 단서들과 일치하는지 확인하고, 추측을 수정하고, 다시 확인하고, 이 과정을 반복합니다.

문제점: 좋은 결과를 얻기 위해 이 탐정은 제대로 맞을 때까지 수백 번 또는 수천 번의 추측을 해야 할 수도 있습니다. 이는 샤워기의 온도를 맞추기 위해 손잡이를 아주 조금씩 돌리고, 기다렸다가 확인하고, 다시 돌리고, 또 기다리는 과정과 같습니다. 시간이 오래 걸리고 많은 컴퓨팅 자원을 사용합니다.

새로운 아이디어: NullFlow (단 한 번의 붓질을 하는 예술가)

이 논문은 NullFlow라는 새로운 방법을 소개합니다. 수백 번의 작은 단계를 거치는 대신, NullFlow는 퍼즐을 보고 사라진 조각의 규칙을 이해한 뒤, 단 한 번의 붓질로 사라진 부분 전체를 그려내는 숙련된 예술가와 같습니다.

작동 원리는 다음과 같습니다 (쉬운 비유를 사용함):

1. "안전 구역" (측정값과 일치하는 부분 공간)

퍼즐 조각들이 커다란 방 안에 떠 있다고 상상해 보세요. 컴퓨터는 사라진 조각의 '가장자리'가 정확히 어디에 있어야 하는지 알고 있습니다 (보이는 단서들 덕분입니다). 하지만 조각의 '중심'은 단서로 확인할 수 없습니다.

기존 방식은 방 안을 이리저리 헤매며, 때로는 단서와 일치하지 않는 '안전 구역' 밖으로 발을 내디디기도 하며, 그 후 다시 조각을 끌어와야 합니다.
NullFlow는 단서와 완벽하게 일치하는 해결책만을 포함하는 특별한 투명 터널(부분 공간)을 만듭니다. 일단 컴퓨터가 이 터널에 진입하면, 보이는 그림과 일치하지 않는 실수를 저지르는 것은 물리적으로 불가능합니다. 자동으로 올바른 궤도를 유지하게 됩니다.

2. "평균 속도" vs "순간 속도"

"추측"에서 "최종 이미지"로 가기 위해서는 움직임이 필요합니다.

전통적인 방식은 매 아주 짧은 찰나마다 당신의 순간 속도를 계산하려고 합니다. "지금 나는 얼마나 빠르게 움직이고 있는가?"라고 묻고 아주 작은 한 걸음을 내딛습니다. 그러고 나서 다시 묻습니다. 이것이 느리고 단계적인 과정입니다.
NullFlow는 **평균 흐름(Mean Flow)**이라는 기법을 사용합니다. "지금 내가 얼마나 빨리 움직이고 있는가?"라고 묻는 대신, "시작점에서 끝점까지 한 번에 가기 위해 필요한 평균 속도는 얼마인가?"라고 묻습니다.
이 "평균 속도"를 학습함으로써, NullFlow는 모든 작은 단계들을 건너뛰고 단 한 번의 계산만으로 시작점에서 끝점으로 바로 점프할 수 있습니다.

무엇을 증명했는가?

연구진은 단순히 이것이 작동할 것이라고 추측한 것이 아니라, 컴퓨터에게 이 "평균 속도"를 올바르게 가르치기만 하면 결과가 단서에 기반한 완벽한 추측임이 보장된다는 것을 수학적으로 증명했습니다.

결과: 빠르고 선명함

그들은 이를 **이미지 인페인팅(image inpainting, 사진의 빈 부분을 채우는 작업)**이라는 과제에 테스트했습니다.

속도: 다른 방식들이 수백 단계(마라톤처럼)를 거치는 동안, NullFlow는 단 한 단계(텔레포트처럼)만에 끝냈습니다.
품질:
- 단일 샘플: 만약 NullFlow에게 단 하나의 추측을 요청한다면, 매우 선명하고 사실적인 이미지를 만들어냅니다 (보는 느낌이 매우 좋습니다).
- 다중 샘플: 만약 100개의 추측을 만들어 평균을 내라고 요청한다면, 이미지는 수학적으로 더욱 정확해지지만(정확한 세부 사항을 측정하는 데 유리함), 시각적으로는 약간 더 부드러워 보일 수 있습니다.

핵심 요약

NullFlow는 컴퓨터가 깨지거나 불완전한 이미지를 복구하는 새로운 방법입니다. 수백 번의 멈춤이 있는 느리고 구불구불한 경로를 가는 대신, 직선 형태의 안전한 고속도로를 건설하여 한 번에 달려갑니다. 이 방식은 느린 방식만큼 좋은 결과를 내면서도, 훨씬 더 즉각적으로 수행합니다.

NullFlow: One-Step Generative Reconstruction 기술 요약

문제 정의
본 논문은 알려진 순방향 연산자 $A$ 와 노이즈 $n$ 에 대하여, 미지수 이미지 $x \in \mathbb{R}^n$ 를 선형 측정값 $y = Ax + n$으로부터 복구하는 영상 역문제(imaging inverse problems)를 다룹니다. 특히 $A$ 의 영 공간(null space)이 비자명한(non-trivial) 경우(예: 이미지 인페인팅, 가속 MRI, 희소 뷰 CT)의 불량 설정(ill-posed settings)에 초점을 맞춥니다. 이러한 시나리오에서 측정값은 $x$ 의 행 공간(row-space)만을 제약하며, 영 공간 성분은 연산자로부터 보이지 않게 됩니다. 결과적으로, 복구 과정에는 측정값과 일치하면서도 그럴듯한 영 공간 콘텐츠를 생성하기 위한 사전 지식(prior knowledge)이 필요합니다.

디노이저(denoiser), 확산 모델(diffusion models), 또는 플로우 모델(flow models)을 활용하는 기존의 학습 기반 방법들은 일반적으로 반복적 솔버(iterative solvers)로 작동합니다. 이러한 접근 방식은 측정 일관성을 강제하기 위해 사전 업데이트와 데이터 충실도(data-fidelity) 단계를 번갈아 수행하며, 수렴을 위해 종종 수백 또는 수천 번의 네트워크 평가를 요구합니다. 최근 "Mean Flow" 방법들이 평균 속도(average velocities)를 학습함으로써 무조건적 작업(unconditional tasks)을 위한 원스텝 생성을 가능하게 했으나, 영상 역문제와 같은 제약 조건이 있는 설정에는 아직 적용되지 않았습니다.

방법론: NullFlow
저자들은 생성 흐름(generative flow)을 측정 일관성 하위 공간 내에 완전히 국한시킴으로써 원스텝 생성 복구를 가능하게 하는 원칙적인 프레임워크인 NullFlow를 제안합니다.

하위 공간 제한(Subspace Restriction): 이 방법은 이미지 $x$ 를 행 공간 투영( $A^\dagger y$ )과 영 공간 투영($Px $, 여기서$ P = I - A^\dagger A $)으로 분해합니다. 복구는$ \mathcal{M}_y = {x : Ax = y}$라는 아핀 하위 공간 내에 존재하는 흐름을 학습하는 것으로 프레임화됩니다. 흐름의 속도장(velocity field)을 $A$ 의 영 공간( $\text{null}(A)$ )으로 제한함으로써, 궤적상의 모든 상태는 본질적으로 측정 제약 조건 $Ax=y$를 만족하게 되며, 별도의 데이터 충실도 수정 단계가 필요하지 않습니다.
Mean Flow 정식화(Mean Flow Formulation): 순간 속도 $v_t$ 를 학습하고 이를 단계별로 적분하는 대신, NullFlow는 두 시점 $r$ 과 $t$ 사이의 평균 속도 $u_{r,t}$ 를 학습합니다. 이는 영 공간으로 제한된 Mean Flow 항등식에 기초합니다:
$u_{r,t}(x_t|y) = v_t(x_t|y) - (t-r) \frac{d}{dt}u_{r,t}(x_t|y)$
이 항등식을 통해 네트워크는 수치적 적분을 요구하지 않고도, (폐쇄형으로 구할 수 있는) 순간 속도 및 그 시간 미분에 의해 유도된 타겟에 대해 회귀(regression)를 통해 학습될 수 있습니다.
학습 및 추론(Training and Inference):
- 학습: 네트워크는 예측된 평균 속도와 Mean Flow 항등식에 의해 정의된 타겟 사이의 $\ell_2$ 손실을 최소화하도록 학습됩니다. 시각적 충실도를 향상시키기 위해 목적 함수에는 지각 손실(LPIPS)과 특징 정규화(feature regularization)가 포함됩니다.
- 추론: 복구는 단 한 번의 네트워크 평가로 수행됩니다. 프로세스는 영 공간이 섭동된 최소제곱 추정치( $A^\dagger y + P\epsilon$ )로 초기화되며, 학습된 평균 속도를 적용하여 $t=0$ 에서 $t=1$ 로 직접 점프함으로써 사후 분포 $p(x|y)$ 로부터 샘플을 얻습니다.

주요 기여

방법론적 기여: 본 논문은 mean flow를 기반으로 영상 역문제를 해결하는 최초의 원스텝 솔버를 도입했습니다. 흐름을 영 공간 내에 국한시킴으로써, 구조적으로 측정 일관성을 달성합니다.
이론적 기여: 저자들은 이 제한된 흐름의 평균 속도가 영 공간으로 제한된 Mean Flow 항등식을 만족함을 증명합니다. 또한, 결과로 도출된 학습 목적 함수의 전역 최솟값이 원스텝 사후 샘플러(one-step posterior sampler)임을 입증합니다.
실험적 기여: 이미지 인페인팅 작업에서, 본 논문은 단일 NullFlow 샘플이 원스텝 방법들 중 최고의 지각적 품질(최고의 LPIPS)을 달성함을 보여줍니다. 나아가, 여러 NullFlow 샘플을 평균 내면 MSE로 학습된 네트워크보다 PSNR과 SSIM 측면에서 우수한 성능을 보이며 최소 평균 제곱 오차(MMSE) 추정치에 근접합니다.

결과
자연 이미지 인페인팅(FFHQ 데이터셋, 256 $\times$ 256)에 대해 평가된 NullFlow의 결과는 다음과 같습니다:

효율성: (DPS나 DiffPIR과 같은) 확산/플로우 솔버의 수백 번의 네트워크 평가를 단 한 번의 평가로 줄입니다.
지각적 품질: 단일 NullFlow 샘플은 비교된 모든 방법(반복적 솔버 포함) 중 가장 낮은 LPIPS(0.055)를 달성하여, 우수한 지각적 충실도와 선명도를 나타냅니다.
왜곡 지표: 단일 샘플은 경쟁력 있는 PSNR(24.54)과 SSIM(0.874)을 가지지만, 100개의 NullFlow 샘플을 평균 내면 반복적 방법의 성능에 근접하고 MSE로 학습된 U-Net을 능가하는 방식으로 지표가 크게 개선됩니다.
트레이드오프: 결과는 명확한 지각-왜곡 트레이드오프(perception-distortion trade-off)를 강조합니다. 단일 샘플은 날카롭고 지각적으로 충실한 세부 사항을 제공하는 반면, 샘플 평균은 더 부드럽고 왜곡이 적은 추정치를 제공합니다.

의의 및 주장
본 논문은 NullFlow가 Mean Flow 개념을 영상 역문제에 성공적으로 적용하여 원스텝 사후 샘플러를 가능하게 한 첫 번째 프레임워크라고 주장합니다. 주요 의의는 반복적 생성 솔버의 높은 계산 비용을 측정 일관성 유지의 필요성으로부터 분리했다는 점에 있습니다. 제한된 흐름이 원스텝 사후 샘플러를 생성할 수 있음을 증명함으로써, NullFlow는 기존의 최첨단 반복적 방법들보다 훨씬 적은 계산 비용으로 고품질 이미지 복구를 제공하는 경로를 제시합니다. 저자들은 현재 작업이 노이즈 없는 측정값을 가정하고 있으나, 이를 노이즈가 있는 설정 및 변하는 연산자(varying operators)로 확장하는 것이 유망한 향후 연구 방향임을 언급했습니다.