🤖 AI

FARI: Robust One-Step Inversion for Watermarking in Diffusion Models

FARI는 역전 궤적의 낮은 곡률과 적대적 LoRA 미세 조정을 활용하여, 기존의 고단계 역전 방식에 비해 확산 모델에서 현저히 더 빠르고 견고한 워터마크 검증을 달성하는 강력한 일단계 역전 프레임워크입니다.

원저자: Jindong Yang, Han Fang, Weiming Zhang, Nenghai Yu, Kejiang Chen

게시일 2026-07-30

📖 4 분 읽기☕ 가벼운 읽기

원저자: Jindong Yang, Han Fang, Weiming Zhang, Nenghai Yu, Kejiang Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 당신이 입력한 한 문장을 읽는 것만으로 그림을 그리고, 노래를 쓰고, 영화를 설계할 수 있는 세상을 상상해 보십시오. 이것은 "디퓨전 모델(diffusion models)"이라는 일종의 인공지능이 부리는 마법입니다. 이 모델은 혼란스러운 정적 노이즈 구름에서 시작하여, 단계별로 천천히 이를 정돈하여 선명한 이미지가 나타나게 합니다. 이것은 마치 조각가가 대리석 블록을 깎아내는 것과 비슷하지만, 그 반대 과정입니다. AI는 무작위 노이즈 블록에서 시작하여 그 "노이즈"를 깎아내어 완벽한 조각상을 드러냅니다. 이 기계들이 예술을 만드는 데 매우 뛰어나기 때문에, "이 그림이 인간이 만든 것인지 아니면 로봇이 만든 것인지 어떻게 알 수 있을까?"라는 우려가 커지고 있습니다. 이를 해결하기 위해 과학자들은 디지털 "워터마크"를 개발했습니다. 이것은 마치 조각가가 작업을 시작하기도 전에, 첫 번째 모래알(초기 노이즈) 속에 비밀 코드를 숨겨두는 것과 같습니다. 만약 당신이 그 조각상이 당신의 것이라는 것을 증명하고 싶다면, 완성된 조각상을 다시 원래의 모래알로 되돌리는 역과정을 거쳐 코드를 읽어내야 합니다.

문제는 이 과정을 되돌리는 것이 매우 어렵고 느리다는 점입니다. 이것은 마치 케이크를 다시 반죽으로 되돌리거나 스무디를 다시 재료 상태로 되돌리려는 것과 같습니다. 과정을 되돌리는 단계가 많아질수록, 실수하거나 재료를 쏟을 가능성이 높아집니다. 만약 케이크가 봉지에 눌려 찌그러졌다면(JPEG 압축이나 크롭으로 인해 왜곡되었다면), 그것을 다시 '역으로 굽는' 작업은 악몽이 됩니다. 기존 방식들은 매우 정밀하게 작동하려고 노력하며, 과정을 되돌리기 위해 수백 개의 미세한 단계를 거치지만, 이는 시간이 너무 오래 걸릴 뿐만 아니라 이미지가 손상되었을 때는 여전히 실패합니다. 이 논문은 이 "역으로 굽는" 과정을 수행하는 새로운 방법을 소개하는데, 이 방법은 매우 빠를 뿐만 아니라 놀라울 정도로 손상에 강합니다.

이 연구의 저자인 양진동(Jindong Yang)과 그의 팀은 AI가 걷는 경로에 대해 이상한 점을 발견했습니다. AI가 이미지를 생성할 때, 그것은 마치 안개가 자욱한 숲속을 헤매며 장애물을 피하기 위해 끊임없이 방향을 바꾸는 등산객과 같아서, 경로는 구불구불하고 예측 불가능합니다. 하지만 원래의 노이즈를 찾기 위해 과정을 되돌릴 때, 그 경로는 잘 닦인 고속도로를 달리는 등산객처럼 훨씬 더 직선적입니다. 이 "역방향 경로"는 매우 직선적이기 때문에, 수백 단계를 거칠 필요 없이 단번에 목적지에 도달할 수 있습니다.

팀은 이 새로운 방법을 FARI(Fast Asymmetric Robust Inversion)라고 부릅니다. 기존 방식들이 이미지를 되돌리기 위해 50단계의 느리고 신중한 과정을 사용하는 대신, FARI는 단 한 번의 단계만으로 이를 수행합니다. 이것은 집의 모든 방을 하나하나 다시 지나서 현관문으로 돌아갈 필요 없이, 그냥 창문으로 뛰어내려 현관에 착지할 수 있다는 사실을 깨닫는 것과 같습니다. 하지만 여기서 영리한 점은, 이 도약이 매우 빠르기 때문에 컴퓨터가 지저도 있고 손상된 이미지를 훨씬 더 잘 다루는 법을 "학습"할 수 있다는 것입니다. 그들은 단 하나의 강력한 그래픽 카드(NVIDIA RTX A6000)에서 약 20분 동안 시스템을 훈련시켜, 이미지가 찌그러지거나 흐릿해지거나 잘려 있더라도 이 한 번의 도약을 아주 잘 수행할 수 있도록 만들었습니다.

결과는 인상적입니다. 테스트에서 FARI는 손상된 이미지로부터 숨겨진 워터마크를 추출하는 데 있어 기존의 느린 50단계 방식보다 높은 성공률을 보였습니다. 예를 들어, "Tree-Ring"이라 불리는 특정 유형의 워터마크를 확인할 때, FARI는 이미지가 심하게 왜곡된 상태에서도 거의 **100%**의 확률로 숨겨진 코드를 정확히 식별해 냈으며, 반면 기존 방식들은 어려움을 겪었습니다. 이 논문은 불필요한 단계를 건너뜀으로써 시스템이 덜 견고해지는 것이 아니라 오히려 더 견고해진다고 시사합니다. 이것은 마치 빠른 직격 펀치가 느리고 복잡한 춤 동작보다 더 효과적이라는 것을 배우는 무술가와 같습니다.

저자들은 또한 다른 방식들이 깨끗한 이미지를 되돌리는 데는 완벽할지 몰라도, 이미지가 엉망이 되면 실패한다는 점을 지적합니다. FARI는 한 번의 도약이 깨끗한 이미지에는 완벽하지 않을 수 있음을 인정하지만, 혹독한 과정을 거친 이미지에 대해서는 훨씬 더 우월합니다. 그들은 AI에게 이 새로운 기술을 가르치기 위해 LoRA(Low-Rank Adaptation)라는 기법을 사용했습니다. LoRA를 AI의 뇌에 추가되는 작고 탈부착 가능한 부품이라고 생각하십시오. AI가 그림을 그릴 때는 이 부품이 꺼져 있어 예술 작품이 아름답게 유지됩니다. 하지만 누군가 워터마크를 확인하려고 할 때, 이 부-품이 켜져서 AI가 시작점으로 빠르고 정확하게 도약할 수 있도록 돕습니다.

요약하자면, 이 논문은 우리가 정확하기 위해 반드시 느리고 신중할 필요는 없다고 주장합니다. 시작점으로 돌아가는 경로가 끝으로 가는 경로보다 더 단순하다는 것을 이해함으로써, 우리는 빠르면서도 강인한 시스템을 구축할 수 있습니다. 연구팀은 이 접근 방식이 이미지가 변형되었을 때 워터마크를 검증하는 데 있어 현재의 최첨단 방식들보다 더 효과적이라는 것을 발견했습니다. 이는 때때로 문제를 해결하는 가장 빠른 방법은 단계를 과하게 생각하는 것을 멈추고, 대담하고 잘 훈련된 도약을 하는 것임을 상기시켜 줍니다.

기술 요약: FARI - 확산 모델 내 워터마킹을 위한 강건한 1단계 역전(One-Step Inversion)

1. 문제 정의

역전(Inversion) 기반 워터마킹은 확산 모델(Diffusion Models)에 의해 생성된 이미지를 인증하는 유망한 기술로 부상했습니다. 이 방식은 초기 노이즈 벡터에 워터마크를 삽üm하여, 반복적인 생성 과정 동안 워터마크가 이미지의 의미론적 구조와 깊게 통합되도록 합니다. 워터마크를 추출하기 위해서는 역전 과정을 통해 이미지를 초기 노이즈 상태로 재구성해야 합니다.

그러나 이 기술의 실질적인 배포는 역전 단계 그 자체에 의해 심각하게 병목 현상을 겪고 있습니다. 기존의 역전 방법들은 속도와 정확도 사이에서 결정적인 트레이드오프(trade-off)에 직면해 있습니다:

속도 vs. 강건성(Robustness): 전통적인 고충실도 역전 방법(예: EDICT, BELM)은 내부 이산화 및 절단 오차(truncation errors)를 최소화하기 위해 높은 함수 호출 횟수(NFE)에 의존합니다. 이는 깨끗한 이미지에는 효과적이지만, 계산 비용이 많이 들고 느립니다.
오차 병목 현상의 이동: 워터마킹 시나리오에서 이미지는 워터마크 추출 전 외부 왜곡(예: JPEG 압축, 크롭, 블러)을 거치는 경우가 많습니다. 이러한 왜곡은 초기 조건에 상당한 변화를 일으킵니다. 본 논문은 이러한 적대적 환경에서는 샘플러의 내부 절단 오차보다 외부 왜곡에 의한 오차가 지배적이라고 주장합니다. 결과적으로, 내부 오차를 최소화하기 위해 설계된 고-NFE 전략은 강건성을 위한 실질적인 이득을 제공하지 못하면서 시간만 낭비하게 됩니다.
학습의 한계: 고-NFE 역전의 계산 비용은 엔드-투-엔드 적대적 학습(왜곡에 대한 강건성을 학습하는 데 필수적임)을 메모리 제약으로 인해 매우 어렵게 만듭니다. 긴 반복 궤적을 통한 역전파(backpropagation) 과정에서의 메모리 소모가 너무 크기 때문입니다.

2. 방법론: FARI

저자들은 워터마크 추출에 특화된 빠르고 1단계인 역전을 달성하기 위해 설계된 프레임워크인 **FARI (Fast Asymmetric Robust Inversion)**를 제안합니다. 이 방법은 두 가지 핵심적인 기하학적 관찰과 경량 미세 조정(fine-tuning) 전략을 기반으로 합니다.

2.1 핵심 관찰

기하학적 비대칭성 (낮은 곡률): 저자들은 역전 궤적이 순방향 생성 경로에 비해 곡률이 현저히 낮다는 점을 관찰했습니다.
- 생성(Generation): 순방향 경로는 곡률이 높습니다. 특히 $t \to T$ 근처에서, 모델은 서로 다른 이미지들이 동일한 노이즈 지점으로 확산됨에 따라 방향을 끊임없이 수정해야 하기 때문입니다.
- 역전(Inversion): 역전 경로는 소스 이미지로부터 저주파 의미 정보를 유지하므로, 궤적이 상대적으로 직선을 유지할 수 있습니다.
- 시사점: 곡률이 낮은 궤적은 본질적으로 압축 가능성이 높으며, 대규모의 절단 오차 없이도 적은 단계(low NFE)로 정확하게 근사할 수 있습니다.
오차 트레이드오프의 재평가: 워터마크 검증의 맥락에서, 속도와 내부 절단 오차 사이의 트레이드오프는 외부 왜곡이 지배적인 오차 원인이기 때문에 덜 중요합니다. 더 빠른 인버터는 직접적으로 강건성을 목표로 하는 엔드-투-엔드 적대적 학습을 가능하게 하며, 이는 느린 고-NFE 인버터로는 불가능한 작업입니다.

2.2 FARI 프레임워크

FARI는 **1단계 증류(one-step distillation)**와 **LoRA(Low-Rank Adaptation)**를 이용한 적대적 미세 조정을 결합합니다.

1단계 증류: 다단계 DDIM 역전(다단계 과정의 오차를 그대로 물려받음)을 모방하도록 모델을 훈련하는 대신, FARI는 생성된 이미지에서 실제 초기 노이즈로 직접 매핑되는 관계를 학습합니다.
적대적 학습: 이 방법은 다음과 같은 엔드-투-엔드 학습 루프를 사용합니다:
1. 실제 노이즈 벡터 $z_T$ 로부터 이미지를 생성합니다 (LoRA 비활성화 상태).
2. 생성된 이미지는 무작위 왜곡 $D(\cdot)$ (예: JPEG, 블러, 크롭)을 겪습니다.
3. 왜곡된 이미지는 잠재 표현(latent representation)으로 인코딩됩니다.
4. LoRA가 활성화된 디노이저(denoiser)가 1단계 역전을 수행하여 노이즈 $\hat{z}_T$ 를 재구성합니다.
5. 모델은 재구성된 노이즈 $\hat{z}_T$ 와 실제 노이즈 $z_T$ 사이의 평균 제곱 오차(MSE)를 최소화하도록 최적화됩니다.
LoRA 통합: 이 방법은 디노이저 네트워크를 미세 조정하기 위해 LoRA를 사용합니다. 이 접근 방식은 매개변수 효율적이며 메모리 친화적입니다. 결정적으로, LoRA 브랜치는 이미지 생성 중에 비활성화되어 원래 모델의 이미지 품질이 변하지 않도록 보장합니다. LoRA는 역전/추출 단계에서만 활성화됩니다.

3. 주요 기여

궤적 비대칭성 식별: 본 논문은 역전 궤적이 생성 경로보다 현저히 낮은 곡률을 가짐을 입증하여, 저-NFE 근사가 매우 용이함을 밝혔습니다.
FARI 프레임워크: 이러한 기하학적 특성을 활용하여 속도와 강건성을 모두 달성하는 1단계 역전 프레임워크를 제안했습니다.
엔드-투-엔드 적대적 학습: 역전을 단일 단계로 줄임으로써, FAPI는 이전에 계산적으로 불가능했던 외부 왜곡에 대한 강건성을 직접 최적화하는 고강도 적대적 학습을 가능하게 했습니다.
효율적인 미세 조정: LoRA를 사용하여 기본 모델의 생성 능력을 저하시키거나 두 번째 전체 규모의 디노이러를 배치할 필요 없이 강건성 학습을 수행합니다.

4. 실험 결과

저자들은 Stable Diffusion v1.5 및 v2.1을 사용하여 두 가지 다운스트림 워터마킹 방식인 Tree-Ring(주파수 영역)과 Gaussian Shading(공간 영역)에 대해 FARI를 평가했습니다.

베이스라인 대비 성능:
- FARI (1-step)는 다양한 왜곡(JPEG, 무작위 크롭, 무작위 드롭, 리사이징, 블러, 노이즈, 밝기 변화)에 대해 표준 50단계 DDIM 역전보다 훨씬 뛰어난 강건성을 보였습니다.
- EDICT 및 BELM과 같은 고충실도 역전 방법들을 능가했습니다. 이들은 적대적 환경에서 실패하거나 오차 누적 문제를 겪는 경우가 많습니다.
- 역전 작업을 위해 특별히 설계되지 않은 다른 가속화 방법들(AMED-Solver, LCM-LoRA, DMD2)보다 우수한 성능을 보였습니다.
효율성:
- 학습: 모델은 단일 NVIDIA RTX A6000 GPU에서 약 20분의 미세 조정만 필요합니다.
- 추론: FARI는 역전 과정을 단일 단계로 줄여, 50단계 베이스라인에 비해 추론 시간을 획기적으로 단축했습니다.
일반화 능력:
- FARI는 보지 못한 왜곡 유형과 다양한 가이던스 스케일(guidance scales)에 대해 강력한 일반화 성능을 보여줍니다.
- 어블레이션 연구(Ablation studies)를 통해 단일 단계가 최적임을 확인했습니다. 학습을 위해 NFE를 늘리는 것은 성능을 향상시키지 못하며, 오히려 오차 누적으로 인해 성능을 저하시킵니다.
- 낮은 LoRA 랭크(예: rank 1 또는 8)로도 충분하며, 이는 매개변수 업데이트 전략의 효율성을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 FARI가 속도-강건성 병목 현상의 근본 원인을 해결함으로써 인버전 기반 워터마킹의 패러다임 전환을 나타낸다고 주장합니다.

실질적 배포: 역전을 단일 단계로 줄임으로써, FARI는 광범위한 채택의 전제 조건인 대규모 실시간 워터마크 검증을 가능하게 합니다.
강건성 우선: 이 연구는 워터마킹에서 외부 왜곡에 대한 강건성이 가장 중요한 과제이며, 내부 이산화 오차는 부차적이라는 점을 강조합니다. FARI는 이전에는 계산적으로 불가능했던 적대적 학습을 가능하게 함으로써 이를 직접 해결합니다.
최소한의 오버헤드: 이 방법은 LoRA의 조건부 활성화를 통해 기본 생성 모델의 생성 품질을 손상시키지 않으면서도 최소한의 미세 조정 시간으로 이러한 이점을 달-성합니다.

저자들은 FARI가 속도와 강건성이라는 두 가지 요구 사항 사이의 균형을 성공적으로 맞추어, 이미지가 다양한 왜곡을 겪는 실제 시나리오에서 생성된 콘텐츠를 인증하기 위한 실용적인 솔루션을 제공한다고 결론지었습니다.