기술 요약: 발걸음을 조심하라: 그림자 시간 단계 임베딩을 통한 확산 모델의 정보 주입

1. 문제 제기

확산 모델 (DMs) 은 고충실도 생성형 AI 의 표준이 되었으나, 그 보안 및 출처 메커니즘은 여전히 미탐구 상태로 남아 있습니다. 기존 연구는 모델 파라미터, 잠재 공간, 또는 출력 이미지 내의 스테가노그래피와 프롬프트나 픽셀 패턴에 의해 트리거되는 백도어 공격에 집중해 왔으나, 시간 단계 임베딩 (timestep embedding) 구성 요소는 잠재적인 보안 벡터로서 크게 간과되어 왔습니다.

시간 단계 임베딩은 탈노이즈 네트워크가 다양한 노이즈 수준에 걸쳐 예측을 적응할 수 있도록 하는 시간적 조건부 신호를 제공합니다. 저자들은 중요한 격차를 확인했습니다. 즉, 이러한 임베딩의 표현 능력이 충분히 활용되지 않고 있다는 점입니다. 구체적으로, 표준 위치 인코딩 (종종 정현파 기반) 은 최대 주기 (예: 10,000) 를 가지며, 이는 일반적인 훈련 범위 (예: 1,000 단계) 를 훨씬 초과합니다. 이로 인해 방대한 "그림자" 시간 공간이 사용되지 않은 채 남아 있게 되는데, 이는 관찰 가능한 샘플링 절차나 모델 가중치를 변경하지 않고도 악의적인 정보를 주입하거나 합법적인 출처를 위한 은밀한 채널로 악용될 수 있습니다.

2. 방법론: 그림자 시간 단계 임베딩 (Shadow Timestep Embedding, STE)

본 논문은 확산 모델의 사용되지 않는 시간 부분 공간을 활용하여 독립적인 데이터 분포를 인코딩하는 메커니즘인 **그림자 시간 단계 임베딩 (STE)**을 제안합니다.

핵심 메커니즘

• 시간 확장: 표준 DM 은 고정된 시간 단계 범위 $t \in [0, T_0]$ (예: $T_0=1000$) 에서 작동합니다. STE 는 새로운 분리된 시간 구간 $T_n = T_0 + f_n$을 생성하기 위해 "그림자" 오프셋 $f_n$을 도입합니다.
• 그림자 오프셋: 표준 시간 단계 $t$를 임베딩 함수 $\Phi(t)$에 직접 입력하는 대신, 모델은 이동된 인덱스 $t_{sn} = t + f_n$을 받습니다. 이는 표준 궤적을 새로운 임베딩 공간 $e_{t_{sn}} = \Phi(t_{sn})$으로 매핑합니다.
• 직교성: 정현파 위치 인코딩의 특성으로 인해, 오프셋 $f_n$ (예: 1000 의 배수) 은 표준 범위와 거의 직교하는 임베딩 벡터를 유도합니다. 이는 명시적 매니폴드와 선형적으로 분리 가능한 "평행한 그림자 시간 매니폴드"를 생성합니다.
• 이중 모드 훈련: 모델은 결합된 손실 함수로 훈련됩니다:
  $$L_{STE}(\theta) = L_{DM}(\theta) + E_{t_{sn}}[\|\epsilon - \epsilon_\theta(x_{t_{sn}}, t_{sn}, c_{sn})\|^2]$$
  이를 통해 모델은 명시적 시간 단계에 대한 주요 분포 $D_0$와 그림자 시간 단계에 대한 고유한 독립 분포 $D_{sn}$을 동일한 네트워크 가중치 내에서 모두 학습할 수 있습니다.
• 스케줄러 호환성: 핵심적으로 스케줄러 (노이즈 스케줄) 는 수정되지 않습니다. 사용자 관점에서 생성은 표준 시퀀스 $t = [T_0, \dots, 0]$를 따릅니다. 그러나 모델은 내부적으로 이를 그림자 시간 단계로 해석하여 해당 오프셋과 연관된 특정 학습된 분포를 활성화합니다.

이론적 기반

저자들은 시간 구간 간의 **상호 일관성 (Mutual Coherence)**에 대한 이론적 분석을 제공합니다. 그들은 분리된 구간 $I_0$와 $I_1$에 대해 임베딩 간의 코사인 유사도가 작은 값 $\mu$로 상한이 묶여 있음을 증명합니다 (시간 차이 $\Delta t \ge 1000$일 때 실험적으로 약 0.1 로 관측됨). 이러한 낮은 일관성은 그림자 임베딩이 주요 특징 매니폴드로 붕괴되지 않고 별도의 정보를 보유할 수 있는 구별 가능한 부분 공간을 형성함을 확인시켜 줍니다.

3. 주요 기여

1. STE 제안: 확산 모델에서 제어 가능한 정보를 인코딩하기 위한 미활용 채널로서 시간 차원을 드러내는 새로운 정보 주입 방법.
2. 이중 용도 보안 표면: STE 가 은밀한 공격 메커니즘(악의적 트리거 주입) 과 방어 메커니즘(보이지 않는 워터마킹/소유권 검증) 으로 모두 기능할 수 있음을 입증.
3. 이론적 증명: 분리된 시간 단계 구간이 거의 직교하는 임베딩을 생성하여 독립 분포 학습의 타당성을 검증하는 상호 일관성 경계 유도.
4. 실증적 검증: 명시적 및 그림자 매니폴드의 독립성을 유지하면서 STE 가 보조 데이터 분포를 신뢰성 있게 주입할 수 있음을 보여주는 포괄적인 실험.

4. 실험 결과

저자들은 STE 를 일반 성능, 공격 효율성, 방어 강건성이라는 세 가지 차원에서 평가했습니다.

일반 성능

• 품질 보존: STE 는 주요 데이터셋의 생성 품질을 보존합니다. CIFAR-10 에서 그림자 데이터셋으로 훈련할 때 FID 점수가 약간 개선되었습니다 (24.38 에서 21.82 로). 이는 그림자 구간을 추가해도 주요 분포가 저하되지 않음을 시사합니다.
• 독립성: 데이터셋 간의 의도하지 않은 누출을 측정하는 **노출률 (Exposure Rate, ER)**은 낮게 유지되었습니다 (약 8~9%). 이는 명시적 시간 단계에서의 생성물이 그림자 데이터셋의 특징을 누출하지 않음을 확인시켜 줍니다.
• 스케줄러 영향: STE 는 DDPM 스케줄러와 함께 가장 잘 작동합니다. DDIM 은 약간 더 높은 FID 를 보였으나 경쟁력 있는 수준을 유지했고, DPM-Solver 는 상당한 성능 저하를 보였습니다. 이는 STE 가 표준 노이즈 - 데이터 매핑을 보존하는 스케줄러에 의존함을 시사합니다.

공격 성능 (은밀한 주입)

• 백도어 능력: 그림자 시간 단계가 중독된 데이터셋 (5% 중독률) 과 연관될 때, 모델은 은밀한 백도어 역할을 합니다.
• 성공률: STE-그림자는 CIFAR-10 에서 **공격 성공률 (ASR)**이 99.2%, CelebA-HQ 에서 **98.8%**를 달성했습니다.
• 은폐성: 이 공격은 표준 지표를 통해 탐지되지 않습니다. 명시적 분기는 트리거되지 않을 때 높은 충실도 (FID 약 22.07) 와 낮은 ASR(0.2%) 을 유지하며, 픽셀 통계나 모델 가중치에서 이상 징후가 발견되지 않습니다.

방어 성능 (워터마킹)

• 검증: STE 는 가시적인 방패 워터마크가 있는 데이터셋에 그림자 시간 단계를 바인딩하여 워터마크가 포함된 이미지를 생성하는 데 사용되었습니다.
• 강건성: 워터마크는 흐림, 노이즈, JPEG 압축 하에서도 감지 가능했습니다 (정확도 > 0.95). Tree-Ring 및 ROBIN 과 경쟁력 있는 성능을 보였습니다.
• 한계: 워터마크는 밝게 하기 및 자르기 공격에 취약했습니다 (각각 0.85 및 0.71 로 하락). 이는 연구에 사용된 특정 워터마크의 픽셀 가시성 특성 때문입니다.

5. 중요성 및 주장

본 논문은 시간 단계 임베딩 경로가 확산 모델에서 중요하지만 과거에 간과되었던 보안 표면이라고 주장합니다. 시간을 "키"로 취급함으로써 STE 는 다음과 같은 것을 가능하게 합니다:

• 은밀한 제어: 사용자가 볼 수 있는 스케줄러나 모델 아키텍처를 수정하지 않고도 정당한 행동과 악의적 (또는 워터마크가 포함된) 행동 간에 전환할 수 있는 능력.
• 새로운 위협 지형: 공격자가 전통적인 입력/출력 모니터링을 회피하면서 시간 공간을 악용하도록 위장된 파이프라인을 통해 트리거를 주입할 수 있는 취약점을 부각시킴.
• 출처 기회: 모델 소유자가 특정 시간적 키에 의해서만 활성화되는 소유권 신호를 임베딩할 수 있는 새로운 원시적 보안 수단 제공.

저자들은 시간 차원을 이해하는 것이 안전한 생성 모델링의 미래에 필수적이라고 결론지으며, 이는 픽셀 공간이나 가중치 공간 방어와 근본적으로 직교하는 "그림자" 채널을 드러낸다고 지적합니다. 그들은 STE 가 취약점을 노출시키지만, 스케줄러가 발행한 시간 단계와 탈노이저가 수신한 값 간의 일관성을 검증하는 것과 같은 새로운 방어 전략 개발을 촉진한다고 덧붙였습니다.