기술 요약: 안전한 텍스트-이미지 생성을 위한 내성적 어텐션 변조 (Introspective Attention Modulation)

1. 문제 정의

Diffusion Transformer(DiT) 및 rectified flow(예: FLUX.1-dev)에 기반한 최첨단 흐름 기반(flow-based) 텍스트-이미지(T2I) 모델들은 놀라운 생성 능력을 보여주지만, 부적절한 콘텐츠(폭력, 노골적인 이미지, 성적 콘텐츠)를 생성하는 데 취약한 상태로 남아 있습니다. 이러한 취약성은 LoRA나 DreamBooth와 같은 매개변수 효율적 적응(parameter-efficient adaptation) 기술을 사용하여 모델을 미세 조정할 때 더욱 악화되며, 이는 배포 전의 안전 가드레일을 쉽게 우회할 수 있습니다.

기존의 안전 메커니즘은 세 가지 범주로 나뉘며, 각각 상당한 한계를 지닙니다:

• 외부 필터링(External Filtering): 프롬프트 블랙리스트나 CLIP 기반 분류기에 의존합니다. 이는 적대적 프롬프팅, 패러프레이징(paraphrasing), 탈옥(jailbreak) 공격에 취ền하여 매우 취약합니다.
• 학습 기반 억제(Training-based Suppression): 개념 삭제(concept erasure) 또는 안전한 미세 조정(safe fine-tuning)을 포함합니다. 이러한 방법은 계산 비용이 많이 들고, 특정 초기 확산 아키텍처에 국한되는 경우가 많으며, "부수적 의미론적 삭제(collateral semantic erasure)"(양호한 개념의 생성 능력을 저하시킴)를 유발할 수 있습니다.
• 추론 시 가이던스(Inference-time Guidance): Safe Latent Diffusion(SLD)이나 Latent Guard와 같은 방법은 재학습을 요구하거나 의미론적 삭제를 유도합니다. 또한, 가중치 편집(weight-editing) 방식은 새로운 어댑터에 의해 무력화될 수 있습니다.

핵심 문제는 현대적인 트랜스포머 기반 아키텍처에서 의미론적 정렬이나 출력의 지각적 품질을 해치지 않으면서, 생성 과정 중에 개입하여 부적절한 개념을 억제할 수 있는 기계론적이고 학습이 필요 없는 접근 방식이 부족하다는 것입니다.

2. 방법론: 내성적 어텐션 변조 (Introspective Attention Modulation)

저자들은 모델의 가중치를 수정하거나 재학습하지 않고도 모델의 어텐션 역학(attention dynamics)을 조절하는 원칙적인 추론 시 개입 방법을 제안합니다. 이 방법은 "내성(introspection)"을 통해 작동합니다.

핵심 개념

이 방법은 디퓨전 트랜스머의 어텐션 메커니즘이 풍부한 내부 구조를 인코딩한다는 관찰에 기초합니다. 부적절한 개념의 형성은 특정 어텐션 패턴(예: 신체 부위 영역 이미지 토큰으로의 높은 교차 어텐션(cross-attention))에 반영됩니다. 이 접근 방식은 실시간으로 이러한 어텐션 활성화(activation)를 분석하고 이를 재균형 있게 조정하여, 의미론적 일관성을 유지하면서도 부적절한 개념으로부터 생성을 유도(steer)합니다.

기술적 워크플로우

1. 이중 경로 어텐션 추출(Dual-Path Attention Extraction): 각 디노이징 타임스텝 $t$에서, 방법은 듀얼 스트림(dual-stream) 및 싱글 스트림(single-stream) 트랜스포머 블록으로부터 어텐션 상태($\Phi_t$)를 추출합니다. 이 상태에는 셀프 어텐션(공간적 일관성)과 교차 어텐션(텍스트-이미지 대응 관계)이 포함됩니다.
2. 안전 제약 최적화(Safety-Constrained Optimization): 방법은 변조된 어텐션 집합 $\varphi^*_t$를 찾기 위해 안전을 제약된 최적화 문제로 공식화합니다. 목적 함수 $\mathcal{L}_{int}$는 세 가지 항의 균형을 맞춥니다:
   • 일관성 에너지($E_{coh}$): 텍스트-이미지 정렬을 유지하기 위해 안전한 참조 어텐션($\Phi^{safe}_t$)으로부터의 편차에 대해 페널티를 부여합니다.
   • 안전 정규화 항($R_{safe}$): 레이블이 지정된 예시들로 학습된 희소 로지스틱 회귀 모델($W_{unsafe}$)을 사용하여 부적절한 어텐션 질량을 정량화합니다. 이 항은 유해한 콘텐츠와 상관관계가 있는 어텐션 패턴에 페널티를 부여합니다.
   • 근접 다이버전스($D$): KL 다이버전스를 사용하여 변조된 어텐션을 원래의 $\Phi_t$ 근처로 제한함으로써 분포 외(out-of-distribution) 섭동을 방지합니다.
3. 최적화 과정: 최적의 $\varphi^*_t$는 원래의 $\Phi_t$에서 초기화된 투영 경사 하강법(projected gradient descent, PGD)을 통해 해결됩니다. 이를 통해 유해한 패턴이 높은 헤드(head)는 교정되는 반면, 양호한 헤드는 최소한으로 섭동되도록 하는 세밀한 per-head 억제가 가능합니다.
4. 내성 비율 제어(Introspection Ratio Control): 파라미터 $\alpha_{intro}$는 안전 개입과 출력 충실도(fidelity) 사이의 트레이드오프를 제어하며, 런타임 시 조절 가능한 안전 강도를 제공합니다.
5. 교정된 속도 및 샘플링(Corrected Velocity and Sampling): 변조된 어텐션 $\varphi^*_t$는 트랜스포머에 다시 주입되어 속도장($\hat{v}_\theta$)을 재평가합니다. 생성 단계는 이 안전 제약 속도를 사용하여 잠재 샘플을 안전한 결과물로 유도합니다.

3. 주요 기여

• 최초의 메커니즘: 고품질의 현대적 디퓨전 트랜스포머 모델을 위한 추론 시 안전을 위해 특별히 설계된 어텐션 기반 내성적 안전 메커니즘을 도입했습니다.
• 학습이 필요 없는 개입: 베이스 모델이나 어댑터를 재학습할 필요가 없습니다. 이 방법은 순수하게 추론 과정 중에 어텐션 역학을 조절함으로써 작동합니다.
• 유해성 탐지를 위한 희소 로지스틱 회귀: 사전 학습된 개념 표현을 사용하여 유해한 어텐션 패턴을 식리고 추출하는 메커니즘을 개발하여 표적 억제를 가능하게 합니다.
• 원칙적인 트레이드오프 제어: 내성 비율 제어를 갖춘 최적화 프로세스를 구현하여 안전-품질 간의 트레이드오프를 조절할 수 있는 핸들을 제공합니다.
• 포괄적인 평가: 표준 벤치마크(I2P, SneakyPrompts, MMA-Diffusion, UnlearnDiffAtk)에서 광범로하게 평가되었으며, 기존의 개념 삭제 방법(UCE, ESD, EraseAnything, FlowEdit, MCE)보다 우수함을 입증했습니다.

4. 실험 결과

방법은 부적절한 생성을 위해 LoRA로 적응된 FLUX.1-dev 및 SDXL에 대해 평가되었습니다.

• 안전 성능:
  • I2P 벤치마크에서, 이 방법은 베이스라인(56.3%) 대비 30% 상대적 개선된 **39.6%**의 누드율(Nudity Rate, NR)을 달로 달성했습니다.
  • SneakyPrompts(적대적 탈옥)에서, 베이스라인의 81.5%와 비교하여 견고한 **70.5%**의 NR을 유지했습니다.
  • 시각-언어 모델(VLM) 검증: Qwen-VL을 사용하여, 이 방법은 단 **1.7%**의 이미지만을 부적절한 것으로 플래그 처리했습니다(16개 이미지). 이는 베이스라인 대비 79% 감소한 수치입니다. 주목할 점은, 개념 삭제 베이스라인(UCE, ESD)은 종종 의미론적 불일치로 인해 VLM이 탐지한 위반 사례를 증가시켰다는 것입니다.
• 품질 및 정렬:
  • 기존 방법들과 달리, 제안된 접근 방식은 모든 벤치마크에서 CLIP 점수(텍스트-이미지 정렬)를 향상시켰습니다. 예를 들어, I2P에서 CLIP 점수는 30.52(베이스라인)에서 30.82로 상승했습니다.
  • 이 방법은 안전성과 품질을 동시에 개선하는 **파레토 우위(Pareto dominance)**를 달성했습니다. 반면 다른 방법들은 안전성이 높아지면 품질이 저하되는 트레이드오프에 직면했습니다.
• 일반화:
  • 이 방법은 모델 불가지론적(model-agnostic)이며, 재학습 없이 여러 FLUX 변체(Dev, Kontext, Schnell, Krea) 및 SDXL에 성공적으로 적용되었습니다.
  • 누드, 폭력, 불법 활동, 자해를 포함한 다양한 부적절한 카테고리를 효과적으로 억제합니다.

5. 의의 및 주장

본 논문은 어텐션 공간의 규제가 기존의 개념 삭제 메커니즘보다 더 유망한 디퓨전 트랜스포머 기반 이미지 생성의 안전한 경로를 제공한다고 주장합니다.

주요 주장은 다음과 같습니다:

• 내재적 견고성: 어텐션 역학을 직접적으로 규제함으로써, 정적인 안전 필터를 우회하는 경향이 있는 매개변수 효율적 적응(LoRA 등)에 대해 내재적인 견고성을 보입니다.
• 기계론적 이해: 이 접근 방식은 사후 패치(post-hoc patches)를 넘어 생성 과정 자체에 개입하여, 단순히 출력을 수정하는 것이 아니라 부적절한 콘텐츠 발생의 근본 원인(어텐션 패턴)을 다룹니다.
• 삭제보다 우월함: 실험 결과, 전통적인 개념 삭제는 현대적 아키텍처에서 효과적이지 않거나 오히려 역효로 작용할 수 있으며, 때로는 안전성을 악화시키거나 심각한 시각적 아티팩트를 유발할 수 있음을 보여줍니다. 반면, 내성적 어텐션 변조는 시각적 일관성과 의미론적 충실도를 보존합니다.
• 실제 배포 가능성: 이 방법은 런타임에 조절 가능한 안전 강도를 가진 단일 모델을 배포할 수 있게 하여, 서로 다른 안전 수준을 위한 여러 모델 버전을 유지 관리할 필요를 없애줍니다.

저자들은 이 방법이 매우 적대적인 프롬프트(예: SneakyPrompts)에 대한 커버리지 격차가 있을 수 있는 학습된 안전 개념 표현에 의존하며, 신뢰할 수 있는 안전 운영 컨텍스트를 가정한다는 점을 언급하며 한계를 인정했습니다. 그러나 이들은 이 연구가 윤리적 경계를 넘지 않으면서 창의성을 가능하게 하는 정책 집행 메커즘을 향한 기초적인 단계라고 위치시킵니다.