AEGIS: A Mechanism-Guided Defense against Visual Synonym Jailbreaks in Text-to-Image Models

기술 요약: AEGIS – 시각적 유의어 탈옥(Visual Synonym Jailbreaks)에 대한 메커니즘 가이드 방어 기제

1. 문제 정의

텍스트-이미지(T2I) 확산 모델은 심각한 안전성-유용성 딜레마에 직면해 있다. 입력 공간의 시맨틱 정화(semantic sanitization)부터 구조적 특징 프루닝(feature pruning)에 이르는 기존의 방어 패러다임은 주로 명시적인 유해 개념이나 알려진 적대적 토큰을 차단하도록 설계되었다. 그러나 이러한 방법들은 **시각적 유의어 공격(Visual Synonym Attacks, VSA)**에는 대응하지 못한다.

VSA는 공격자가 문맥적으로는 무해하고 자연스러운 언어 프롬프트(예: "쏟아진 빨간 페인트")를 사용하는 은밀한 탈옥 기술이다. 이는 금지된 개념(예: "피")과 텍스트 도메인에서는 의미론적으로 직교(orthogonal)하지만, 강력한 암묵적 시각적 연관성을 공유한다. 텍스트 중심의 필터와 트리거 특정 경로 차단 방식은 명시적인 악의적 프롬프트를 성공적으로 차단하지만, VSA에 의해 우회된다. 그 이유는 입력 토큰에 명시적인 유해 시맨틱이 결여되어 있기 때문이다. 반대로, VSA를 차단하기 위해 설계된 광범위한 구조적 프루닝은 시각적으로 유사한 유익한 개념(예: "피"를 차단하려다 "케첩"까지 억제하는 경우)의 생성 품질을 저하시키는 **과잉 완화(over-mitigation)**를 초래한다.

식별된 핵심 과제는 VSA가 **텍스트-시각적 시맨틱 불일치(text-visual semantic misalignment)**를 악용한다는 점이다. 즉, 프롬프트는 텍스트 공간에서는 안전하지만, 디노이징 과정 중에 생성 궤적이 유해한 시각적 매니폴드로 동적으로 수렴하게 된다.

2. 방법론: 메커니즘 분석 및 AEGIS

저자들은 **AEGIS (Adaptive Evasion Guard via Identification and Steering)**를 제안한다. 이는 방어 메커니즘을 정적인 억제에서 생성 중 유해 시맨틱의 동적 추적으로 전환하는 방식이다.

A. 메커니즘 분석 (이유)
잠재 궤적(latent trajectories)에 대한 체계적인 조사를 통해, 저자들은 VSA와 명시적 공격이 **희소한 하위 집합의 시맨틱 주입 어텐션 헤드(semantic-injecting attention heads)**를 통해 수렴한다는 것을 식별했다.

• 동적 수렴: 시각적 유의어는 초기에는 유익한 프롬프트와 유사해 보이지만, 중간 디노이징 단계에서 악의적인 시그니처를 향해 동적으로 발산 및 수렴한다.
• 희소 국소화: 앵커 기반 유사도 프로파일링과 희소 회귀(Lasso)를 사용하여, 저자들은 약 10%의 어텐션 헤드(특히 깊은 크로스 어텐션 레이어)가 **70%의 유해 시맨틱 귀속(attribution)**을 담당한다는 것을 격리해 냈다. 이 헤드들은 무해한 텍스트 임베딩이 금지된 시각적 시맨틱으로 변환되는 결정적인 병목 지점 역할을 한다.
• 공유 경로: 식별된 이 헤드들은 암묵적 시각적 유의어와 명시적 악의적 트리거 모두에 의해 활성화되며, 이는 이들이 유해한 시각적 생성을 위한 공유 통로임을 확인시켜 준다.

B. AEGIS 방어 메커니즘 (방법)
AEGIS는 모델을 재학습시키거나 가중치를 영구적으로 제거하지 않고, 식별된 취약한 헤드들을 정밀하게 조종하는 추론 시 개입(inference-time intervention) 방식으로 작동한다.

• 반발 비콘(Repulsion Beacon): 시스템은 각 식별된 임계 헤드 내에서 (대상 유해 개념을 나타내는) 앵커 임베딩을 "반발 비콘"으로 사용한다.
• 유사도 인지 적응형 게이팅(Similarity-Aware Adaptive Gating): AEGIS는 정적인 투영 대신, 활성화 크기와 유사도 임계값에 의해 스케일링되는 동적 반발력을 적용한다.
  • 활성화가 악의적 앵커와 매우 유사할 경우, 게이트를 완전히 열어 최대 반발력을 강제한다.
  • 활성화가 경계선에 있거나 유익한 경우, 게이트를 선형적으로 스케일링하여 미세한 교정을 적용함으로써 유용성을 보존한다.
  • 이 메커니즘은 고위험 시맨틱은 중화하면서도, 시각적 유사성이 있는 유익한 개념은 보존하도록 보장한다.

3. 주요 기여

1. VSA의 공식화: 본 논문은 VSA를 텍스트-시각적 시맨틱 불일치를 악용하는 별개의 탈옥 패러다임으로 공식 정의하며, 현재의 정렬 패러다임이 가진 사각지대를 강조한다.
2. 메커니즘 해석 가능성: 저자들은 유해한 시각적 시맨틱이 T2I 모델의 희소한 딥 시맨틱 주입 어텐션 헤드에 의해 제어되며, 이들이 명시적 공격과 유의어 기반 공격 모두를 위한 공유 경로 역할을 한다는 것을 밝히는 최초의 메커니즘 분석을 제공한다.
3. AEGIS 프레임워크: 취약한 헤드에만 선택적으로 유사도 인지 반발력을 적용하는 새로운 추론 시 방어 기법을 제안한다. 이 접근 방식은 광범위한 특징 프루닝과 관련된 과잉 완화를 피한다.
4. 포괄적 평가: 이 방법은 다양한 공격 유형(VSA, 명시적, 적대적)과 아키텍처(SD 1.4, SD 2.1, FLUX.1)에 걸쳐 16개의 베이스라인을 대상으로 평가되었다.

4. 실험 결과

Stable Diffusion 1.4 (SD 1.4)에서 평가된 AEGIS는 최첨단 성능을 입증한다:

• 안전 정렬 (Safety Alignment):
  • 도메인 내 (VSA): 폭력에 대한 공격 성공률(ASR)을 0.00으로, 누드에 대해 0.03으로 감소시킨다.
  • 도메인 외 (명시적/적대적): I2P, MMA, RAB 벤치마크 전반에서 ASR ≤0.09를 달성한다.
  • 이는 입력 정화기(SafeClip, SAFREE) 및 경로 차단기(ESD, UCE)를 포함한 16개의 베이스라인을 크게 능가한다.
• 유용성 보존 (Utility Preservation):
  • 높은 생성 충실도(정렬되지 않은 모델과 유사한 FID 점수)와 시맨틱 정렬(CLIP 점수)을 유지한다.
  • 결정적으로, 다른 방법들이 잘못 억제하는 "하드 네거티브(hard-negative)" 유익한 개념(예: "토마토 썰기" 또는 "마네킹")의 과잉 완화를 방지한다.
• 전이성 (Transferability): 각 백본에 대한 임계 헤드를 재식별한 후, SD 2.1 및 디퓨전 트랜스포머 기반의 FLUX.1로 성공적으로 전이되어, 취약점이 모델 특정적이지 않고 구조적임을 입증한다.
• 효율성: AEGIS는 최소한의 계산 오버헤드(SD 1.4 기준 이미지당 3.99초)를 도입하며, 이는 SAeUron(11.60초)과 같은 다른 추론 시 개입보다 훨씬 빠르고, 디퓨전 백본의 재학습을 요구하지 않는다.

5. 의의 및 주장

본 논문은 AEHS가 은밀한 공격을 과소 완화하거나 유익한 유용성을 과잉 완화해야 하는 현재의 안전 정렬의 "피할 수 없는 딜레마"를 깨뜨린다고 주장한다. 정적인 텍스트 수준 필터링에서 동적인 내부 메커니즘 추적으로 방어 패러다임을 전환함으로써, AEGIS는 다음과 같은 실질적인 솔루션을 제공한다:

• 근본 원인 중화: 표면적인 텍스트 패턴에 의존하는 대신, 유해 시맨틱이 발생하는 특정 어텐션 경로를 타겟팅한다.
• 강건성 확보: 공격자가 특정 개입 방향을 회피하려고 시도하는 화이트박스 적응형 공격에 대해서도 효과를 유지한다. 이는 방어가 견고한 안전 관련 모델 구성 요소를 포착하기 때문이다.
• 배포 가능성: 디퓨전 백본의 재학습이 필요 없는 플러그 앤 플레이 방식의 추론 시 모니터로서, 진화하는 탈옥 기술로부터 T2I 모델을 보호하기 위한 저비용 고신뢰 솔루션을 제공한다.

저자들은 자신들의 연구가 회복 탄력성 있는 안전 메커니즘 개발을 위한 신뢰할 수 있는 청사진을 제공하며, VSA에 의해 악용되는 취약점은 구조적이며 정밀한 메커니즘 가이드 개입을 통해 해결될 수 있음을 보여준다고 결론짓는다.