기술 요약: SACE: 시각적 자기회귀 모델의 의미론적 특이점에서의 개념 삭제 (Concept Erasure at the Semantic Singularity in Visual Autoregressive Models)

1. 문제 정의

Infinity와 같은 시각적 자기회귀(Visual Autoregressive, VAR) 모델의 급격한 등장은 고해상도 텍스트-이미지 합성의 새로운 지평을 열었으며, 확산(Diffusion) 모델을 능가하는 확장성과 생성 품질을 확립했습니다. 그러나 이러한 모델들은 부적절하거나 편향되거나 저작권이 있는 콘텐츠를 생성하는 등의 중대한 안전성 취약점을 물려받았습니다.

기존의 개념 삭제 기술은 주로 확산 모델을 위해 설계되었으며, 이를 VAR 아키텍처에 단순히 적용할 경우 실패하게 됩니다. 확산 삭제는 시간적 디노이징 단계의 균질한 특성에 의존하는 반면, VAR 모델은 거친 해상도에서 정밀한 해상도로 이미지를 생성하는 "다음 스케일(next-scale)" 자기회귀 패러다임을 통해 작동하기 때문입니다. VAR 모델의 모든 스케일에 걸쳐 균일한 삭제 손실을 직접 적용하면 다음과 같은 문제가 발생합니다:

• 치명적인 의미론적 붕괴 (Catastrophic Semantic Collapse): 모델이 일관된 이미지를 생성하는 능력을 상실합니다.
• 시각적 아티팩트 (Visual Artifacts): 심각한 흐림 현상, 혼란스러운 질감, 구조적 해체를 초래합니다.
• 비효율성: 모든 스케일에 걸친 무차별적인 학습은 효과적인 삭제를 보장하지 못하면서 기하급수적으로 증가하는 계산 오버헤드를 발생시킵니다.

현재의 VAR 특화 시도들(예: S-VARE, EAR)은 다중 스케일 생성 과정을 동질적인 순차적 작업으로 취급하여, 이러한 모델들의 본질적인 공간-계층적 특성을 파악하지 못했기 때문에 최적의 효능을 보여주지 못하고 높은 학습 비용을 보입니다.

2. 방법론

제안된 SACE (Scale-Aware Concept Erasure) 프레임워크는 이론적 공리화, 진단 분석, 그리고 표적 최적화라는 세 가지 접근 방식을 통해 이러한 과제들을 해결합니다.

A. 의미론적 특이점 공리 (The Semantic Singularity Axiom)

핵심적인 이론적 기여는 의미론적 특이점 공리로, 이는 프롬프트에 내재된 모든 타겟 의미론적 개념이 기초 생성 스케일(Scale-0)에 돌이킬 수 없이 고정되어 있다는 가설입니다.

• 메커니즘: 글로벌 텍스트 조건은 "시각적 누적 캐스케이드(visual accumulator cascade)"를 개시합니다. 의미론적 확정 지점은 Scale-0($1 \times 1$ 잠재 토큰)에서 설정되며, 이후 모든 고주파 스케일로 구조적으로 전파됩니다.
• 함의: 후속 스케일($s > 0$)은 새로운 의미론적 개념을 주입하지 않으며, 단지 Scale-0에서 설정된 사전 지식(priors)을 바탕으로 고주파 구조 고정 및 질감 정교화만을 수행합니다. 따라서 모든 스케일에 걸친 삭제 개입은 중복적이며 구조적으로 해롭습니다.

B. 점진적 의미론적 돌출 분석 (Incremental Semantic Saliency Analysis, ISSA)

이 공리를 검증하기 위해 저자들은 각 해상도 스케일에서 새롭게 주입되는 의미론적 정보를 격리하는 진단 프레임워크인 ISSA를 제안합니다 추적합니다.

• 과정: ISSA는 추론 중 교차 주의(cross-attention) 확률을 가로채고, 레이어 전체에 걸쳐 이를 집계하며, 이전 스케일의 업샘플링된 주의력을 현재 스케일에서 빼는 방식으로 주의 잔차(Attention Residual) ($\Delta A_k$)를 계산합니다.
• 결과: 시각적 분석 결과, 특정 개념에 대한 주의 질량(attention mass)은 Scale-0에서 정점을 찍고 이후 스케일에서는 지수적으로 감소함을 확인했습니다. 고차 스케일은 새로운 의미론적 초점을 거의 제공하지 않으며, 오직 질감 정교화 역할만 수행합니다. 이는 $s > 0$ 스케일에서의 개입이 불필요할 뿐만 아니라 해롭다는 엄격한 시각적 증거를 제공합니다.

C. SACE 최적화 프레임워크

공리에 따라, SACE는 모든 삭제 개입을 엄격히 Scale-0로 제한하며, 이중 목적 최적화 전략을 채택합니다:

1. 엔트로피 정규화 삭제 목적 함수 ($\mathcal{L}_{ER}$):

   • 문제: 자기회귀 모델에서 잠재 표현을 강제로 이동시키면 출력 로짓(logits)이 평탄해져, 병리적으로 높은 엔트로피와 무작위에 가까운 토큰 선택(퇴화)을 유발합니다.
   • 해결책: $\mathcal{L}_{ER}$은 생성적 굴절 메커니즘(타겟 개념을 밀어냄)과 동적 정보 이론적 선명도 제약을 결합합니다. 이는 모델이 카테고리 분포를 고엔트로피 노이즈로 붕괴시키지 않으면서도 개념을 삭제하도록 보장합니다.
   • 공식: $\mathcal{L}_{ER} = \mathcal{L}_{naive} + \lambda_{ent}\mathcal{L}_{ent}$ 이며, 여기서 $\mathcal{L}_{ent}$는 엔트로피가 최대 임계값($H_{max}$)을 초과하는 것에 대해 페널티를 부여합니다.

2. 복구 보존 손실 ($\mathcal{L}_{pre}$):

   • 문제: 타겟 개념을 제거하는 과정에서 고해상도 합성에 필요한 미세한 교차 토큰 의존성이 손상될 수 있으며, 이는 무해한 사전 지식(예: 왜곡된 인체 구조)에 대한 "부수적 피해"를 입힐 수 있습니다.
   • 해결책: $\mathcal{L}_{pre}$는 비타겟 프롬프트에 대한 삭제된 모델의 출력과 원본 모델의 출력 사이의 거리를 최소화함으로써, 얽혀 있는 무해한 사전 지식의 무결성을 고정합니다. 이는 특히 $s \ge 1$ 스케일에서 수행됩니다.
   • 역할: 이는 "외과용 메스" 역할을 하여, 모델이 Scale-0에서 정밀한 직교 분리(orthogonal disentanglement)를 수행하도록 강제하는 동시에 고주파 구조적 그래디언트를 보존하도록 합니다.

3. 주요 기여

1. 의미론적 특이점 공리: 차세대 스케일 자기회귀 모델에서 의미론적 주입이 초기 스케일에 의해 지배된다는 것을 최초로 공식화하여, 다중 스케일 삭제를 타겟팅된 단일 스케일 개입으로 단순화했습니다.
2. 점진적 의미론적 돌출 분석 (ISSA): 점진적인 의미론적 정보를 격리하는 화이트박스 진단 도구로서, 커스-투-파인(coarse-to-fine) 생성 과정을 투명하게 검사할 수 있는 첫 번째 방법을 커뮤니티에 제공합니다.
3. 스케일 인식 삭제 프레임워크: 의미론적 특이점 공리를 활용하여 성숙한 확산 기반 삭제 전략을 VAR 패러다임으로 이식한 최초의 프레임워크입니다. 이는 첫 번째 스케일 개입과 이중 레벨 최적화를 결합합니다.
4. 외과적 정밀도: SACE는 최소한의 학습 오버헤드로 최첨단(SOTA) 삭제 성능을 달al성하며, 개념 제거와 일반적인 생성 충실도 보존 사이의 균형을 효과적으로 맞춥니다.

4. 실험 결과

저자들은 ESD, FMN, UCE 및 재현된 VARE를 포함한 베이스라인 모델들에 대해 Infinity-8B 모델을 대상으로 SACE를 평가했습니다.

• NSFW 삭제 ("Nude"):

  • SACE는 인간 판단 누드율(HNR)을 베이스라인의 97.7%에서 **17.5%**로 낮추었습니다.
  • 이미지 품질을 파괴하면서 낮은 HNR(7.2%)을 달성한 공격적인 베이스라인(예: ESD-x)과 달리, SACE는 경쟁력 있는 FID 23.5와 CLIP 점수 31.3을 유지하며 원본 모델과 거의 구별되지 않는 수준을 보였습니다.
  • SACE는 해부학적 탐지에서 낮은 민감도 점수(71)를 기록하면서도 높은 복잡도(375)를 유지하여, 생성의 풍부함이 보존되었음을 나타냈습니다.

• 스타일 삭제 ("Van Gogh"):

  • SACE는 스타일 존재 정확도를 **8%**로 낮추어, 베이스라인(18–28%)보다 우수한 성능을 보였습니다.
  • 결정적으로, SACE는 FID 23.8을 유지한 반면, ESD-u는 치명적인 유틸리티 저하(FID 88.1)를 겪었습니다.

• 객체 삭제 ("Church"):

  • SACE는 구체적인 객체의 생성을 유의미하게 방해한 유일한 방법으로, 정확도를 97.0%에서 **65.0%**로 낮추었습니다. 베이스라인들은 유의미한 삭제를 제공하지 못했습니다(88–98%).

• 강건성 (Robustness):

  • SACE는 적대적 공격(Ring-A-Bell 및 I2P 데이터셋)에 대해 강력한 강건성을 입증하였으며, R-A-B에서 가장 낮은 공격 성공률(ASR 44.56%)을, I2P에서는 두 번째로 좋은 성능을 기록했습니다.

• 어블레이션 연구 (Ablation Studies):

  • 스케일: 모든 스케일에 개입하는 것은 삭제 힘과 보존 힘 사이의 목적 함수 충돌로 인해 삭제 효능을 저하시켰습니다(ASR이 55.79%로 반등).
  • 엔트로피: 엔트로피 정규화를 제거하면 로짓 평탄화로 인해 최적이 아닌 삭제 결과(ASR 54.04%)가 나타났습니다.
  • 보존: $\mathcal{L}_{pre}$가 없으면 생성 품질이 붕괴되었습니다(FID 27.4). 정밀한 직교 분리를 강제하기 위해 강력한 앵커($\lambda_{pre}=2.0$)가 필요했습니다.

5. 의의 및 주장

본 논문은 VAR 모델을 위해 특별히 설계된 최초의 스케일 인식 개념 삭제 프레임워크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 기초적 통찰: 확산 모델의 "원 사이즈 피츠 올(one-size-fits-all)" 방식에서 벗어나 스케일 특화 전략으로 전환함으로써, VAR 모델에 대한 안전 개입 방식을 근본적으로 재정의합니다.
2. 효율성 및 안전성: 개입을 Scale-0로 제한함으로써 계산 비용을 획기적으로 줄이는 동시에, 고주파 구조적 세부 사항이 손상되지 않음을 수학적으로 보장합니다.
3. 패러다임 연결: 수년간의 선행 연구를 활용하여 확산 시대의 안전 연구를 차세대 AR 모델로 이식하는 체계적인 방법론을 제시합니다.
4. 외과적 정밀도: 프레임워크는 민감한 개념을 제거하면서도 흐림이나 일반적인 생성 능력의 파괴와 같은 "부수적 피해" 없이 섬세한 균형을 달성하며, 이는 실제 배포를 위한 핵심 요구사항입니다.

저자들은 자신들의 접근 방식이 신흥 VAR 아키텍처에 내재된 결정적인 안전 취약점을 "시기적절하고 우아하게 해결"하며, 이러한 고성능 생성 모델의 안전한 배포를 향한 견고한 경로를 제공한다고 결론짓습니다.