기술 요약: 안전 격차 해소: 시각적 자기회귀 모델에서의 정밀한 개념 삭제 (Surgical Concept Erasure)

문제 정의

Infinity와 같은 시각적 자기회귀(Visual Autoregressive, VAR) 모델의 급격한 발전은 점진적으로 더 큰 스케일의 시각적 토큰을 예측함으로써 텍스트-이미지 생성 품질과 속도를 크게 향提升시켰습니다. 그러나 이러한 모델들은 효과적인 안전 메커니즘이 부족하여, 부적절한 프롬프트에 대응하여 부적절한 콘텐츠(예: NSFW 이미지, 폭력 또는 저작권 침해 물질)를 생성할 위험이 있습니다.

기존의 개념 삭제(Concept Erasure, CE) 기술은 주로 확산 모델(Diffusion Models, 예: U-Net 또는 FLUX 아키텍처)을 위해 설계되었으며, 다음과 같은 근본적인 구조적 차이로 인해 VAR 모델에는 일반화되지 못합니다:

1. 예측 패러다임: 확산 모델은 연속적인 공간에서 노이즈를 예측하는 반면, VAR 모델은 계층적이고 자기회귀적인 방식으로 이산적인(discrete) 시각적 토큰을 예측합니다.
2. 오차 누적: 확산 기반 CE 방법(개별 스케일에서 예측을 정렬하는 방식)을 VAR에 무분별하게 적용하면 스케일 전반에 걸쳐 누적 오차가 발생합니다. VAR 생성은 매우 자기회귀적(각 토큰이 이전의 거친 스케일 토큰에 의존함)이기 때문에, 독립적인 정렬은 심각한 이미지 품질 붕괴와 의미론적 왜곡을 초래합니다.
3. 최적화 불일치: 확산 삭제에서 사용되는 표준 회귀 손실(예: 평균 제곱 오차, MSE)은 VAR의 이산 확률 공간 내 토큰 예측에 적합하지 않으며, 이는 불안정한 최적화를 유발합니다.

방법론

저자들은 이러한 과제를 해결하기 위해 두 단계 프레임워크인 VARErasure(기초 프레임워크)와 S-VARE(정밀한 삭제 방법)를 제안합니다.

1. VARErasure 프레임워크: 보조 시각적 토큰 (Auxiliary Visual Tokens)

스케일 간의 오차 누적을 방정하기 위해, 저자들은 보조 시각적 토큰을 활용하는 프레임워크를 도입합니다.

• 메커니즘: 모델이 중립적인 프롬프트로부터 처음부터 토큰을 생성하도록 학습시키는 대신, 이 프레임워크는 시각적 트랜스포머에 원본 모델로부터 생성된 보조 토큰(대상 프롬프트 $c^*$ 또는 중립 프롬프트 $c$를 사용)을 추가 입력으로 제공합니다.
• 효과: 이를 통해 미세 조정된 모델이 전체적인 생성 동작(구조 및 의미)을 거의 온전하게 유지하면서, 대상 개념을 반영하기 위한 크로스 어텐션(cross-attention) 응답을 조정하는 데 집중할 수 있게 합니다. 이는 단순한 미세 조정에서 나타나는 "붕괴" 현상을 완화합니다.

2. S-VARE: 정밀한 개념 삭제 (Surgical Concept Erasure)

VARE를 기반으로, 저자들은 표준 회귀 손실을 이산 토큰 예측에 맞춤화된 커스텀 손실 함수로 대체하는 S-VARE를 도입합니다.

• 필터링된 교차 엔트로피 손실 ($L_{FCE}$):

  • VAR 모델(예: Infinity)이 예측을 확률 공간으로 투영하기 위해 이진 구형 양자화(Binary Spherical Quantization, BSQ)를 사용한다는 점을 인식하여, 저자들은 MSE를 교차 엔트로피(Cross-Entropy)로 대체합니다.
  • 필터링 전략: 모델이 올바른 토큰까지 저하시키는 과최적화를 방지하기 위해 두 단계 필터링 전략을 적용합니다:
    1. 비트 레벨(Bit Level): 이진 분류 정확도에 기반한 임계값 $\gamma$를 사용합니다.
    2. 토큰 레벨(Token Level): 잘못된 비트의 비율이 임계값 $\alpha$(모델의 자기 수정 범위와 일치하는 25%로 설정) 미만인 경우 해당 토큰을 손실 계산에서 제외합니다.
  • 이를 통해 의미론적 불일치가 큰 토큰만이 그래디언트에 기여하도록 하여, "정밀한(surgical)" 개념 제거를 가능하게 합니다.

• 보존 손실 ($L_{Pre}$):

  • 언어 표류(language drift)나 다양성 감소와 같은 미세 조정의 부작면을 방지하기 위해 보존 손실을 도입합니다.
  • 메커니즘: 미세 조정된 모델의 출력(중립 프롬프트 $c$ 사용)을 원본 사전 학습 모델의 출력과 쿨백-라이블러(Kullback-Leibler, KL) 발산을 통해 정렬합니다.
  • 목표: 이를 통해 미세 조정된 모델이 삭제된 대상과 관련 없는 개념에 대해서는 원본 모델의 생성 능력과 다양성을 유지하도록 합니다.

주요 기여

1. 체계적 분석: 본 논문은 확산 기반 CE 방법을 VAR 모델에 적용할 때의 한계를 체계적으로 분석하여, 오차 누적과 최적화 불일치를 주요 실패 지점으로 식별한 최초의 연구입니다.
2. VARE 프레임워크: 생성을 안정화하고 최적화 탐색 공간을 줄이기 위해 보조 시각적 토큰을 사용하는 새로운 프레임워크를 제안하여 이미지 품질 붕괴를 방지합니다.
3. S-VARE 방법: 다음을 특징으로 하는 정밀한 삭제 방법을 도입합니다:
   • VAR 예측의 이산적 특성을 존중하면서 부적절한 토큰을 정밀하게 타격하는 필터링된 교차 엔트로피 손실 ($L_{FCE}$).
   • 의미론적 충실도와 출력 다양성을 유지하는 보존 손실 ($L_{Pre}$).
4. 실증적 검증: 이 접근 방식이 생성 품질의 저하를 최소화하면서(CLIP 점수 하락 2% 미만) 높은 삭제율(민감한 개념의 97%)을 달성함을 입증했습니다.

실험 결과

저자들은 Infinity-2B 모델을 대상으로 세 가지 삭제 카테고리(NSFW(누드), 객체(예: "교회"), 스타일(예: "반 고흐"))에 대해 S-VARE를 평가했습니다.

• NSFW 삭제: 이 방법은 정상적인 신체 부위의 생성은 보존하면서 누드 개념을 거의 완전히 삭제(민감한 콘텐츠 탐지력을 유의미하게 감소)했습니다. 이는 효과적인 삭제에 실패하거나 이미지 품질을 심하게 저하시킨 ESD, UCE, FMN과 같은 베이스라인 모델보다 우수한 성능을 보였습니다.
• 객체 및 스타일 삭제: 이 방법은 타겟 객체와 스타일을 성공적으로 제거하면서도, 무관한 클래스에 대한 높은 분류 정확도를 유지하고 다양하고 고품질의 이미지를 생성하는 능력을 보존했습니다.
• 강건성(Robustness): 누드를 유도하도록 설계된 적대적 프롬프트 데이터셋(Ring-A-Bell, MMA, I2P)에 대해 테스트했을 때, S-VARE는 원본 모델 및 다른 베이스라인 모델에 비해 적대적 성공률(ASR)을 유의미하게 낮추었습니다.
• 절제 연구(Ablation Studies): 필터링된 교차 엔트로피 손실이 삭제 효과에 결정적이며, 보존 손실이 생성 품질과 지시문 충실도를 유지하는 데 필수적임을 확인했습니다.

의의 및 주장

본 논문은 안전 격차를 해소한다고 주장합니다. 기존 방법들은 확산 모델에는 효과적이었으나, 새롭게 등장하는 클래스인 VAR 모델에는 적용할 수 없었습니다. VARE와 S-VARE를 도입함으로써, 저자들은 VAR를 위한 최초의 효과적이고 정밀한 개념 삭제 솔루션을 제공합니다.

이 연구는 처음부터 다시 학습시키는 비현실적인 계산 부담이나, 단순한 미세 조정과 관련된 심각한 품질 저하 없이 대규모 자기회귀 모델에서 바람직하지 않은 개념을 제거하는 것이 가능하다는 것을 보여줍니다. 이는 실제 응용 분야에서 VAR 기반 생성 시스템을 안전하고 확장 가능하게 배포하는 것을 용이하게 합니다.