기술 요약: 삭제하되 보존하기 (Erase but Preserve)

문제 정의

텍스트-투-이미지 확산 모델(diffusion models)의 광범위한 채택은 저작권 위험, 특히 저작권이 있는 애니메이션 캐릭터의 무단 생성 문제를 야기했습니다. 기존의 개념 삭제(concept erasure) 기술들은 다음과 같은 애니메이션 캐릭터 특유의 도전 과제들로 인해 부적합합니다:

1. 앵커 선택의 어려움: 모델 수정 방식은 일반적으로 타겟 개념을 "무해한" 앵커(anchor)에 매핑하는 것을 요구합니다. "누드"를 위한 "지면(ground)"과 같은 일반적인 앵커는 광범위한 범주에는 효과적이지만, 매우 독특하고 고유한 애니메이션 캐릭터의 경우 적절한 의미론적 유의어나 분류학적 관계를 수동으로 정의하기 어렵거나 불가능합니다.
2. 세밀한 제어의 부족: 프롬프트 기반 스티어링(steering) 방법은 이산적인(discrete) 텍스트 조정을 활용하므로 거친 제어만을 제공합니다. 이러한 방식은 특정 침해 캐릭터를 제거하면서도 사용자의 원래 창의적 의도(구도, 스타일, 배경)를 보존하는 데 어려움을 겪으며, 결과적으로 불완전한 삭제나 이미지 품질 저하를 초래합니다.

방법론

저자들은 생성 과정 중 모델의 연속적인 텍스트 표현(continuous textual representation) 상에서 작동하는 제어 가능한 삭제 방법을 제안합니다. 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 앵커 개념 구축 (Anchor Concept Construction)

사전에 정의된 일반적인 앵커를 사용하는 대신, 이 방법은 특정 타겟 캐릭터에 대한 무해한 대리물 역할을 하도록 최적화된 커스텀 "Anchor*" 개념을 구축합니다. 이는 다음의 결합 손실 함수(combined loss function)를 최소화함으로써 달성됩니다:

• 구조적 제약 ($L_S$): 앵커가 타겟과 유사한 구조적 윤곽과 전역 레이아웃을 공유하도록 하여 배경 왜곡을 방지합니다. 이는 타겟의 재구성된 샘플과 앵커 사이의 저주파 구조적 유사성을 최대화함으로써 이루어집니다.
• 세부 차별화 ($L_D$): 앵커의 세부 특징이 타겟과 구별되도록 하여 저작권 침해를 방지합니다. 이는 앵커 프롬프트를 사용하여 타겟의 세부 디테일을 재구성할 때 발생하는 노이즈 예측 오차를 최대화함으로써 이루어집니다.

2. 앵커 임베딩 최적화 (Anchor Embedding Optimization)

구축된 개념은 텍스트 인코더(예: CLIP)의 연속적인 텍스트 임베딩 공간 내에서 학습 가능한 단어 벡터($v^*$)로 최적화됩니다.

• 초기화: 벡터는 "Anchor*" 토큰을 사용하여 초기화됩니다.
• 최적화: 벡터는 위에서 정의된 구조 및 세부 손실 함수를 최소화하도록 역전파(backpropagation)를 통해 업데이트됩니다.
• 출력: 이 과정을 통해 최적화된 앵커 임베딩($e^*_{anchor}$)과 그에 대응하는 특수 토큰(SOT, EOT, Padding)의 문맥화된 임베딩이 생성됩니다.

3. 구조 인식 적응형 교체 (Inference 시점)

이미지 생성 중에 이 방법은 타겟 관련 임베딩을 최적화된 앵커 임베딩으로 교체합니다.

• 타겟팅된 교체: 타겟 캐릭터와 관련된 임베딩(및 EOT, Padding과 같은 관련 특수 토큰)만 최적화된 앵커 임베딩으로 교체되거나 융합되며, 관련 없는 프롬프트 요소는 그대로 유지됩니다.
• 적응형 타이밍: 장면의 일관성을 보존하기 위해, 교체는 디노이징(denoising) 시작 즉시 적용되지 않습니다. 이 방법은 디노이징 과정의 저주파 구조 신호를 모니터링합니다. 교체는 구조적 레이아웃이 안정화될 때(즉, 연속적인 저주파 성분 간의 $L_2$ 거리가 더 이상 유의미하게 증가하지 않을 때) 적응적으로 트리거됩니다. 이는 전역 구조가 확립된 후에 특정 캐릭터가 교체되도록 보장합니다.

주요 기여

• 새로운 삭제 메커니즘: 모델 가중치를 수정하거나 이산적 프롬프트에만 의존하는 대신, 연속적인 텍스트 표현 상에서 직접 작동하여 하나 이상의 저작권 있는 애니메이션 캐릭터를 생성 과정 중에 삭제하는 방법입니다.
• 원칙적인 앵커 최적화: 타겟의 시각적 특징을 활용하여 제어 가능한 의미론적으로 근접한 앵커를 식별함으로써, 독특한 캐릭터에 대한 적절한 대리물을 선택하는 어려움을 해결하는 연속적 앵커 최적화 접근법을 제공합니다.
• 구조 인식 전략: 구조적 안정화에 따라 임베딩 교체 타이밍을 동적으로 조절함으로써 정밀한 캐릭터 제거와 높은 충실도의 보존을 동시에 달성하는 교체 전략을 제시합니다.
• 플러그 앤 플레이 기능: 최적화된 앵커는 기존 모델 수정 베이스라인에 무해한 대리물로서 통합될 수 있어, 베이스라인 방법의 재설계 없이 성능을 향상시킵 sleep 수 있습니다.

실험 결과

본 방법은 Stable Diffusion v1.4와 다양한 기타 아키텍처(SD v1.5, v2, v2.1, SDXL, DiT 기반 Z-Image)를 사용하여 80개의 애니메이션 캐릭터 데이터셋에 대해 평가되었습니다.

• 삭제 효과성: 본 방법은 시각-언어 모델(LLaVA-1.5: 6.0%, BLIP-3: 4.0%)에 의한 타겟 캐릭터 식별 정확도를 가장 낮게 달성하였으며, 이는 SLD, SAFREE, TraSCE와 같은 베이스라인을 크게 상회하는 수치입니다.
• 이미지 충실도: 본 방법은 베이스라인 대비 우수한 이미지 충실도를 유지하며, 원본과 삭제된 이미지 사이에서 가장 높은 SSIM(0.467)과 가장 낮은 LPIPS(0.505)를 달축했습니다. 또한 높은 미적 점수(aesthetic scores)를 보존했습니다.
• 일반화 능력: 본 방법은 모델 미세 조정(fine-tuning) 없이도 서로 다른 모델 아키텍처(UNet 및 DiT)와 텍스트 인코더 차원 간의 전이 가능성을 입증했습니다.
• 제어 및 다재다능함:
  • 세밀한 제어: 타겟 임베딩과 앵커 임베딩 사이를 보간(interpolation)함으로써, 사용자가 삭제 정도를 연속적으로 제어할 수 있게 합니다.
  • 다중 타겟 제거: 여러 캐릭터를 동시에 성공적으로 삭제하면서도 시각적 일관성을 유지합니다.
  • 베이스라인 개선: 최적화된 앵커를 기존 모델 수정 방법(UCE, ESD-u, AC, MACE)에 통합했을 때, 일반적인 앵커를 사용하는 것보다 삭제 정확도와 충실도 보존 측면에서 일관되게 향상된 성능을 보였습니다.

의의 및 주장

본 논문은 이 연구가 생성형 AI의 저작권 보호에 있어 중요한 격차를 해소한다고 주장합니다. 특정하고 매우 독특한 애니메이션 캐릭터를 전체적인 이미지 품질이나 사용자의 의도를 파괴하지 않고 제거할 수 있게 함으로써, 이 방법은 플랫폼 거버넌스와 법적 준수를 위한 실질적인 솔루션을 제공합니다.

저자들은 본인의 접근 방식이 다음과 같음을 강조합니다:

1. 사용자 의도 극대화: 거친 차단 방식과 달리, 생성된 이미지의 구도, 스타일 및 배경을 보존합니다.
2. 제어 가능성 제공: 삭제 정도를 조절할 수 있는 메커즘을 제공하여, 저작권 정책의 미세한 집행을 가능하게 합니다.
3. 배포 용이성: 최적화된 앵커의 플러그 앤 플레이 특성과 모델 미세 조정의 불필요함은 다양한 확산 모델에 걸쳐 실제 환경 배포에 적합하게 만듭니다.

이 연구는 창의적 효용을 유지하면서도 법적 틀 안에서 작동할 수 있는, 신뢰할 수 있고 사용자 중심적인 AI 시스템을 향한 단계로 자리매김하고 있습니다.