EMMA: Concept Erasure Benchmark with Comprehensive Semantic Metrics and Diverse Categories

1. 문제 정의 (Problem Definition)

텍스트-이미지 (T2I) 생성 모델의 급속한 확산은 사생활 침해, 편향 (bias), 저작권 위반 등의 사회적 위험을 초래했습니다. 이를 해결하기 위해 개념 소거 (Concept Erasure, CE) 기술이 주목받고 있으며, 이는 모델을 전체적으로 재학습시키지 않고도 특정 undesirable 개념 (예: 특정 유명인, NSFW 콘텐츠, 저작권이 있는 로고 등) 을 모델에서 제거하는 방법입니다.

그러나 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

• 제한된 평가 범위: 소거된 개념의 이름이 직접 포함된 단순한 프롬프트 (예: "개 사진") 만으로 평가하여, 모델이 개념의 의미적 표현 (semantic representation) 을 실제로 제거했는지 확인하지 못함.
• 부족한 메트릭: 이미지 품질이나 처리 시간 등 표면적인 지표에 치중하여, 간접적인 설명 (implicit prompts) 이나 시각적으로 유사한 비대상 개념 (visually similar non-target concepts) 에 대한 견고성을 평가하지 않음.
• 편향 심화 우려: 소거 과정에서 모델의 인구통계학적 편향 (성별, 인종 등) 이 오히려 악화될 수 있는지에 대한 체계적인 분석이 부족함.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 EMMA (Concept Erasure Benchmark with Comprehensive seMantic Metrics and diverse Categories) 라는 새로운 벤치마크를 제안했습니다.

A. 평가 프레임워크

EMMA 는 5 가지 도메인과 5 가지 평가 차원, 총 13 가지 메트릭을 통해 개념 소거 기술을 종합적으로 평가합니다.

1. 평가 도메인 (5 가지):

   • Objects (사물): 일상적인 사물 (COCO 데이터셋 기반, 79 개 카테고리).
   • Celebrities (유명인): 특정 인물의 신원 (50 개).
   • Art styles (예술 양식): 특정 화가나 예술 사조 (40 개).
   • NSFW (부적절 콘텐츠): 성폭력, 자해, 혐오 표현 등 (7 개).
   • Copyright (저작권): 브랜드 로고 (30 개).
   • 총 206 개의 개념 카테고리를 평가.

2. 평가 차원 및 메트릭 (5 차원, 13 개 메트릭):

   • 소거 능력 (Erasing Ability, EA): 개념이 얼마나 잘 제거되었는지 측정.
     • Explicit: 개념의 직접적인 이름 (Name, Prefix).
     • Implicit: 개념의 이름을 쓰지 않고 설명하는 프롬프트 (Variant, Short description, Long description). 이 부분이 기존 벤치마크와의 핵심 차이점입니다.
   • 유지 능력 (Retaining Ability, RA): 소거된 개념 외의 다른 개념 생성 능력 유지 여부.
     • Random: 무작위 선택된 비대상 개념.
     • Similar: 소거된 개념과 시각적/의미적으로 유사한 비대상 개념 (예: '자전거'를 지우면 '오토바이' 생성 능력 저하 여부).
   • 효율성 (Efficiency): 소거 시간, 추론 시간, 하드웨어 무관한 계산 비용 (Compute budget).
   • 이미지 품질 (Quality): 생성된 이미지의 충실도 (FID 점수).
   • 편향 (Bias): 소거 후 성별 및 인종 편향이 어떻게 변화하는지 정량화 (SSIM 및 CLIP 기반 유사도 측정).

B. 실험 설정

• 평가 대상: 5 가지 최신 개념 소거 방법 (CA, ESD, UCE, MACE, FMN) 과 Stable Diffusion (v1.4, v2.1) 베이스 모델.
• 프롬프트 생성: ChatGPT 를 활용하여 간접 설명 (Short/Long descriptions) 과 동의어 (Variants) 를 생성하여 인간 평가 (Human evaluation) 를 통해 정확성을 검증함.
• 분류기: 도메인별 맞춤형 분류기 (ML-Decoder, GCD, YOLOv11 등) 를 사용하여 생성된 이미지 내 개념 존재 여부를 판별.

3. 주요 기여 (Key Contributions)

1. EMMA 벤치마크 제안: 단순한 키워드 매칭을 넘어, 의미적 깊이 (semantic depth) 와 사회적 영향 (편향, 유사 개념 보존) 을 고려한 포괄적인 평가 프레임워크를 최초로 제시.
2. 간접 프롬프트 (Implicit Prompts) 평가 도입: 개념의 이름이 아닌 설명을 통해 모델을 공격함으로써, 실제 의미적 표현이 제거되었는지 여부를 검증.
3. 시각적 유사성 (Visual Similarity) 평가: 소거된 개념과 유사한 비대상 개념의 생성 능력 저하를 체계적으로 분석.
4. 편향 심화 분석: 개념 소거가 모델의 기존 편향을 완화하는지, 아니면 오히려 악화시키는지를 정량적으로 분석.

4. 실험 결과 (Results)

5 가지 최신 소거 방법 (CA, ESD, UCE, MACE, FMN) 을 EMMA 로 평가한 주요 결과는 다음과 같습니다.

1. 간접 프롬프트에 대한 취약성:

   • 대부분의 방법은 직접적인 이름 (Explicit) 프롬프트에서는 높은 소거 능력을 보였으나, 간접적인 설명 (Implicit) 프롬프트에서는 성능이 급격히 떨어졌습니다.
   • 예: '개 (dog)'를 지우더라도 "꼬리를 흔들며 장난기 많은 동반자"라는 설명으로는 여전히 개가 생성됨.
   • 특히 NSFW 도메인에서 소거 능력이 가장 낮게 나타남.

2. 유사 개념의 생성 능력 저하:

   • 소거된 개념과 시각적으로 유사한 개념 (Similar) 을 생성하는 능력은 무작위 개념 (Random) 에 비해 현저히 저하됨.
   • 예: '자전거'를 지우면 '오토바이' 생성 능력도 함께 떨어짐.

3. 계산 비용 증가:

   • 소거된 모델의 추론 시간은 원본 모델 대비 2 배에서 10 배까지 증가함.
   • 학습 (Unlearning) 시간도 개념당 30 초에서 3000 초까지 소요됨.

4. 이미지 품질 유지:

   • 대부분의 방법은 원본 모델과 유사하거나 더 나은 FID 점수를 기록하여 이미지 품질은 크게 저하되지 않음.

5. 편향 심화 (Bias Amplification):

   • 대부분의 소거 방법은 성별 및 인종 편향을 완화하기보다 오히려 악화시키는 경향을 보임 (특히 남성 및 백인 편향 강화).
   • FMN 방법만이 일관되게 편향을 완화하는 결과를 보임 (기반 모델인 SD v2.1 의 편향이 심했기 때문에 개선 여지가 컸을 가능성 있음).

6. 방법론별 성능 차이:

   • Concept Remapping (ESD, UCE, MACE): 최적화 기반 방법 (CA, FMN) 보다 전반적으로 EA 와 RA 성능이 우수함.
   • MACE: 명시적 프롬프트에서 가장 높은 소거 능력을 보임.
   • ESD/UCE: 간접 프롬프트에서 상대적으로 좋은 성능을 보이지만, 유지 능력 (RA) 이 낮음.

5. 의의 및 결론 (Significance)

• 표면적 소거의 한계 드러냄: 현재 존재하는 개념 소거 방법들은 개념의 '단어'만 제거할 뿐, 모델의 잠재 공간 (latent space) 에 있는 의미적 표현 (semantic representation) 을 완전히 지우지 못함을 증명함.
• 새로운 평가 표준 제시: 향후 연구가 단순한 키워드 차단이 아닌, 의미적 이해와 사회적 안전 (편향, 유사 개념 보존) 을 고려한 방향으로 나아가야 함을 시사.
• 미래 연구 방향 제안:
  1. 토큰 레벨이 아닌 잠재 공간 (latent space) 에서 개념 표현을 제거하는 기술 개발.
  2. 시각적으로 유사한 개념의 생성 능력을 보존하기 위한 정규화 (regularization) 기법 도입.
  3. 소거 과정 중 인구통계학적 균형을 모니터링하여 편향 심화를 방지하는 메커니즘 구축.

이 논문은 개념 소거 기술이 실제 응용 환경에서 안전하고 효과적으로 작동하기 위해서는 더 엄격하고 포괄적인 평가 기준이 필요함을 강력하게 주장하며, 해당 분야의 표준 벤치마크로 자리 잡을 것으로 기대됩니다.