Who Gets Flagged? The Pluralistic Evaluation Gap in AI Content Watermarking

1. 문제 제기 (Problem Statement)

• 배경: 워터마킹은 AI 생성 콘텐츠의 진위 확인 (Authentication) 과 출처 추적 (Provenance) 을 위한 표준 메커니즘으로 자리 잡고 있으며, EU AI 법, 미국 행정명령 14110, 중국의 AI 생성 콘텐츠 라벨링 규정 등 주요 거버넌스 프레임워크에서 필수 인프라로 언급되고 있습니다.
• 핵심 문제: 워터마킹 시스템은 중립적인 도장이 아니라, 콘텐츠의 통계적 속성 (통계적 특성) 에 의존하여 신호 강도, 탐지 가능성, 견고성 (Robustness) 이 결정됩니다.
  • 이러한 통계적 속성은 언어, 문화적 시각 전통, 인구통계학적 그룹에 따라 체계적으로 변이합니다.
  • 따라서 콘텐츠 의존적 (Content-dependent) 인 워터마킹은 편향된 인증 (Biased Authentication) 을 초래할 수 있습니다. 즉, 특정 언어 화자나 문화적 배경을 가진 그룹이 AI 생성 콘텐츠로 오인식 (False Positive) 되거나, 반대로 실제 AI 생성 콘텐츠가 탐지되지 않을 (False Negative) 위험이 존재합니다.
• 평가의 부재: 현재 워터마킹 벤치마크는 탐지율, 공격에 대한 견고성, 품질 유지, 계산 오버헤드 등에만 집중하며, 언어, 문화적 콘텐츠 유형, 인구통계학적 그룹에 따른 성능 차이는 거의 보고되지 않습니다. 이는 시스템이 특정 집단 (주로 서구권, 영어 화자) 에 최적화되어 있음을 시사합니다.

2. 방법론 및 분석 접근 (Methodology & Analysis)

저자들은 텍스트, 이미지, 오디오 모달리티별로 워터마킹이 어떻게 작동하며, 어떤 경로로 편향이 발생할 수 있는지 분석했습니다.

• 워터마킹 메커니즘 분석:
  • 텍스트: 토큰 샘플링 과정 수정, 동의어 치환, 구문 재구성 등을 통해 워터마크를 삽입합니다. 탐지는 생성된 텍스트의 통계적 속성 (특히 토큰 분포의 엔트로피) 에 의존합니다.
  • 이미지: 잠재 공간 (Latent-space) 또는 사후 처리 (Post-hoc) 를 통해 주파수 영역에 신호를 삽입합니다. 고주파 세부 정보, 색상 분포, 질감 복잡도 등이 삽입 및 탐지에 영향을 미칩니다.
  • 오디오: 파형에 비가청 신호를 삽입하며, 주파수 영역에서 작동합니다. 음성의 피치, 스펙트럼 에너지 분포, 억양 (Prosody) 이 워터마크의 삽입과 복구에 영향을 줍니다.
• 벤치마크 리뷰: 주요 워터마킹 벤치마크 (MarkMyWords, WaterBench, WAVES 등) 를 검토하여 다원적 평가 (다국어, 문화적 다양성, 인구통계학적 분할) 가 어떻게 누락되었는지 확인했습니다.
• 편향 경로 규명:
  • 텍스트: 비영어권 화자의 글은 영어 화자보다 워터마크 신호가 강하게 나타나는 경향이 있어 오탐지율이 높습니다. 또한, 영어 중심 토크나이저는 비로마자 문자를 여러 서브워드 단위로 분할하여 탐지 통계를 왜곡합니다.
  • 이미지: ImageNet 기반의 학습 데이터와 서구 중심의 평가 기준은 비서구 문화적 시각 전통 (예: 서예, 복잡한 직물 무늬) 에 대한 워터마크 행동을 포착하지 못합니다.
  • 오디오: 성조 언어 (만어, 베트남어 등) 는 억양이 의미 전달에 중요하므로, 주파수 영역 기반 워터마킹과 상호작용하여 기존 벤치마크 (영어 중심) 에서 예측하지 못한 편향이 발생할 수 있습니다.

3. 주요 기여 (Key Contributions)

저자들은 다원적 워터마킹 벤치마킹을 위한 3 가지 구체적인 평가 차원을 제안했습니다.

1. 교차 언어 탐지 평등 (Cross-lingual Detection Parity):
   • 다양한 언어와 문자 체계에 대한 탐지 성능을 선택 사항이 아닌 핵심 보고 요구사항으로 설정해야 합니다.
   • 텍스트의 경우 토큰화 효율과 형태론적 구조가 다른 언어별 오탐지/미탐지율을 보고해야 하며, 오디오의 경우 성조 언어 등을 포함해야 합니다.
2. 문화적으로 다양한 콘텐츠 커버리지 (Culturally Diverse Content Coverage):
   • 벤치마크 콘텐츠는 시스템이 개발된 분포 (주로 ImageNet, 영어 텍스트) 를 넘어 확장되어야 합니다.
   • 이미지에는 비서구적 시각 전통과 문화적 프롬프트로 생성된 콘텐츠를, 오디오는 다양한 음향 환경 (실내, 배경 소음 등) 을 포함해야 합니다.
3. 인구통계학적 분할 보고 (Demographic Disaggregation of Detection Metrics):
   • 단일 집계 수치가 아닌, 인구통계학적 그룹 (언어 배경, 성별, 연령, 인종 등) 별로 탐지 지표 (오탐지율, 미탐지율) 를 분리하여 보고해야 합니다.
   • 이는 AI 모델의 공정성 평가 기준을 검증 계층 (Verification Layer) 으로 확장하는 것을 의미합니다.

4. 결과 및 발견 (Results & Findings)

• 평가 격차: 검토된 주요 벤치마크 중 AudioMarkBench를 제외하고는 다국어/다문화 평가나 인구통계학적 보고가 전혀 이루어지지 않았습니다.
• 실증적 편향 (텍스트): Xie et al. 의 연구에 따르면, 동일한 조건에서도 비영어권 화자의 에세이는 원어민보다 더 강한 워터마크 신호를 보여 오탐지율이 높습니다. 이는 탐지기 결함이 아니라 워터마크 삽입 메커니즘과 작성자의 언어적 배경 간의 상호작용에서 기인한 구조적 편향입니다.
• 실증적 편향 (오디오): AudioMarkBench 는 25 개 언어와 성별/연령별 평가를 수행하여, 특정 조건에서 여성 음성이나 특정 언어 (조지아어, 에스페란토어 등) 에서 성별/언어별 오탐지/미탐지율 차이가 있음을 발견했습니다.
• 잠재적 위험 (이미지): 이미지 워터마킹에 대한 다원적 평가는 전무한 상태이나, 생성 모델이 서구 중심적 편향을 가지고 있고, 워터마크 평가 또한 서구적 데이터에 의존한다면 검증 계층이 이러한 편향을 계승하고 증폭시킬 가능성이 매우 높습니다.

5. 의의 및 정책적 시사점 (Significance & Policy Implications)

• 공정성 기준의 불일치: 현재 거버넌스 프레임워크 (EU AI 법 등) 는 생성형 AI 모델 자체의 편향성을 평가하도록 요구하지만, 이를 검증하는 워터마킹 시스템에 대해서는 동일한 공정성 평가를 요구하지 않습니다. 이는 검증 계층이 편향 감사의 사각지대가 되고 있음을 의미합니다.
• 규제 제안: 새로운 규제 체계가 아닌, 기존 감사 요구사항을 워터마킹으로 확장해야 합니다.
  1. 고위험 AI 시스템의 적합성 평가에 워터마크 탐지 평등 포함.
  2. 배포 조건으로서 언어별/인구통계학적 오탐지/미탐지율 보고 의무화.
  3. 글로벌 배포 환경을 반영한 압력 코덱 및 플랫폼 파이프라인에 대한 견고성 평가 의무화.
• 결론: 워터마킹은 AI 파이프라인의 다른 구성 요소와 동일한 공정성 표준을 충족해야 합니다. 평가는 배포에 앞서 이루어져야 하며, 다원적 평가는 이상적인 목표가 아닌 책임 있는 배포를 위한 최소 요구사항입니다.

요약: 이 논문은 AI 콘텐츠 워터마킹이 현재 언어, 문화, 인구통계학적 다양성을 고려하지 않은 채 평가되고 배포되고 있음을 지적합니다. 콘텐츠의 통계적 속성에 의존하는 워터마킹의 특성상, 특정 그룹에게 불리한 편향이 발생할 수 있으며, 이는 기존 벤치마크의 평가 부재로 인해 드러나지 않고 있습니다. 저자들은 다원적 평가 차원 (다국어, 문화적 다양성, 인구통계학적 분할) 을 도입하고, 이를 거버넌스 프레임워크에 통합할 것을 강력히 주장합니다.