기술 요약: 언어 모델 워터마킹의 교차 언어적 공정성 감사

문제 정의

대규모 언어 모델(LLM)은 AI 생성 텍스트를 인간의 글과 구별하기 어렵게 만들었으며, 이는 오정보, 신뢰 저하, 모델 붕괴에 대한 우려를 불러일으켰다. 텍ext 워터마킹은 모델 출력에 복구 가능한 통계적 서명을 삽입하여 탐지를 가능하게 하는 제안된 완화책이다. 그러나 현재 워터마킹 기법에 대한 평가 프레임워크는 거의 예외 없이 영어 텍스트만을 대상으로 하며, 좁은 범위의 품질 측정값과 고정된 탐지 임계값을 사용한다.

본 논문은 중요한 격차를 식별한다: 영어에서 잘 작동하는 기법이 다른 언어로 일반화될 것이라는 암묵적인 가정이 대규모로 경험적 검증을 거치지 않았다는 점이다. 이는 워터마킹이 이미 다국어 환경에서 배포되고 있고, AI 생성 오정보의 위협이 전 지구적이라는 점을 고려할 때 특히 문제가 된다. 저자들은 영어에서는 무의미했던 평가 설계 선택(예: 임계값 선택, 품질 패러다임)이 교차 언어적 맥락에서는 중대한 결과를 초래하며, 잠재적으로 구조적인 공정성 격차를 은폐할 수 있다고 주장한다.

방법론

저자들은 실험적 그리드에 적용되는, 교차 언어적 공정성을 감사하기 위해 설계된 체계적인 평가 프레임워크를 제안한다.

실험적 그리드

본 연구는 모든 셀을 평가하는 11개 언어 × 6개 기법 × 3개 생성기 × 2개 레짐 그리드를 평가하며, 약 200,000개의 매칭된 워터마크 포함/미포함 쌍을 생성한다.

• 언어: 네 가지 스크립트(Latin, Devanagari, Arabic, Han)와 8개 유형론적 가족(Germanic, Romance, Indic, Semitic, Sinitic, Japonic, Turkic, Austroasiatic)에 걸친 11개 언어.
• 기법: 두 가지 설계 계열을 아우르는 6가지 워터마킹 기법:
  • Green-list logit-bias: KGW, Unigram, XSIR.
  • Distortion-free (왜곡 없는 방식): DIP, SynthID-Text, EXPEdit.
• 생성기: 세 가지 오픈 웨이트 모델(Mistral-NeMo-12B, Gemma-3-4B, Qwen2.5-7B)의 베이스(Base) 및 인스트럭션 튜닝(Instruction-tuned) 변체.
• 레짐:
  • Base (FLORES+): 프롬프트 내용의 변동을 제어하기 위한 병렬 지속 프롬프트 사용.
  • Instruct (AYA): 현실적인 배포 입력을 반영하기 위한 원어민 수준의 지시 프롬프트 사용.

평가 프레임워크 구성 요소

프레임워크는 다음 네 가지 뚜렷한 구성 요소로 이루어진다:

1. 경험적으로 보정된 탐지 임계값: IID-토큰 널(null) 분포 하에서의 이론적 거짓 양성률(FPR)을 목표로 하는 하드코딩된 임계값 대신, 저자들은 미포함 점수의 경험적 분포를 기반으로 배포 컨텍스트별(언어별 또는 글로벌)로 임계값을 보정한다.
2. 임계값 독립적 동반 측정: 보정 실패(임계값이 점수 분포에 비해 너무 높게 설정된 경우)와 탐지 실패(워터마크 신호 자체가 부재한 경우)를 구분하기 위해, 저자들은 Mann-Whitney U 통계량의 곡선 아래 면적(AUC)을 보고한다.
3. 세 가지 분리된 품질 패러다임: 단일 지표가 품질 보존을 포착할 수 없음을 인식하여, 저자들은 다음을 사용한다:
   • 분포적 (MAUVE): 임베딩을 사용하여 집합적 분포 변화를 측정한다.
   • 쌍 기반 의미적 (BERTScore): 미포함 완성본과의 프롬프트별 의미적 유사성을 측정한다.
   • 참조 퍼플렉시티 (PPL): 외부 참조 모델 하에서의 토큰별 가능성 보존을 측정한다.
4. 일반화 엔트로피 분해: 교차 언어적 불균형을 정량화하기 위해, 저자들은 사전 등록된 유형론적 파티션에 대해 분해된 일반화 엔트로피 지수($GE_2$)를 사용한다. 이는 불균형을 가족 내(특정 언어에 특이적인 것)와 가족 간(유형론적 속성에 구조적인 것) 구성 요소로 나눈다.

주요 결과

탐지 공정성

• 보정 vs 탐지 실패: 몇몇 기법(예: Unigram-Gemma, XSIR-Qwen)은 글로벌 임계값 하에서 탐지 실패(TPR $\approx$ 0)를 보이는 것처럼 나타났다. 그러나 AUC 동반 지표는 높은 분리도(AUC > 0.9)를 보여, 이것이 보정 실패임을 드러냈다. 즉, 글로벌 임계값이 미포함 점수의 지지(support)보다 높게 설정되었던 것이다. 언어별 재보정을 통해 유의미한 탐지 성능을 회복했다.
• 인스트럭션 튜닝 붕괴: 대부분의 기법에서 인스트럭션 튜닝 레짐에서 탐지 성능이 크게 하락했다. AUC는 높게 유지되었으나 참 양성률(TPR)이 붕괴되었는데, 이는 워터마크 신호가 삭제된 것이 아니라 압축되었음을 시사한다. 이는 근본적인 신호 손실보다는 보정의 문제임을 나타낸다.
• 구조적 불균형: 탐지에서의 교차 언어적 불균형은 주로 가족 간(between-family) 변이(중앙값 > 90%)에 의해 결정된다. 이는 공정성 격차가 개별 언어의 특이적인 문제가 아니라 언어적 속성(유형론)에 따른 구조적 문제임을 의미한다.

품질 공정성

• '왜곡 없는' 기법들의 실질적 왜곡: 역설적이게도, "왜곡 없는" 기법들(SynthID, EXPEdit)은 모든 품질 패러다임의 베이스 레짐에서 가장 높은 왜곡을 보였다. 이들은 MAUVE 보존 및 PPL 점수에서 가장 낮은 수치를 기록했으며, 종종 일반적인 로짓 바이어스 기법보다 한 자릿수 더 나쁜 결과를 보였다.
• 패러다임 간 순위 역전: 품질 패러다임에 따라 기법의 순위가 크게 달라졌다. Green-list 기법의 경우, PPL과 임베딩 기반 지표(MAUVE/BERTScore)가 언어별로 서로 상반된 순위를 생성하는 경우가 많았으며, 이는 국소적 유창성(PPL이 포착)과 분포적 변화(MAUVE가 포착)가 분리되어 있음을 시사한다.
• 품질의 구조적 불균형: 탐지와 마찬가지로, 품질 불균형 역시 가족 간 변이에 의해 지배된다(중앙값 > 85%). 이는 공정성 격차가 유형론적 가족과 결부되어 있음을 재확인시킨다.

탐지-품질 결합

탐지와 품질의 결합된 지형은 특정 기법이 한 축에서는 "공정"할 수 있지만 다른 축에서는 불공정할 수 있음을 보여준다. 예를 들어, 어떤 기법은 탐지는 잘 되지만 품질 보존은 나쁘거나, 그 반대의 경우가 존재한다. 이러한 결합된 불공정성의 토폴로지는 베이스 및 인스트럭션 튜닝 레짐 사이에서 변화한다.

의의 및 주장

본 논문은 LLM 텍스트 워터마킹의 교차 언어적 공정성을 조사한 최초의 체계적인 감사라고 주장한다. 주요 기여는 다음과 같다:

1. 방법론적: 경험적 보정, 임계값 독립적 진단, 유형론적 분해를 활용하여 다국어 공정성을 측정의 일차적 대상으로 취급하는 프레임워크를 제시한다.
2. 경험적: 단일 언어, 단일 패러다임 평가에서는 보이지 않는 실패 모드들을 식별한다:
   • 탐지 실패로 오독될 수 있는 보정 실패.
   • "왜곡 없는" 기법들이 실제로 가장 많은 왜곡을 일으킨다는 경험적 사실.
   • 가족 간 불균형의 지배력, 이는 공정성 격차가 개별 언어를 위한 데이터 확충만으로는 해결될 수 없는 유형론적 속성(예: 토크나이저 상호작용, 형태론)에 기인함을 시사한다.

저자들은 이러한 구조적 격차가 개별 언어의 문제가 아니라 가족 수준에서 작동하는 설계 선택(예: 토크나이저 구축 또는 파티션 설계)과 관련이 있다고 결론짓는다. 본 연구는 현재의 영어 중심적 평가가 글로벌 배포에는 불충분함을 강조하며, LLM 워터마킹의 공정성을 향한 추가 연구를 촉구한다.