When AI Writes, Whose Voice Remains? Quantifying Cultural Marker Erasure Across World English Varieties in Large Language Models

논문 개요

이 연구는 대규모 언어 모델 (LLM) 이 비영어권 사용자의 언어적 정체성을 가진 텍스트를 '전문성 (Professionalism)'을 높인다는 명목으로 처리할 때, 의미는 유지되지만 문화적 표지 (Cultural Markers) 가 체계적으로 삭제되는 현상을 **'문화적 유령화 (Cultural Ghosting)'**라고 정의하고 이를 정량화합니다. 특히 인도, 싱가포르, 나이지리아 영어 (World Englishes) 와 같은 다양한 영어 변이형에서 발생하는 언어적 정체성 소멸 문제를 다룹니다.

1. 문제 정의 (Problem Statement)

• 문화적 유령화 (Cultural Ghosting): LLM 기반 작성 보조 도구가 사용자의 요청 (예: "이 문장을 더 전문적으로 만들어줘") 을 처리할 때, 의미는 보존되지만 해당 문화권에 고유한 어휘, 화용론적 관습, 문법적 구조를 제거하고 서구 중심의 표준 영어로 평탄화 (Flattening) 하는 현상.
• 본질적 모순: 사용자는 명확성과 전문성을 원하지만, 그 과정에서 사회적 관계, 계층적 존중, 공동체적 유대감을 나타내는 문화적 표지들이 '오류'나 '비표준'으로 간주되어 삭제됨.
• 연구 질문:
  1. LLM 은 문화적 표지를 어느 정도까지 삭제하며, 모델 간 편차는 어떻게 되는가?
  2. 어떤 유형의 표지 (어휘, 화용론, 구문) 가 가장 취약한가?
  3. 명시적인 문화 보존 프롬프트가 의미의 질을 해치지 않고 삭제를 줄일 수 있는가?

2. 방법론 (Methodology)

• 데이터셋 구성:
  • 원본 텍스트: 1,490 개의 텍스트 (인도 영어 601, 싱가포르 영어 261, 나이지리아 영어 89, 미국 영어 기준 539). 이메일, SNS, 뉴스 기사 등 다양한 레지스터 포함.
  • 문화적 표지 (Markers): 사회언어학 문헌에 기반한 108 개의 고유 표지 (어휘 52, 화용론 32, 나이지리아 24 등) 를 포함하는 텍스트를 선별. 총 624 개의 표지 인스턴스 분석.
• 모델 및 프롬프트:
  • 모델: Mistral-7B, Apertus-8B, DeepHat-7B, MiMo-7B, Qwen3-8B 등 5 개의 오픈소스 지시 튜닝 LLM.
  • 프롬프트 조건:
    1. Baseline: "이 텍스트를 더 전문적이고 문법적으로 올바르게 만들어줘."
    2. Neutral: "이 텍스트의 명확성과 문법을 개선해줘."
    3. Preservation: "문화적 목소리와 지역적 표현을 보존하면서 명확성과 문법을 개선해줘."
  • 총 22,350 개의 생성 결과 (1,490 텍스트 × 5 모델 × 3 프롬프트) 생성.
• 평가 지표:
  • 정체성 삭제율 (Identity Erasure Rate, IER): 원본에 있던 문화적 표지 중 LLM 출력에서 삭제된 비율. (0: 완전 보존, 1: 완전 삭제)
  • 의미 보존 점수 (Semantic Preservation Score, SPS): 원본과 출력 텍스트의 임베딩 코사인 유사도. 의미 유지 정도를 측정.

3. 주요 결과 (Key Results)

• 의미 보존의 역설 (Semantic Preservation Paradox):
  • LLM 은 평균 SPS 0.748 (높은 의미 유사도) 을 유지하면서도 평균 **IER 10.26%**의 문화적 표지를 삭제함.
  • 의미 전달은 잘 되지만, '어떻게 말했는지 (How it is said)'에 담긴 문화적 정체성은 사라짐.
• 모델 간 편차:
  • 삭제율은 모델에 따라 **3.5% (Qwen3-8B) 에서 20.5% (Mistral-7B)**까지 5.9 배 차이 발생.
  • 모델의 파라미터 크기보다는 학습 데이터 구성 및 RLHF(강화학습 인간 피드백) 정렬 전략이 삭제 행동을 결정하는 핵심 요인임.
• 표지 유형별 취약성:
  • 화용론적 표지 (Pragmatic Markers): 존칭, 정중함 표현 ("Kindly", "Respected Sir") 등 사회적 관계를 관리하는 표지가 **71.5%**로 가장 높은 삭제율 보임.
  • 어휘적 표지 (Lexical Markers): "Do the needful"과 같은 고유 어휘는 37.1% 삭제율.
  • 결론: 화용론적 표지는 어휘적 표지보다 1.9 배 더 취약하며, 이는 서구 중심의 직접적 표현 norm 으로의 표준화 경향을 반영함.
• 프롬프트의 효과:
  • '문화 보존 (Preservation)' 프롬프트 사용 시, IER 가 29% 감소함.
  • 중요한 점은 SPS(의미 품질) 는 오히려 소폭 향상되어, '정체성 vs 명확성'의 트레이드오프는 존재하지 않음을 증명함.
• 알고리즘적 완화:
  • 마커 인식 제약 디코딩 (Marker-aware constrained decoding) 적용 시 IER 를 **47%**까지 감소시켰으며, 의미 품질은 유지됨.

4. 주요 기여 (Key Contributions)

1. 개념 정립: '문화적 유령화'와 '의미 보존의 역설'을 체계적으로 정의하고 이론화함.
2. 새로운 메트릭 개발: 대규모 규모에서 문화적 표지 삭제를 정량화하는 IER와 SPS 지표를 도입하고 검증함.
3. 실증적 발견: 화용론적 표지가 가장 취약하며, 단순 프롬프트 엔지니어링과 알고리즘적 제약을 통해 삭제율을 크게 낮출 수 있음을 입증함.
4. 해결 방안 제시: 개발자를 위한 구체적인 가이드라인 (기본값을 보존으로 설정, 투명성 확보, 다양성 인식 등) 과 기술적 완화 전략을 제안함.

5. 의의 및 시사점 (Significance)

• HCI 및 AI 윤리: AI 작성 보조 도구가 단순한 문법 교정을 넘어 사용자의 문화적 정체성을 지우는 '문화적 표준화 엔진'으로 작동할 수 있음을 경고함.
• 디자인 선택의 문제: 문화적 유령화는 피할 수 없는 기술적 한계가 아니라, 디자인과 정렬 (Alignment) 의 선택임을 강조함.
• 실용적 적용: 명시적인 프롬프트나 제약 디코딩과 같은 간단한 개입만으로도 문화적 다양성을 보존하면서 텍스트의 품질을 유지할 수 있음을 보여줌. 이는 글로벌 사용자 기반을 가진 AI 서비스의 포용성 (Inclusivity) 을 높이는 데 중요한 기초를 제공함.

이 연구는 LLM 이 다양한 세계 영어 (World Englishes) 사용자의 목소리를 어떻게 처리해야 하는지에 대한 중요한 통찰을 제공하며, 향후 AI 시스템이 문화적 다양성을 존중하는 방향으로 정렬되어야 함을 강력히 주장합니다.