기술 요약: Camellia – 아시아 언어를 위한 대규모 언어 모델의 문화적 편향 벤치마킹

문제 제기

대규모 언어 모델 (LLM) 이 글로벌 기술에 통합됨에 따라, 이름, 장소, 음식과 같이 문화적으로 다양한 엔티티를 편향 없이 처리하는 능력은 매우 중요합니다. Naous 등 (2024) 의 선행 연구는 LLM 이 아랍어 관련 엔티티보다 서구와 연관된 엔티티를 선호함을 입증했습니다. 그러나 엔티티 중심의 다국어 벤치마크가 부족하기 때문에 이러한 편향이 다른 비서구 언어에서도 나타나는지는 여전히 불분명합니다. 본 논문은 LLM 이 특정 아시아 문화에 고유한 엔티티와 서구 문화와 연관된 엔티티를 어떻게 구분하는지, 그리고 이러한 편향이 감정 분석 및 정보 추출과 같은 작업에서 모델 성능에 어떤 영향을 미치는지 평가하는 데 있어 존재하는 간극을 규명합니다.

방법론

저자들은 Camellia(아시아 언어용 LLM 을 위한 문화적 적절성 측정 세트) 를 도입했습니다. 이는 중국어, 일본어, 한국어, 베트남어, 우르두어, 힌디어, 말라얄람어, 마라티어, 구자라트어 등 6 개의 서로 다른 문화를 대표하는 9 개 아시아 언어에 걸친 엔티티 중심 문화적 편향을 평가하도록 설계된 벤치마크입니다.

데이터 구축

Camellia 의 구축은 원어민들과의 1 년 간의 협업을 통해 이루어졌으며, 두 가지 주요 구성 요소로 이루어졌습니다:

1. 문화적 엔티티 (총 19,530 개):

   • 아시아 중심 엔티티 (15,821 개): 6 개 아시아 문화에 특화된 수동 주석 엔티티로, 저자, 요리, 음료, 이름 (남성 및 여성), 장소, 스포츠 클럽 등 6 가지 유형으로 분류됩니다.
   • 서구 중심 엔티티 (3,709 개): 북미 및 유럽과 연관된 병렬 엔티티로, 모든 9 개 언어에 걸쳐 번역 및 적용되어 비교 가능성을 확보했습니다.
   • 출처: 엔티티는 Wikidata 와 mC4 웹 크롤링 코퍼스에서 추출되었으며, 문화적 관련성을 검증하기 위해 원어민에 의한 수동 필터링 및 주석이 수행되었습니다.

2. 마스크된 문맥 (총 2,173 개):

   • X/Twitter, 위보 (Weibo), 샤오홍슈 (Xiaohongshu) 와 같은 자연스러운 소셜 미디어 토론에서 파생되었습니다.
   • 세 가지 유형으로 분류됩니다:
     • Camellia-Grounded: 특정 아시아 문화의 엔티티만이 적절한 문맥 (예: "The [MASK] dish is famous in Korea").
     • Camellia-Neutral: 어떤 문화의 엔티티든 적절한 문맥 (예: "I am eating [MASK] today").
     • Camellia-QA: 추출형 질문 답변을 위해 암시적 엔티티 식별이 필요한 문단 길이의 문맥.
   • 각 문맥에는 감정 레이블 (긍정, 부정, 중립) 과 영어 번역이 포함되어 있습니다.

평가 프레임워크

이 벤치마크는 다음 세 가지 작업에 걸쳐 4 개의 최신 다국어 LLM 계열 (Llama3.3-70b, Qwen2.5-72b, Aya-expanse-32b, Gemma3-27b) 을 평가합니다:

1. 문화적 문맥 적응: 문화적으로 근거된 문맥에서 모델이 아시아 엔티티보다 서구 엔티티에 더 높은 확률을 부여하는 비율을 계산하는 **문화적 편향 점수 (CBS)**를 측정합니다.
2. 감정 연관: 문장에서 아시아 엔티티와 서구 엔티티를 교체할 때 모델의 예측 감정이 어떻게 변하는지 분석하여 (거짓 부정/긍정률 측정) 연관성을 평가합니다.
3. 엔티티 추출형 QA: 긴 문맥에서 엔티티를 추출하는 정확도를 평가하며, 아시아 엔티티와 서구 엔티티 간의 성능을 비교합니다.

주요 결과

1. 문화적 적응의 어려움

모델들은 문화적으로 근거된 문맥에서 아시아 엔티티와 서구 엔티티를 구분하는 데 자주 실패합니다.

• 높은 CBS: 대부분의 언어와 모델에서 문화적 편향 점수 (CBS) 는 30% 에서 40% 사이였습니다. 이는 명시적으로 아시아 엔티티가 필요한 문맥에서도 모델이 상당 부분 서구 엔티티를 선호함을 나타냅니다.
• 민감성 부족: 문화적으로 중립적인 문맥에서 성능이 크게 향상되지 않아, 모델이 문화적 근거 단서에 대한 민감성이 부족함을 시사합니다.
• 모델 편차: 성능은 모델의 기원에 따라 달라졌습니다. 예를 들어, Qwen2.5-72b(알리바바 개발) 는 다른 모델에 비해 중국어, 일본어, 한국어 작업에서 훨씬 더 좋은 성능을 보였는데, 이는 더 나은 사전 학습 데이터 커버리지 때문일 가능성이 높습니다.

2. 상이한 감정 연관

서로 다른 모델 계열은 문화를 감정에 연결하는 방식에서 뚜렷한 편향을 보였습니다:

• Llama 와 Gemma는 서구 엔티티를 부정적 감정과 더 자주 연관시키는 경향이 있었습니다.
• Qwen은 특히 인도 언어에서 아시아 엔티티를 긍정적 감정과 연관시키는 경우가 많았습니다.
• 이러한 발견은 서로 다른 지역에서 개발된 모델이 상충되는 문화적 편향을 인코딩할 수 있으며, 이는 하류 작업의 공정성에 영향을 미칠 수 있음을 시사합니다.

3. 엔티티 추출에서의 성능 격차

• 아시아 언어: 추출형 QA 작업에서 모델들은 일반적으로 서구 엔티티에 비해 해당 아시아 문화와 연관된 엔티티를 추출할 때 더 높은 정확도를 달성했습니다. 그러나 베트남어, 우르두어, 다양한 인도 언어 등 여러 언어에서 유의미한 정확도 격차 (10~20%) 가 관찰되어, 비영어 환경에서 암시적 문화적 문맥을 파악하는 데 어려움을 겪고 있음을 나타냅니다.
• 영어 기준: 병렬 영어 번역으로 테스트했을 때 이러한 문화적 격차는 대부분 사라졌습니다 (대부분 1~5%). 이는 편향이 비영어 문화적 문맥 처리에 특이적임을 확인시켜 줍니다.

4. 토큰화 상관관계

모델 토크나이저에 대한 분석은 토크나이저 어휘의 스크립트 커버리지와 모델 성능 사이에 상관관계가 있음을 드러냈습니다. 특정 언어의 스크립트 커버리지가 높은 모델 (예: CJK 스크립트에 대한 Qwen, 인도계 스크립트에 대한 Llama) 은 일반적으로 더 낮은 문화적 편향 점수를 보였으며, 이는 사전 학습 데이터 표현이 편향을 완화하는 핵심 요소임을 시사합니다.

중요성과 주장

본 논문은 Camellia가 9 개 아시아 언어의 문화적 편향을 측정하는 최초의 포괄적이고 엔티티 중심의 벤치마크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 체계적 편향 드러내기: 현재 다국어 LLM 이 비서구 문화적 문맥에 적응하는 데 어려움을 겪으며, 부적절할 때조차 서구 연관성을 기본으로 삼는다는 것을 입증합니다.
• 지역적 격차 강조: 모델 성능과 편향 프로파일이 개발 지역과 사전 학습 데이터 구성에 크게 영향을 받음을 보여줍니다.
• 자원 제공: 더 공정하고 효율적인 다국어 LLM 개발을 위한 향후 연구를 지원하기 위해 19,530 개의 엔티티와 2,173 개의 마스크된 문맥으로 구성된 수동 큐레이션 데이터셋을 제공합니다.

저자들은 LLM 이 점점 더 다국어가 되고 있지만, 특정 문화 영역에서 편향된 의사 결정과 낮은 성능으로 이어질 수 있는 문화적 연관성에 여전히 민감하다고 결론지었습니다. 이 벤치마크는 이러한 격차를 측정하고 더 공정한 모델 개발을 안내하는 도구 역할을 합니다.