BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 다국어 유창성 (multilingual fluency) 에서 괄목할 만한 성과를 보였으나, 유창함만으로는 사회적 상호작용에서 적절한 언어 사용을 보장하지 못합니다. 특히 고맥락 (high-context) 언어인 벵골어 (Bangla) 에서는 문법적 정확성보다 사회적 위계, 관계적 역할, 상호작용 규범이 언어 사용에 직접적으로 부호화되어 있습니다.

• 핵심 문제: 벵골어는 3 단계의 2 인칭 대명사 체계 (apni-공식적, tumi-중립적/친밀, tui-매우 친밀/하대) 와 종교 및 혈통에 따라 세분화된 친족 호칭 체계를 갖추고 있습니다. 기존 LLM 평가는 사실적 회상 (factual recall) 이나 번역된 프롬프트에 의존하여, 이러한 사회화용적 (sociopragmatic) 맥락을 추론하는 능력을 제대로 측정하지 못했습니다.
• 결과: 모델들이 문법적으로 정확하지만 사회적으로 부적절하거나 무례한 응답을 생성하는 '문화적 정렬 실패 (cultural misalignment)'가 발생하고 있습니다.

2. 방법론 (Methodology)

A. 벤치마크: BANGLASOCIALBENCH

저자들은 벵골어 사회화용적 능력을 평가하기 위해 BANGLASOCIALBENCH를 개발했습니다. 이는 1,719 개의 인간 작성 및 검증된 사례로 구성되며, 다음과 같은 3 가지 도메인을 다룹니다.

1. 벵골어 호칭어 (Bangla Address Terms):
   • 대명사 (Pronominal): 상황 (가정, 직장, 병원 등), 참여자 간 나이/성별 관계, 화법 톤 (Key), 대화 목적 (End) 에 따라 apni, tumi, tui 중 적절한 것을 선택하는 과제.
   • 명사 호칭 (Nominal): 친족 관계 (혈통 기반) 및 사회적 호칭 (종교적 배경 포함) 을 상황에 맞게 선택하는 과제.
2. 벵골어 친족 추론 (Kinship Reasoning):
   • 벵골어 특유의 복잡한 친족 관계 (부계/모계 구분, 세대 차이 등) 를 기반으로 다단계 추론 (multi-hop reasoning) 을 수행하는 과제. (예: "A 의 어머니는 B 의 이모이고, B 는 C 의 아들일 때, A 와 C 의 관계는?")
3. 벵골어 사회적 관습 (Social Customs):
   • 요청, 거절, 칭찬, 환대 등 14 가지 문화적 스크립트 (Cultural Scripts) 를 기반으로, 벵골 문화에서 가장 적절한 행동이나 응답을 선택하는 과제.

• 데이터 구축: 6 명의 벵골어 원어민 어노테이터가 Hymes 의 SPEAKING 모델을 기반으로 시나리오를 작성하고, 2 단계의 어노테이션 및 조정 (Adjudication) 과정을 거쳐 데이터의 문화적 타당성을 확보했습니다.
• 평가 프로토콜: 12 개의 최신 LLM 을 대상으로 Zero-shot 설정에서 평가했습니다. 모든 프롬프트는 벵골어로 작성되었으며, 모델의 문화적 적합성을 측정하기 위해 정답과 일치하는지 정확도 (Accuracy) 를 계산했습니다.

B. 평가 모델

• 폐쇄형 (Closed-source): GPT-4o, GPT-4o-mini, Gemini 2.0/2.5 Flash, Claude Haiku 3.5, Claude Sonnet 4 등.
• 오픈 가중치 (Open-weight): LLaMA 3 (8B, 70B), Gemma 3 (12B, 27B), Qwen 2.5, DeepSeek V3.1 등.

3. 주요 기여 (Key Contributions)

1. 최초의 벵골어 사회화용적 벤치마크: 사실적 지식 회상이 아닌, **맥락 의존적 사회 행동 (situated social behavior)**을 평가하는 최초의 벤치마크를 제시했습니다.
2. 체계적인 문화적 정렬 실패 발견: LLM 의 문화적 오류가 무작위가 아니라 **시스템적 (systematic)**임을 규명했습니다. 특히 나이 차이 (상대적 위계) 와 상황 (공식적/비공식적) 에 따라 오류가 집중되는 패턴을 발견했습니다.
3. 종교적 정체성 혼란 및 과잉 공손성: 모델들이 종교적 맥락 (이슬람 vs 힌두교) 을 혼동하여 친족 호칭을 잘못 사용하거나, 맥락과 무관하게 과도하게 공손한 형태 (apni) 를 선호하는 경향을 발견했습니다.

4. 실험 결과 (Results)

• 성능 편차: 모델의 규모가 커질수록 성능이 향상되지만, 도메인별 편차가 큽니다.
  • **친족 추론 (Kinship Reasoning)**이 가장 어려운 영역으로, 최상위 모델 (Gemini 2.5 Flash) 도 92.46% 를 기록했으나, 작은 모델 (LLaMA 3 8B) 은 31.88% 에 그쳤습니다.
  • **호칭어 (Address Terms)**와 **사회적 관습 (Social Customs)**에서도 모델 간 격차가 존재했습니다.
• 과잉 공손성 (Over-politeness): 대부분의 모델이 tumi 나 tui 가 필요한 친밀한 상황에서도 apni(공식적 존칭) 를 과도하게 사용하는 경향을 보였습니다. 이는 훈련 데이터의 편향 (Formal register 우세) 과 안전성 (Safety) 을 위한 보수적 전략 때문으로 분석됩니다.
• 종교적 혼란 (Cross-Religious Misalignment):
  • 12 개 모델 중 11 개 모델이 통계적으로 유의미한 비대칭성을 보였습니다.
  • 특히 힌두교 맥락에서 이슬람교 친족 호칭을 사용하는 오류가 빈번하게 발생했습니다. (예: 힌두교 이름이 나오는데도 이슬람식 호칭 사용)
• 확률 분포의 경직성: 모호한 상황 (두 가지 이상의 정답이 가능한 경우) 에서도 모델은 하나의 답변에 거의 100% 의 확률 질량 (Probability Mass) 을 할당하여, 인간 어노테이터가 인정하는 문화적 변이 (variation) 를 반영하지 못했습니다.

5. 의의 및 결론 (Significance)

• 문화적 역량 평가의 패러다임 전환: LLM 평가가 단순한 언어 유창성이나 사실적 지식에서 벗어나, **실제 사회적 상호작용에서의 적절성 (Communicative Competence)**을 평가해야 함을 강조합니다.
• 고맥락 언어의 도전: 벵골어와 같은 고맥락 언어는 LLM 이 단순한 통계적 패턴 매칭을 넘어, 사회적 위계와 관계적 맥락을 추론할 수 있어야 함을 보여줍니다.
• 향후 방향: 현재 LLM 들은 문화적 맥락에 따른 유연한 언어 선택이 부족하며, 이를 해결하기 위해서는 **문화적으로 정렬된 데이터 선별 (curated data curation)**과 **사회적 규범에 기반한 미세 조정 (culturally grounded fine-tuning)**이 필수적입니다.

이 연구는 다국어 LLM 이 글로벌 사용자에게 진정으로 유용하고 존중받는 도구가 되기 위해서는 **언어적 정확성 이상으로 문화적 정렬 (Cultural Alignment)**이 필수적임을 입증했습니다.