Common to Whom? Regional Cultural Commonsense and LLM Bias in India

1. 연구 배경 및 문제 제기 (Problem)

• 기존 벤치마크의 한계: 현재 존재하는 문화적 상식 (Cultural Commonsense) 벤치마크는 국가를 단일한 문화적 실체 (Monolithic entity) 로 간주합니다. 즉, 한 국가 내의 모든 시민이 동일한 관행과 규범을 공유한다고 가정합니다.
• 문화적 이질성의 간과: 특히 인도와 같이 28 개 주, 8 개 연방 직할구, 22 개 공식 언어를 가진 다문화 국가는 국가 내에서도 지역별 문화적 상식이 크게 다릅니다.
• LLM 의 편향: 기존 연구들은 이러한 하위 국가적 (Sub-national) 다양성을 무시하고, 훈련 데이터의 편향으로 인해 특정 지역 (주로 북부/중부 인도) 의 문화를 '인도의 표준'으로 과대 대표하는 경향이 있습니다.
• 핵심 질문: "인도 내 문화적 상식이 국가 전체에 걸쳐 균일한가, 아니면 지역에 따라 달라지는가?" 그리고 "LLM 은 이러한 지역적 차이를 포착할 수 있는가?"

2. 방법론 (Methodology)

이 연구는 INDICA (INDian Cultural commonsense Inventory with Cross-regional Answers) 라는 새로운 벤치마크를 제안하고, 이를 통해 LLM 을 평가합니다.

2.1 INDICA 데이터셋 구축

• 질문 생성 (Question Creation):
  • 인류학적 분류 체계인 OCM (Outline of Cultural Materials) 을 기반으로 8 개의 일상 생활 도메인 (대인 관계, 교육, 의복, 음식, 소통, 금융, 축제/의식, 교통) 과 18 개의 하위 범주를 선정했습니다.
  • 39 개의 주제를 통해 515 개의 고유한 질문을 생성했습니다.
• 데이터 수집 (Response Collection):
  • 인도의 5 개 주요 지역 (북부, 남부, 동부, 서부, 중부) 에서 각 지역별 5 명씩 총 25 명의 참가자를 모집했습니다.
  • 참가자는 평생의 50% 이상을 해당 지역에서 거주한 사람으로 선정되었으며, 모든 615 개 질문에 답변하여 총 15,275 개의 응답을 수집했습니다.
• 골드 스탠다드 설정 (Gold Standard Establishment):
  • 지역 내 합의 (Intra-Region): 한 지역 내에서 5 명 중 4 명 이상이 동일한 개념으로 답변할 때 '골드 답변'으로 확정.
  • 지역 간 합의 (Inter-Region) 및 보편적 합의 (Universal Agreement): 5 개 지역 전체가 동일한 문화적 관행을 공유하는지 분석.
  • 최종적으로 515 개 질문 중 1,630 개의 지역별 질문 - 답변 쌍 (Q-A pairs) 을 확보했습니다.

2.2 평가 태스크

1. RASA (Region-Anchored Short Answer):
   • 모델에게 특정 지역 (예: "남부 인도에서...") 을 명시한 후 개방형으로 답변을 생성하게 하여, 지역별 문화적 지식을 정확히 생성할 수 있는지 평가합니다.
   • LLM Judge(Gemini 3.0 Flash) 를 사용하여 정답 (Gold Answer) 과의 일치도를 점수화합니다.
2. RA-MCQ (Region-Agnostic Multiple Choice Questions):
   • 지역 정보를 제거한 상태에서 여러 지역의 답변을 보기 (Option) 로 제시합니다.
   • 모델이 어떤 지역의 답변을 '기본값 (Default)'으로 선택하는지 분석하여 암묵적인 지리적 편향 (Geographic Bias) 을 측정합니다.

3. 주요 기여 (Key Contributions)

1. INDICA 벤치마크 출시: 국가 내 문화적 다양성을 평가하는 최초의 벤치마크로, 5 개 지역, 8 개 도메인, 1,630 개의 지역별 Q-A 쌍을 포함합니다.
2. 문화적 상식의 지역성 입증: 인도의 문화적 상식이 국가 전체에 균일하지 않으며, 지역적 (Regional) 이라는 것을 실증적으로 증명했습니다.
3. 일반화 가능한 프레임워크: OCM 기반 질문 설계, 지역별 데이터 수집, 편향 측정 프로토콜을 제시하여 중국, 브라질, 나이지리아 등 다른 다문화 국가에도 적용 가능한 방법론을 제공합니다.
4. LLM 편향 분석: 현재 최첨단 LLM 들이 인도 문화의 다양성을 이해하지 못하고, 특정 지역 (북부/중부) 을 과도하게 대표한다는 사실을 규명했습니다.

4. 실험 결과 (Results)

4.1 문화적 상식의 지역적 차이

• 합의율: 515 개 질문 중 39.4% 만이 5 개 지역 모두에서 합의 (Unanimous Agreement) 를 보였습니다.
• 도메인별 차이: 교통/수송 (22.6%) 은 높은 합의를 보였으나, 축제/의식 (1.8%) 과 음식 처리 (6.0%) 는 지역별 차이가 극심했습니다. 이는 문화적 관습이 국가적 표준화보다는 지역 전통에 더 강하게 의존함을 보여줍니다.

4.2 LLM 성능 및 편향

• 정확도 부족: 8 개의 최첨단 LLM(GPT-5.2, Claude, Gemini 등) 을 평가한 결과, 지역별 질문에 대한 정확한 답변 생성률은 13.4% ~ 20.9% 에 불과했습니다.
  • 대부분의 답변은 핵심 개념은 포함하지만 세부 사항이 누락되거나 불필요한 정보를 추가하는 '부분적 정답 (Partially Correct)' 수준이었습니다.
  • 모델은 구체적인 지역 지식이 부족하고, 일반적인 문화적 템플릿을 기반으로 과도하게 설명 (Over-explaining) 하는 경향이 있었습니다.
• 지리적 편향 (Geographic Bias):
  • 지역 정보가 없는 RA-MCQ 테스트에서 모든 모델은 중부 (Central) 와 북부 (North) 인도의 답변을 '인도의 표준'으로 과도하게 선택했습니다.
  • 선택 비율: 중부 인도 (기대치 대비 1.37 배, 약 27%), 북부 인도 (기대치 대비 1.21 배, 약 21%) 는 과대표현되었고, 서부 (0.73 배) 와 동부 (0.82 배) 인도는 과소대표되었습니다.
  • 원인: 훈련 데이터에서 힌디어 (북부/중부 중심) 가 우세하고, 토크나이저의 편향, 그리고 볼리우드 미디어의 영향으로 인해 특정 지역 문화가 '인도'의 대표로 학습되었기 때문입니다.

5. 의의 및 결론 (Significance)

• 문화적 다양성의 중요성 강조: "문화적 상식은 국가적 (National) 이 아니라 지역적 (Regional) 이다"는 명제를 입증했습니다. AI 가 다양한 문화를 이해하려면 국가 단위가 아닌 더 세분화된 지역 단위의 모델링이 필요합니다.
• 편향의 위험성: 현재 LLM 들은 문화적 다양성을 무시하고 특정 지역 (북부/중부 인도) 을 표준으로 삼아, 다른 지역의 문화를 왜곡하거나 배제할 수 있음을 경고합니다.
• 미래 연구 방향: 본 연구는 인도에 국한되지 않으며, 중국, 인도네시아, 나이지리아 등 하위 국가적 문화적 이질성이 있는 모든 국가에 적용 가능한 평가 프레임워크를 제시합니다. 향후 연구에서는 종교, 계급, 성별, 도시/농촌 등 인구통계학적 변수를 포함한 더 세분화된 분석이 필요함을 제안합니다.

요약: 이 논문은 LLM 이 인도의 복잡한 문화적 다양성을 제대로 이해하지 못하며, 훈련 데이터의 편향으로 인해 특정 지역 문화를 '인도' 전체로 잘못 일반화하고 있음을 실증적으로 증명했습니다. 이를 해결하기 위해 지역별 문화적 상식을 평가할 수 있는 새로운 벤치마크 (INDICA) 와 방법론을 제시했습니다.