1. 연구 배경 및 문제 정의 (Problem)

• 현황: 최근 페르시아어 NLP 벤치마크는 실용성 (pragmatics) 과 예의 (politeness) 영역으로 확장되고 있으나, 대부분 기억된 문화적 사실 (memorized cultural facts) 과 암묵적 사회적 규범에 대한 추론 능력 (reasoning about implicit social norms) 을 구분하지 못합니다.
• 핵심 문제: 페르시아 문화는 타아로프 (Taarof, 과도한 예의), 주술, 금기, 의식 등 맥락에 따라 의미가 달라지는 복잡한 문화적 스키마 (schemas) 로 구성되어 있습니다. 현재 대규모 언어 모델 (LLM) 은 이러한 문화적 사실을 텍스트에서 검색할 수는 있지만, 실제 상황 (Scenario) 에서 그 논리를 적용하거나 문화적 위반을 식별하는 데 실패합니다.
• 가정: 단순히 페르시아어 데이터 양을 늘리는 것 (Scaling) 이나 단일 언어 사전 학습 (Monolingual Pretraining) 을 통해 모델이 문화적 역량을 갖추게 된다는 가정이 검증되지 않았습니다.

2. 제안된 방법론: DIVANBENCH (Methodology)

저자들은 페르시아어 LLM 의 문화적 추론 능력을 진단하기 위해 DIVANBENCH라는 새로운 벤치마크를 제안했습니다.

• 데이터 구성:
  • 범위: 81 개의 문화적 개념 (주술, 관습, 사회적 예절 등) 을 포함하는 315 개의 질문.
  • 세 가지 태스크 유형:
    1. 사실적 객관식 (Factual MCQ): 문화적 사실 지식의 정확성을 측정 (100 문항).
    2. 이진 신념 검증 (Binary Belief Verification): 81 개의 개념에 대해 '적절한 상황 (Positive)'과 '문화적 위반 상황 (Negative)'을 짝지어 제시. 모델이 적절한 행위는 인식하되, 위반 행위를 거절하는지 (Discernment) 를 측정하여 동의 편향 (Acquiescence Bias) 을 정량화.
    3. 상황 기반 객관식 (Scenario-Based MCQ): 복잡한 사회적 맥락에서 문화적 논리를 적용하여 추론하는 능력 평가 (53 문항).
• 실험 설계:
  • 모델 선정: 7~12B 파라미터 규모의 7 개 최첨단 페르시아어 LLM (Aya, Dorna2, Gemma, Llama3.1, Qwen 등) 평가.
  • 비교 분석:
    • 편향 측정: 긍정/부정 시나리오 간 정확도 차이 ($B = Acc_{pos} - Acc_{neg}$).
    • 사전 학습 효과: 기본 모델 (Llama3.1-8B) 과 페르시아어 특화 사전 학습 모델 (Dorna2-8B) 비교를 통해 단일 언어 적응의 영향을 격리.
    • 지식 전이: 사실적 지식과 상황적 추론 간의 성능 격차 ($G = Acc_{factual} - Acc_{scenario}$) 분석.

3. 주요 기여 (Key Contributions)

1. DIVANBENCH 벤치마크 공개: 페르시아 문화의 주술, 관습, 금기 등을 포괄하며, 단순 키워드 매칭과 진정한 문화적 이해를 구분하는 진단 도구 제공.
2. 동의 편향 (Acquiescence Bias) 의 발견: 대부분의 모델이 문화적으로 적절한 행위는 인식하지만, 명백한 문화적 위반을 거절하지 못하는 심각한 비대칭적 추론 오류를 보임.
3. 페르시아어 사전 학습의 역설 (Paradox): 페르시아어 특화 사전 학습이 유창성 (Fluency) 은 높였으나, 오히려 비판적 추론 능력을 저하시켰음을 증명.
4. 사실 - 개념 간극 (Factual-Conceptual Gap) 규명: 모델이 문화적 사실을 기억하는 것과 이를 상황에 적용하는 것은 서로 다른 인지 메커니즘임을 실증.

4. 주요 결과 (Key Results)

7 개 모델에 대한 평가 결과는 다음과 같은 4 가지 핵심 발견을 도출했습니다.

• 1. 동의의 함정 (The Acquiescence Trap):

  • 7 개 모델 중 6 개가 심각한 동의 편향을 보임.
  • 적절한 행위를 식별하는 정확도는 8492% 이지만, 문화적 위반을 거절하는 정확도는 1948% 에 불과함.
  • 예: Qwen2-7B 는 84% 는 맞췄으나 위반 상황에서는 19% 만 거절함 (편향 +65%). 이는 모델이 문화적 키워드와 긍정적 맥락의 패턴만 매칭하고 있음을 시사.
  • 유일하게 Llama3.1-8B 만은 회의적 태도 (거절 정확도 73%) 를 보임.

• 2. 페르시아어 사전 학습의 역설 (The Persian Pretraining Paradox):

  • 기본 모델 (Llama3.1-8B) 과 페르시아어 적응 모델 (Dorna2-8B) 비교 시, Dorna2 는 거절 정확도가 73% 에서 30% 로 43%p 급락함.
  • 반면 수용 정확도는 63% 에서 91% 로 상승.
  • 결론: 페르시아어 데이터로 계속 학습한 것은 모델이 문화적 패턴을 더 잘 '흉내 내게' 만들었으나, 논리적 일관성이나 비판적 사고 능력을 오히려 훼손함.

• 3. 사실 - 개념 간극 (The Factual-Conceptual Gap):

  • 모든 모델에서 사실적 지식 검색 (Factual Retrieval) 에서 상황 기반 추론 (Scenario Reasoning) 으로 넘어갈 때 평균 21% 의 성능 저하가 발생.
  • 이는 모델이 "문화적 사실이 존재함"을 아는 것과 "어떤 상황에서 그 사실이 적용되는지" 아는 것이 완전히 다른 과제임을 의미.

• 4. 모델 크기와 문화적 지능:

  • 가장 큰 모델 (Gemma3-12B) 이 사실적 지식은 가장 잘 기억하지만 (87%), 동의 편향은 가장 심함 (+61%).
  • 모델 크기 증가가 사실 암기 능력은 향상시키나, 문화적 판단력 (Discernment) 을 보장하지 않음을 보여줌.

5. 의의 및 결론 (Significance)

• 이론적 함의: 문화적 역량은 단순히 방대한 단일 언어 데이터를 학습하거나 모델 크기를 키우는 것으로 달성될 수 없음. 문화적 사실 (Facts) 과 문화적 스키마 (Schemas) 는 서로 다른 학습 메커니즘이 필요함을 시사.
• 실용적 기여: 저자원 언어 (Low-resource languages) 의 LLM 개발 시, 단순한 데이터 양적 확충보다는 문화적 맥락과 암묵적 규범을 이해할 수 있는 새로운 학습 전략과 평가 체계가 필요함을 강조.
• 향후 방향: DIVANBENCH 는 다른 언어의 문화적 이해도 평가에 대한 템플릿을 제공하며, 모델이 단순히 텍스트 통계를 모방하는 것을 넘어 실제 문화를 이해하는 방향으로 발전해야 함을 주장함.

이 논문은 페르시아어 LLM 이 표면적인 유창함 뒤에 숨겨진 문화적 추론의 한계를 드러냈으며, 향후 문화적으로 민감한 AI 개발을 위한 중요한 진단 기준을 제시했습니다.