TARAZ: Persian Short-Answer Question Benchmark for Cultural Evaluation of Language Models

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 은 일반적인 언어 처리 작업에서는 탁월한 성능을 보이지만, 문화적 상식 (Cultural Common Sense) 을 이해하는 데에는 한계가 있습니다. 특히 페르시아어 (Farsi) 와 관련된 문화적 평가는 다음과 같은 주요 문제점들로 인해 제대로 이루어지지 못했습니다.

• 기존 벤치마크의 한계: 기존 페르시아어 문화 평가는 주로 객관식 (Multiple Choice Questions, MCQ) 형식을 사용했습니다. 이는 사실적 암기 (Factual Recall) 를 측정할 뿐, 개념적 이해나 문화적 맥락을 평가하기 어렵습니다.
• 평가 지표의 부적합성: 단답형 질문 (SAQ) 을 평가할 때 정확한 문자 일치 (Exact Match) 만을 기준으로 삼는 것은 페르시아어의 복잡한 형태론적 특성 (Morphological Complexity) 을 반영하지 못합니다.
  • 예시: "نان" (공식적) 과 "نان" (비공식적) 은 의미는 동일하지만 표기가 다릅니다. 또한 아랍어/페르시아어 숫자 체계의 혼용, 자음/모음 기호 (Diacritics) 의 유무, 구두점 차이 등으로 인해 동일한 의미의 답변이 다양한 형태로 존재할 수 있습니다.
• LLM 기반 평가자의 한계: 기존 연구들은 LLM 을 채점자로 사용했으나, 이는 프롬프트 민감성, 위치 편향 (Positional Bias), 그리고 불안정성으로 인해 인간 평가자와의 일치도가 낮았습니다.

2. 제안된 방법론 (Methodology)

저자들은 페르시아어 LLM 의 문화적 역량을 평가하기 위해 TARAZ라는 포괄적인 평가 프레임워크를 제안했습니다.

A. 데이터셋 구성 (Datasets)

기존 데이터셋을 단답형 (SAQ) 형식으로 변환하거나 새로 구성하여 3 가지 주요 문화적 영역을 평가합니다.

1. BLEnD (Persian Subset): 일상생활 지식 (음식, 가족, 휴가 등) 을 묻는 500 개의 질문. 여러 개의 정답이 허용됨.
2. PerCul-SAQ: 페르시아 문화적 시나리오 (이야기) 를 기반으로 한 592 개의 질문. 문화적 추론 능력을 평가 (원래 MCQ 를 SAQ 로 변환).
3. ISN-SAQ: 이란의 사회적 규범 (Social Norms) 을 기반으로 한 535 개의 질문. 특정 환경 (시장, 공항, 모스크 등) 에서의 적절한 행동을 평가.

B. 평가 프레임워크 및 전처리 (Evaluation Framework & Postprocessing)

단순한 문자 매칭을 넘어선 하이브리드 평가 방식을 도입했습니다.

1. 페르시아어 특화 전처리 (Postprocessing):
   • 숫자 정규화: 영어/아랍어/페르시아어 숫자를 통일.
   • 문자 정규화: 아랍어 변형 문자 (예: ﯼ, ﮎ) 를 페르시아어 표준 문자로 변환.
   • 형태소 정규화: 자음/모음 기호 제거, 접미사/접두사 제거 (Stemming), 불용어 제거.
   • 구분자 처리: 접속사 (and, or 등) 를 기준으로 문장을 분할하여 답변의 일부만 일치해도 점수를 받을 수 있도록 함.
2. 하이브리드 평가 지표:
   • 구문적 지표: Exact Match (EM), ROUGE-1/2/L.
   • 의미적 지표:
     • LLM-judge: GPT-5 를 채점자로 사용 (하지만 편향성 문제 존재).
     • Cosine Similarity: maux-gte-persian-v3 라는 고성능 페르시아어 임베딩 모델을 사용하여 답변과 정답 간의 의미적 유사도를 계산.
     • Hybrid Approach (핵심): 전처리된 답변에 대해 Cosine Similarity 를 적용. 이는 표면적 차이 (형태소, 숫자 등) 를 무시하고 의미적 동일성을 포착하여 가장 강력한 성능을 보임.

3. 주요 기여 (Key Contributions)

1. TARAZ 프레임워크 개발: 페르시아어 문화적 이해를 평가하기 위한 최초의 표준화된 단답형 (SAQ) 벤치마크 및 평가 도구 공개.
2. 데이터셋 변환 및 확장: 기존 MCQ 기반 데이터 (PerCul, ISN) 를 SAQ 형식으로 변환하여 1,127 개의 문화적 질문을 생성.
3. 강력한 평가 메트릭: 페르시아어의 형태론적 복잡성을 해결하기 위한 전처리 파이프라인과 하이브리드 의미 매칭 알고리즘을 제안. 이는 기존 Exact Match 보다 점수 일관성을 10% 이상 향상시켰습니다.
4. 광범위한 모델 평가: 폐쇄형 (Closed-source), 오픈 가중치 (Open-weight), 페르시아어 파인튜닝 모델 등 총 15 개의 최첨단 LLM 을 평가.

4. 실험 결과 (Results)

15 개의 모델을 3 개의 데이터셋에서 평가한 결과는 다음과 같습니다.

• 모델 성능 비교:
  • 폐쇄형 모델 (Closed-source): GPT-5, Claude Opus 4.1 등이 모든 데이터셋에서 가장 높은 성능을 보였습니다. 특히 Claude Opus 4.1 이 BLEnD 에서 가장 일관된 높은 정확도를 기록했습니다.
  • 오픈 가중치 모델 (Open-weight): Gemma-2-27B 와 DeepSeek-V3 이 상대적으로 좋은 성능을 보였으나, 폐쇄형 모델보다는 낮았습니다.
  • 페르시아어 파인튜닝 모델 (Persian Fine-tuned): PersianMind, ParsT5, Maral 등 기존에 페르시아어에 특화되었다고 알려진 모델들은 매우 낮은 성능을 보였습니다. 많은 경우 의미 없는 토큰을 생성하거나 ROUGE 점수가 0 에 수렴했습니다. 이는 기계 번역 데이터 학습의 한계나 모델 규모 (7B~8B) 의 부족이 원인일 것으로 분석됩니다.
• 평가 지표 비교:
  • Human vs. Metric: 인간 평가자 (Annotator) 와의 일치도 (Agreement) 를 측정한 결과, Hybrid Approach (Maux+Post) 가 LLM-judge(GPT-5) 보다 인간 판단과 더 높은 일치도 (Cohen's κ = 0.384 vs 0.244) 를 보였습니다.
  • 전처리의 효과: 전처리 (Postprocessing) 를 적용한 Hybrid 지표가 모든 모델 카테고리에서 일관되게 성능을 개선시켰습니다.
• 문화적 하위 주제 분석:
  • 모델들은 '음식', '가족'과 같은 일상적 문화 지식보다 '의식', '예술' 등 추상적인 문화 개념에서 더 큰 성능 저하를 보였습니다.
  • 페르시아어 파인튜닝 모델들은 문화적 일반화 (Generalization) 능력이 현저히 부족함이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 문화적 이해의 새로운 기준: TARAZ 는 단순한 언어 능력 평가를 넘어, LLM 이 특정 문화 (페르시아) 의 사회적 규범과 맥락을 얼마나 깊이 이해하는지를 측정할 수 있는 표준을 제시했습니다.
• 평가 방법론의 혁신: 페르시아어와 같은 형태론적으로 풍부한 언어에서는 의미적 유사도 (Semantic Similarity) 와 강력한 전처리가 필수적임을 입증했습니다.
• 향후 방향: 현재 페르시아어 특화 모델들의 낮은 성능은 언어적 적응 (Fine-tuning) 만으로는 부족하며, 문화적 맥락이 포함된 대규모 사전 학습 (Pre-training) 과 고품질의 네이티브 지시 데이터 (Native Instruction Data) 가 필요함을 시사합니다.
• 오픈 소스: 모든 데이터셋, 평가 코드, 전처리 모듈을 공개하여 향후 페르시아어 NLP 및 교차 문화적 LLM 연구의 기반을 마련했습니다.

이 논문은 페르시아어 LLM 의 문화적 역량을 평가하는 데 있어 기존 MCQ 중심의 접근법을 넘어, 단답형 질문과 의미적 매칭을 통한 보다 정교하고 공정한 평가 체계의 필요성을 강력하게 주장하고 있습니다.