기술 요약: MasalBench

문제 정의

대규모 언어 모델(LLM)은 영어와 같은 고자원 언어 내에서의 비유적 표현 이해 능력은 입증했으나, 저자원 언어에서의 능력은 여전히 미개척 영역으로 남아 있다. 이러한 격차는 비유적 표현이 풍부함에도 불구하고 LLM의 맥락적 및 교차 문화적 이해력을 평가할 수 있는 종합적인 벤치마크가 부족한 페르시아어의 경우 특히 중요하다. 기존의 페르시아어 속담 연구는 이진 선택 형식에 의존하거나 단순한 방해 요소를 사용하거나, 소규모의 비체계적인 데이터셋에 집중하는 등 그 범위가 제한적이었다. 결과적으로, 다국어 LLM이 대화 맥락 내에서 속담을 얼마나 잘 해석하고, 언어 간에 문화적으로 동등한 속담을 식별할 수 있는지에 대한 엄격한 평가가 부족한 실정이다.

방법론

저자들은 MasalBench를 소개한다. 이는 **맥락적 이해(Contextual Understanding)**와 **교차 문화적 이해(Cross-Cultural Understanding)**라는 두 가지 뚜렷한 수준에서 LLM을 평가하기 위해 설계된 종합 벤치마크이다.

데이터셋 구축

본 벤치마크는 4,000개 이상의 속담을 포함하는 참조 문헌인 Foote Koozegari: Persian Proverbs and Their Stories를 사용하여 구축되었다. 저자들은 이미지 기반 PDF에서 데이터를 추출하고 처리하기 위해 Gemini 2.5 Pro를 활용하였으며, 이후 문화적 정확성과 자연스러움을 보장하기 위해 원어민에 의한 엄격한 수동 검증 과정을 거쳤다.

1. 맥락적 이해 (1,000개 항목):

   • 형식: 짧고 자연스러운 대화에 기반한 객관식 질문(MCQ).
   • 구조: 각 대화에서 두 번째 화자가 특정 페르시아 속담을 사용하여 첫 번째 화자에게 응답한다. 모델은 화자의 의도를 식별해야 한다.
   • 방해 요소(Distractors): 각 질문에 대해 세 가지 오답이 생성되며, 서로 다른 실패 모드를 테스트하기 위해 다음과 같이 분류된다:
     • 직역 함정(Literal Trap): 단어의 문자 그대로의 의미에 기반한 오해.
     • 그럴듯한 오답(Plausible): 논리적으로는 일관되지만 맥락상 부적절한 해석.
     • 무관한 오답(Irrelevant): 대화나 속담과 관련이 없는 옵션.
   • 과정: 100개의 대화는 수동으로 제작되었으며, 나머지는 Gemini 2.5 Pro를 통해 생성된 후 수동으로 검증되었다.

2. 교차 문화적 이해 (700개 항목):

   • 형식: 이진 선택 질문.
   • 과업: 주어진 페르시아 속담에 대해, 모델은 두 가지 옵션 중 올바른 영어 대응어를 찾아야 한다.
   • 방해 요소: 오답 옵션은 페르시아 속담과 유사한 어휘, 어조 또는 이미지를 공유하지만 의미는 다른 '무관한' 영어 속담으로 구성되어, 설득력 있는 방해 요소 역할을 한다.
   • 과정: Gemini 2.5 Pro를 통해 생성되었으며, 대응어가 실제적이고 방해 요소가 문화적으로 그럴듯하면서도 의미적으로는 구별되도록 수동 검증을 거쳤다.

실험 설정

본 벤치마크는 Llama 4 Scout, Llama 3.3 70B Instruct, Qwen 2.5 72B Instruct, Qwen QwQ 32B, DeepSeek V3.1, DeepSeek R1, GPT-4.1 mini, GPT-4o mini를 포함한 8개의 최첨단 다국어 LLM을 대상으로 평가되었다.

• 프롬프팅: 위치 편향을 방지하기 위해 옵션 순서를 무작위로 하여 제로샷(Zero-shot) 프롬프팅을 사용하였다.
• 파라미터: 결정론적 출력을 위해 온도는 0으로, top-p는 1로 설정하였다. 모델은 옵션의 알파벳 기호만을 반환하도록 제한되었다.

주요 결과

맥락적 이해

모델들은 대화 내에서 페르시아 속담의 의도된 의미를 식별하는 데 강력한 성능을 보였다.

• 정확도: 평가된 모든 모델이 0.90 이상의 정확도를 달성했다.
• 최고 성능 모델: DeepSeek V3.1이 가장 높은 정확도(0.943)를 기록했으며, 이는 부분적으로 해당 모델의 방대한 파라미터 수(671B)에 기인한다.
• 오류 분석: 모델이 실패했을 때, 오류는 주로 그럴듯한 방해 요소(오류 비율 0.06 ~ 0.08)로 나타났다. 이는 모델이 의미적으로는 일관되지만 맥락적으로는 틀린 해석을 구분하는 데 어려움을 겪음을 시사한다. 직역 및 무관한 오류는 드물었다(<0.02).
• 모델 특성: 동일 계열 내에서 지시어 튜닝(Instruction-tuned) 모델이 추론 중심 모델보다 일반적으로 더 우수한 성능을 보였는데, 이는 지시어 튜닝이 문화적 맥락화에 도움을 준다는 것을 시사한다.

교차 문화적 이해

페르시아 속담을 영어 대응어로 매핑하는 과업을 수행할 때 성능이 크게 하락했다.

• 정확도: 점수는 0.647(Llama 4 Scout)에서 0.793(DeepSeek R1) 사이로 나타났다.
• 어려움: 이 과업은 단순한 언어적 해독을 넘어, 언어 간의 이미지와 어휘 차이를 탐색하기 위한 문화적 지식과 유추적 추론을 요구하기 때문에 맥락적 이해보다 더 어려운 것으로 증명되었다.
• 지시어 튜닝: 지시어 튜닝이 미미한 이점을 제공했으나, 성공 여부가 지시 따르기보다는 문화적 데이터에 대한 사전 학습 노출에 크게 의존했기 때문에 맥락적 과업에 비해 그 영향은 제한적이었다.

의의 및 기여

본 논문은 LLM 평가 분야에 다음과 같은 몇 가지 핵심적인 기여를 주장한다:

1. MasalBench: 비유적 표현에 대한 문화적 의존도가 높은 저자원 언어인 페르시아어의 맥락적 및 교차 문화적 이해를 평가하기 위해 특별히 설계된 최초의 종합 벤치마크를 도입하였다.
2. 세밀한 오류 분석: 본 연구는 모델의 실패를 직역, 그럴듯한, 무관한 오류로 구분하여 상세한 분석을 제공함으로써, 현재의 모델들이 은유적 추론에는 강하지만 의미적으로는 일관되나 맥락적으로는 틀린 해석을 선택하는 경향이 있음을 밝혀냈다.
3. 교차 문화적 한계: 연구 결과는 현재 LLM의 교차 문화적 추상화 능력에 상당한 격차가 있음을 강조한다. 모델은 자국 문화 맥락 내에서는 속담을 이해할 수 있지만, 이를 다른 언어의 대응어로 전이하는 것은 여전히 큰 도전 과제이며, 이는 문화적 접지(Cultural grounding) 및 유추적 추론의 한계를 드러낸다.
4. 미래 연구를 위한 프레임워크: MasalBench는 다국어 LLM 평가의 중요한 공백을 메우며, 다른 저자원 언어의 교차 문화적 이해를 평가하기 위한 프레임워크를 제공한다.

저자들은 다국어 LLM이 언어 내부의 은유적 추론에는 견고해지고 있지만, 직접적인 번역이 아닌 문화적 동등성을 요구하는 과업을 수행하기 위해서는 진정한 교차 문화적 유창성을 갖추기 위한 추가적인 발전이 필요하다고 결론지었다.