기술 요약: VIVID – 베트남어 NLP의 비유적 언어 격차를 드러내는 문화적 근거 기반 벤치마크

1. 문제 정의

비유적 언어(Figurative language)에 대한 이해는 언어적 지식, 문화적 맥락, 그리고 화용론적 추론을 통합해야 하므로 자연어 처리(NLP) 분야에서 여전히 중요한 과제로 남아 있다. 고자원 언어(예: 영어, 한국어)와 감성 분석 또는 자연어 추론과 같은 특정 베트남어 작업에서는 상당한 진전이 이루어졌으나, 문화적 근거를 가진 비유적 언어에 대한 체계적인 평가 프레임-워크는 부재한 상태이다.

베트남어 관용구와 속담은 다음과 같은 이유로 독특한 해석의 어려움을 제시한다:

• 현대적 맥락에서는 거의 사용되지 않는 고어체 한자어(Sino-Vietnamese) 어휘.
• 풍자, 반어법, 평가적 함의와 같은 미묘한 화용론적 뉘앙스.
• 전통 농경 관습과 관습적 지혜에 뿌리를 둔 민속 지식.

기존의 벤치마크는 심층적인 문화적 이해보다는 이진적인 관용성 탐지(binary idiomaticity detection)에 주로 초점을 맞추고 있다. 또한, 전통적인 자동 평가지표(예: BLEU)는 비유적 해석의 의미론적 뉘앙스를 포착하지 못하며, 인간에 의한 평가는 비용이 많이 들고 확장성이 떨어진다. 이러한 격차는 연구자들이 베트남어 특화 모델이나 다국어 거대언어모델(LLM)이 이러한 표현들을 정확하게 해석할 수 있는지, 혹은 어떤 언어적 특징이 가장 큰 도전 과제가 되는지를 평가하는 것을 방해한다.

2. 방법론

2.1. 데이터셋 구축: VIVID

저자들은 1,636개의 검증된 베트남어 관용구 및 속담으로 구성된 벤치마크인 VIVID(Vietnamese Idioms for Validation and Interpretation Depth)를 소개한다. 이 데이터셋은 3단계 파이프라인을 통해 구축되었다:

1. 데이터 수집: 언어적 정통성을 확보하고 표준 형태와 지역적 변체를 모두 포착하기 위해 두 권위 있는 사전(Nguyen Lan, 2010; Vu Dung et al., 2000)에서 소스를 가져왔다.
2. 데이터 범주화: 이중 레이어 주석 체계를 개발하였다:
   • 언어적 복잡도 분류 체계(Linguistic Complexity Taxonomy): 표현을 세 가지 측면과 다섯 가지 뚜렷한 특성으로 조직하였다:
     • 의미(Meaning): 직설적 표현(과잉 해석의 위험이 있음) 및 화용론적 뉘앙스(풍자/반어).
     • 어휘(Lexical): 한자어 용어 및 생소한 어휘(고어).
     • 문화적 지식(Cultural Knowledge): 민속 지식 기반 표현(농업/문화적 관습).
   • 의미론적 테마(Semantic Themes): 베트남 문화 담론을 반영하는 7가지 테마로 분류하였다: 비판, 인생의 교훈, 일과 자연, 사회적 관계, 사랑, 미덕, 기타.
3. 데이터 검증: 자동 주석(GPT-4.1)에 이은 두 명의 베트남 원어민 언어 전문가에 의한 독립적 검토 및 합의 기반 판정의 엄격한 2단계 과정을 거쳤다.

2.2. 평가 프레임워크

본 연구는 생성적 작업과 판별적 작업을 결합한 종합적인 프레임워크를 사용하며, 인간의 판단에 의해 검증된 LLM-as-a-Judge 접근 방식을 채택한다.

• 생성적 작업(Generative Task): 모델이 관용구에 대한 설명을 생성한다. GPT-4.1이 판사 역할을 수행하며, 사실적 정확성, 완전성, 그리고 원어민의 해석과의 일치도를 기준으로 0~5점 척도로 점수를 매긴다.
  • 프롬프팅 전략 분석: Zero-shot, Demonstration (Few-shot), Chain-of-Thought (CoT), 그리고 Aspect-based Evaluation의 네 가지 전략을 비교하였다.
  • 신뢰성: Aspect-based evaluation이 다른 전략들보다 높은 상관관계(Cohen's $\kappa$ = 0.792)를 보이며 인간의 판단과 가장 강력한 일치도를 나타냈다.
• 판별적 작업(Discriminative Task): 모델은 다음 항목에 대해 다지선다형 분류를 수행한다:
  • 주제 식별 (7가지 의미론적 테마).
  • 언어적 특성 식별 (5가지 복잡도 특성).
  • 평가는 개방형 및 폐쇄형 모델 간의 일관성을 보장하기 위해 정확히 일치(exact-match) 점수 방식을 사용한다.

2.3. 벤치마크 모델

다음을 포함한 8개의 최첨단 모델을 평가하였다:

• 베트남어 특화 모델: VinaLLaMA-7B, Vistral-7B-Chat, GreenMind-14B.
• 다국어 오픈소스 모델: Llama-4-Scout, Llama-SEA-LION-v3, Qwen-3.
• 폐쇄형 모델: GPT-4o, Gemini Flash 2.5.

3. 주요 결과

3.1. 성능 격차

최첨단 모델들조차 평균적으로 50% 미만의 정확도를 기록했다.

• 다국어 vs. 특화 모델: 베트나미어 특화 모델은 다국어 시스템에 비해 현저히 낮은 성능을 보였다. 예를 들어, VinaLLaMA-7B는 0.13점을 기록한 반면, GPT-4o는 2.46점(0~5점 척도 기준)을 기록했다.
• 모델 규모: 규모가 큰 모델이 일반적으로 더 나은 성능을 보인다. 유사한 14B 규모의 모델 중, 베트남어 특화 모델인 GreenMind-14B(1.09)는 다국어 모델인 Qwen-3-14B(1.09)와 유사한 성능을 보였는데, 이는 현재의 언어 특화 학습이 유사한 규모에서 문화적 비유 이해를 위한 명확한 이점을 제공하지 못함을 시사한다.

3.2. 복잡성에 대한 강건성

모델들은 특정 복잡도 특성에서 큰 어려움을 겪었다:

• **한자어(Sino-Vietnamese terms)**는 가장 도전적이지 않은 카테고리였다.
• 화용론적 뉘앙스와 민속 지식이 가장 큰 어려움을 주었으며, 모델들은 풍자나 농업적 맥락을 파악하는 데 자주 실패했다.
• 체계적 실패 모드: 분석 결과, 직설적 과잉 해석(메타포가 없는 곳에서 은유를 추론함), 어휘적 공백(고어를 오역함), 문화적 단절, 그리고 화용론적 평탄화(반어법을 중립적인 톤으로 대체함)가 드러났다.

3.3. 프롬프팅 효과

• Few-shot 프롬프팅: 대부분의 모델에서 문맥 내 예시를 제공함으로써 전반적인 성능을 향상시켰다.
• GPT-4o의 이상 현상: 주목할 점은 GPT-4o가 Few-shot 프롬프팅 하에서 성능 저하를 보였다는 것이다. 분석에 따르면 이는 스타일 과적합(stylistic overfitting) 때문이며, 모델이 의미론적 충실도에 집중하기보다 예시의 훈계조 톤을 모방하여 "교훈적" 환각과 의미론적 표류를 일으킨 것으로 보인다.

4. 기여

본 논문은 세 가지 주요 기여를 한다:

1. VIVID 벤치마크: 이중 레이어 주석(복잡도 특성 및 의미론적 테마)을 갖춘 1,636개의 검증된 관용구-설명 쌍을 특징으로 하는 최초의 체계적인 베트남어 비유 언어 벤치마크를 제시한다.
2. 평가 프로토콜: 생성적 평가를 위한 LLM-as-a-Judge 방식($\kappa$ = 0.792로 검증됨)과 판별적 분류 작업을 결합한 새로운 프레임워크를 제공한다.
3. 종합적 분석: 모델 규모가 문화적 이해를 위한 언어 특화 학습보다 더 중요하다는 실증적 증거를 제시하는 동시에, 화용론적 뉘앙스와 민속 지식을 다루는 데 있어 지속되는 격차를 폭로한다.

5. 의의 및 한계

의의:
VIVID는 문화적으로 풍부한 맥락에서 비유적 언어 이해를 발전시키기 위한 필수적인 도구를 제공한다. 이는 단순한 표면적 패턴 매칭을 넘어, 진정한 문화적 역량을 달성하는 데 있어 현재 LLM의 한계를 드러낸다. 연구 결과는 문화적으로 인지 능력을 갖춘 NLP 시스템을 개발하기 위해서는 단순히 파라미터 규모를 키우거나 언어 특화 데이터로 미세 조정하는 것 이상의 작업, 즉 깊은 의미론적 및 화용론적 격차를 해결하는 것이 필요함을 시사한다.

한계:

• 평가의 투명성: LLM-as-a-Judge 프레임워크를 위해 폐쇄형 소스 모델인 GPT-4.1에 의존하는 것은 장기적인 재현성과 투명성에 대한 우려를 낳는다.
• 검증 규모: 수동 주석의 높은 비용으로 인해 LLM 판사와 인간 주석가 사이의 신뢰도 분석이 200개의 샘플 서브셋에 대해서만 수행되었으며, 이는 데이터셋의 모든 언어적 형태의 다양성을 완전히 포착하지 못했을 수 있다.

저자들은 VIVID가 미묘하고 문화적 근거를 둔 비유적 해석이 가능한 NLP 시스템 개발을 목표로 하는 미래 연구를 위한 견고한 토대를 마련한다고 결론짓는다.