Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language

이 논문은 대규모 언어 모델 (LLM) 이 문화적 배경을 바탕으로 한 언어, 특히 지역적 지식과 문화적 뉘앙스를 인코딩한 **비유적 표현 **(Figurative Language) 을 이해하고 실용적으로 사용하는 능력을 평가하는 종합적인 연구를 제시합니다.

주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 문화적 이해의 부재: 최근 LLM 은 다국어 텍스트 이해와 생성에서 괄목할 만한 진전을 보였으나, 언어가 어떻게 지역적 지식, 사회적 가치, 실용적 뉘앙스를 인코딩하는지에 대한 '문화적 기반 의미 (culturally grounded meaning)' 처리 능력은 여전히 poorly understood(잘 이해되지 않음) 상태입니다.
• 기존 연구의 한계: 이전 연구들은 대부분 비유적 언어의 '이해 (comprehension)' (예: 관용구의 의미 설명) 에 초점을 맞췄지, 문맥에 따른 적절한 '실용적 사용 (pragmatic use)' (예: 사회적 상황에서의 적절한 활용, 정서적 추론) 을 평가하지는 않았습니다.
• 평가 도구 부족: 아랍어와 같은 문화적 언어를 다루는 벤치마크는 관용구나 속담을 명시적인 범주로 포함하지 않거나, 매우 제한적으로만 다룹니다.

2. 방법론 (Methodology)

저자들은 비유적 언어를 문화적 역량과 지역 지식의 대리 지표 (proxy) 로 활용하여 다음과 같은 평가 프레임워크를 설계했습니다.

• 평가 대상 데이터셋:
  • **Kinayat **(신규 데이터셋) 이집트 아랍어 구어체 관용구 325 개 (1949 년 출판된 책 기반) 를 수집하여, 비유적 의미와 실용적 사용 평가를 위해 주석 처리했습니다.
  • Jawaher: 20 가지 아랍어 방언의 속담 198 개.
  • MAPS: 6 개 언어 (영어 포함) 의 속담 데이터셋.
• 평가 모델: 오픈소스 (LLaMA, Gemma, Qwen, Jais 등) 와 클로즈드소스 (GPT-4o, Claude, Gemini 등) 를 포함한 총 22 개의 다양한 LLM 을 평가했습니다.
• 평가 태스크:
  1. **다중 선택 질문 **(MCQ) 비유적 표현의 올바른 설명을 선택하는 능력. (일반적인 오답과 시맨틱 역할 레이블링 (SRL) 기반의 정교한 오답 생성 전략 사용)
  2. **실용적 사용 **(Pragmatic Use) 주어진 문맥에서 올바른 관용구를 빈칸에 채워 넣는 과제.
  3. **부정 **(Negation) 올바른 설명이 아닌 '틀린' 설명을 선택하는 과제 (모델의 부정 추론 능력 평가).
  4. **속담 완성 **(Completion) 문화적 지식의 암기 능력을 평가하기 위해 속담의 마지막 단어를 완성.
  5. **함의 **(Connotation) 비유적 표현의 긍정/부정/중립적 뉘앙스를 분류.
  6. 설명 생성: 관용구나 속담에 대한 설명을 생성하는 능력 평가.

3. 주요 기여 (Key Contributions)

1. 실용적 사용 태스크 도입: LLM 이 문맥에서 비유적 언어를 적절히 사용하는 능력을 평가하는 새로운 태스크를 제안했습니다.
2. 통합적 교차 언어 평가 스위트: 비유적 해석, 문맥적 적절성, 함의 추론을 포괄하는 평가 체계를 구축했습니다.
3. Kinayat 데이터셋 공개: 이집트 아랍어 관용구의 이해와 실용적 사용을 평가하기 위해 설계된 최초의 데이터셋을 공개했습니다.

4. 주요 결과 (Results)

• **성능 계층 구조 **(Hierarchy) 모델의 성능은 일관된 계층을 보였습니다.
  • 영어 속담 > 아랍어 속담 > 이집트 관용구 순으로 정확도가 낮아졌습니다.
  • 아랍어 속담의 평균 정확도는 영어 속담보다 4.29% 낮았으며, 이집트 관용구 (Kinayat) 는 아랍어 표준어 (MSA) 속담보다 10.28% 더 낮았습니다.
• **실용적 사용 격차 **(Pragmatics Gap)
  • 단순히 의미를 이해하는 것 (MCQ) 과 문맥에서 적절히 사용하는 것 (Pragmatic Use) 사이에는 큰 격차가 존재했습니다.
  • 실용적 사용 태스크의 정확도는 이해 태스크보다 평균 14.07% 낮았습니다. (최고 모델인 Claude 3.5 Sonnet 도 85.33% 에 그침).
  • 문맥 (idiomatic sentence) 을 추가하면 이해 태스크의 정확도가 10.66% 향상되었으나, 여전히 실용적 사용은 어려운 과제로 남았습니다.
• **함의 **(Connotation)
  • 모델들은 인간 주석자 간 100% 일치하는 샘플에서도 함의 (정서적 뉘앙스) 를 이해하는 데 어려움을 겪었습니다. 최고 정확도는 **85.58%**에 불과했습니다.
• 모델 크기 및 아랍어 특화 모델:
  • 모델 크기와 성능 사이에는 약한 양의 상관관계가 있었으나, 실용적 사용 태스크에서는 상관관계가 더 강했습니다.
  • 아랍어 특화 오픈소스 모델들은 속담 완성 및 생성 태스크에서 다국어 모델보다 우수한 성능을 보였으나, 전반적인 평가에서는 클로즈드소스 모델 (Claude, GPT 등) 이 가장 높은 성능을 기록했습니다.

5. 의의 및 결론 (Significance)

• 문화적 추론의 진단 도구: 비유적 언어는 LLM 의 문화적 추론 능력을 진단하는 효과적인 도구임을 입증했습니다. 모델들이 비유적 의미를 해석할 수는 있지만, 이를 사회적 맥락에 맞게 **적절히 사용하는 능력 **(Pragmatic Competence) 에서는 여전히 큰 한계가 있음을 보여줍니다.
• 문화적 편향과 데이터 부족: 아랍어, 특히 방언 (Dialect) 과 구어체 관용구에 대한 데이터 부족과 훈련 데이터의 편향이 모델 성능 저하의 주요 원인임을 시사합니다.
• 향후 연구 방향: 이 연구는 다양한 아랍어 방언의 속담과 관용구에 대한 실용적 평가 확대와, 자유형 생성 (Free-form generation) 을 통한 문화적/문맥적 적절성 평가의 필요성을 제기합니다.

요약하자면, 이 논문은 LLM 이 "무엇을 의미하는지"는 알 수 있어도 "언제, 어떻게 사용해야 하는지"를 파악하는 데 있어 문화적 문해력이 부족함을 체계적으로 증명하고, 이를 해결하기 위한 새로운 데이터셋과 평가 기준을 제시했습니다.