When Meaning Isn't Literal: Exploring Idiomatic Meaning Across Languages and Modalities

1. 문제 정의 (Problem Statement)

현대 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 표면적인 어휘 및 의미 단서에 의존하는 경향이 강하여, **관용구 (Idioms)**와 같은 비유적 표현을 이해하는 데 심각한 한계를 보입니다.

• 문화적 맥락의 부재: 관용구는 단어의 문자적 의미를 합친 것이 아니라 문화적 배경과 관습적 사용에 기반한 비유적 의미를 갖습니다. (예: 벵골어 관용구 '아ング루 폴 톡 (Angur fol tok, "포도는 신다")'은 실패한 후 대상을 폄하하는 심리를 의미하지만, 모델은 문자 그대로 '여우와 포도' 이미지로만 해석함)
• 영어 중심의 편향: 기존 관용구 연구는 영어에 집중되어 있어, 힌디어, 벵골어, 태국어와 같은 저자원 언어 (Low-resource languages) 와 비주얼 기반 이해는 거의 탐구되지 않았습니다.
• 다중 모달리티의 부재: 텍스트와 이미지를 결합하여 관용구의 비유적 의미를 해석할 수 있는 체계적인 데이터셋과 평가 기준이 부족합니다.

2. 방법론 (Methodology)

이 연구는 Mediom이라는 새로운 데이터셋과 HIDE라는 새로운 추론 프레임워크를 제안합니다.

가. Mediom 데이터셋 구축

• 규모 및 구성: 힌디어, 벵골어, 태국어의 3,533 개 관용구를 포함하는 최초의 다국어·다중 모달 관용구 코퍼스입니다.
• 데이터 품질:
  • 전문가 주석: 원어민 학자 (박사 과정 연구원 및 문학 교수) 가 리터럴 번역, 문맥적 해석, 사용 시나리오, 문화적 중요도, 일관성 유지 등 5 가지 기준 (IPR) 으로 정밀하게 주석을 달았습니다.
  • 다중 모달 정렬: 각 관용구에 대해 DALL-E 3 와 GPT-4o 를 활용하여 생성된 고품질 이미지를 매칭했습니다. 이때 문자적 이미지가 아닌 비유적 의미를 잘 드러내는 이미지로 선별 및 정제되었습니다.
• 검증: 2 단계 검증 프로토콜 (동료 검토 및 전문가 검증) 을 거쳐 코헨의 카파 (Cohen's kappa) 0.82 의 높은 주석자 일치도를 확보했습니다.

나. HIDE 프레임워크 (Hinting-based Idiom Explanation)

모델의 오류를 피드백하여 추론을 개선하는 **오류 피드백 학습 (Error Feedback Learning, EFL)**에 영감을 받은 구조입니다.

1. 초기 추론: LLM 또는 VLM 이 관용구에 대한 초기 해석 (번역 및 설명) 을 생성합니다.
2. 오류 감지 및 힌트 생성: 생성된 결과와 정답 (Gold Standard) 을 비교하여 오차를 분석합니다. GPT-4o 를 활용하여 구체적인 관용구 정보가 아닌, 모델의 일반적인 추론 실수를 교정하는 **고수준 힌트 (Corrective Hint)**를 생성합니다.
   • 예시 힌트: "문자 그대로 묘사하기보다 장면이 어떤 광범위한 아이디어나 감정을 상징하는지 고려해 보세요."
3. 검색 및 재추론 (Retrieval & Refinement):
   • 현재 입력된 관용구의 임베딩과 유사한 과거 오류 사례를 'Idiomatic Error-Feedback Repository'에서 검색합니다.
   • 검색된 오류 사례와 생성된 힌트를 프롬프트에 포함시켜 모델을 다시 추론하게 합니다.
4. 반복적 개선: 이 과정을 통해 모델은 과거의 실수를 학습하고 문화적 뉘앙스를 반영한 정확한 해석을 도출합니다.

3. 주요 기여 (Key Contributions)

1. Mediom 데이터셋 공개: 힌디어, 벵골어, 태국어의 저자원 언어를 대상으로 한 최초의 다중 모달 관용구 벤치마크 (3,533 개 항목, 정밀 주석 포함) 를 공개했습니다.
2. HIDE 프레임워크 제안: 오류 피드백과 검색 기반 힌트를 활용하여 관용구 해석의 정확도와 문화적 적합성을 높이는 새로운 추론 메커니즘을 제시했습니다.
3. 포괄적인 평가: 다양한 LLM(Gemma2, Mistral, LLaMA2 등) 과 VLM(Paligemma, Qwen2-VL 등) 을 대상으로 텍스트 기반 추론과 비주얼 기반 비유 해소를 동시에 평가하여 모델별 성능 격차와 한계를 규명했습니다.

4. 실험 결과 (Experimental Results)

• 모델 성능 비교 (RQ1):
  • 텍스트 전용 LLM 이 비주얼 - 언어 모델 (VLM) 보다 관용구 이해에서 전반적으로 우세했습니다. 특히 Gemma2-9B가 가장 높은 성능을 보였습니다.
  • VLM 은 시각적 grounding 에 강점이 있지만, 문화적 비유적 의미 (Figurative meaning) 를 파악하는 데는 여전히 문자적 해석에 머무르는 경향이 있었습니다.
• HIDE 의 효과 (RQ2):
  • HIDE 를 적용한 결과, 모든 모델의 성능이 향상되었습니다.
  • Gemma2-9B + HIDE는 ROUGE 점수 (R-1: 0.68, R-2: 0.56) 와 BERTScore 를 크게 향상시켰으며, 퍼플렉시티 (Perplexity) 는 감소하고 가독성 점수 (FRS) 는 향상되었습니다.
  • 오류 피드백을 통해 모델이 비유적 공간 (Figurative space) 으로 추론을 전환하는 데 성공했습니다.
• 정성적 분석:
  • HIDE 를 적용한 LLM 은 '책임 소재'나 '자아 성찰'과 같은 추상적 주제를 잘 포착한 반면, HIDE 를 적용하지 않은 모델이나 일부 VLM 은 문자적 세부사항에 매몰되는 오류를 범했습니다.
  • VLM 은 시각적 묘사는 잘하지만, 비유적 깊이를 전달하는 데는 한계가 있었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 문화적 AI 의 새로운 기준: Mediom 은 문화적으로 grounded 된 다중 모달 관용구 이해를 평가할 수 있는 엄격한 테스트베드를 제공합니다.
• 저자원 언어 지원: 영어 중심의 연구에서 벗어나 힌디어, 벵골어, 태국어와 같은 다양한 언어권의 관용구 이해를 위한 기초를 마련했습니다.
• 향후 방향: HIDE 프레임워크는 모델이 단순히 데이터를 암기하는 것을 넘어, 오류를 학습하고 문맥적 단서를 활용하여 추론 능력을 점진적으로 향상시키는 메커니즘을 보여줍니다. 이는 차세대 AI 시스템이 문화적 뉘앙스와 비유적 사고를 이해하는 데 중요한 통찰을 제공합니다.

요약하자면, 이 논문은 관용구 이해의 문화적 장벽을 해결하기 위해 **고품질 다중 모달 데이터셋 (Mediom)**과 **오류 기반 힌트 학습 프레임워크 (HIDE)**를 결합하여, AI 가 비유적 의미를 더 정확하게 파악할 수 있음을 입증했습니다.