"I See What You Did There": Can Large Vision-Language Models Understand Multimodal Puns?

1. 연구 배경 및 문제 정의 (Problem)

• 멀티모달 말장난 (Multimodal Puns) 의 복잡성: 말장난 (Pun) 은 언어적 다의성 (polysemy) 이나 발음 유사성 (phonetic similarity) 을 활용하여 유머를 창출하는 수사학적 기법입니다. 멀티모달 말장난은 시각적 요소 (이미지) 와 텍스트 요소 (자막) 가 상호작용하여 문자적 의미와 비유적 의미를 동시에 활성화하는 복잡한 인지 과정을 요구합니다.
• 기존 연구의 한계:
  1. 단일 모드 (Unimodal) 편향: 기존 연구는 주로 텍스트 기반 말장난에 집중하여, 시각적 모달리티가 생성하는 모호성을 간과했습니다.
  2. 부족한 벤치마크: 기존 멀티모달 데이터셋은 말장난의 세분화된 분류가 부족하고, 말장난이 아닌 샘플 (Negative Samples) 이 체계적으로 포함되어 있지 않아 모델이 진정으로 이해하는지 아니면 단순히 유머 있는 장면을 연상하는지 구분하기 어렵습니다.
  3. 선호도 (Preference) 와 이해도 (Comprehension) 의 혼동: 기존 평가는 "이것이 말장난인가?"라는 단순 질문에만 의존하여, 모델의 사실적 추론 능력보다는 affirmative(긍정적) 언어 편향에 의한 오답을 유발했습니다.
• 핵심 연구 질문 (RQs):
  1. VLM(시각 - 언어 모델) 이 말장난과 비말장난 (Non-puns) 을 얼마나 효과적으로 구별할 수 있는가?
  2. VLM 이 말장난을 얼마나 잘 설명할 수 있는가?
  3. VLM 의 말장난 이해도를 어떻게 향상시킬 수 있는가?

2. 방법론 (Methodology)

2.1. MULTIPUN 데이터셋 구축

연구진은 MULTIPUN이라는 새로운 멀티모달 벤치마크를 제안했습니다.

• 구성: 총 1,335 개의 샘플 (445 개의 말장난 + 890 개의 비말장난) 로 구성됩니다.
• 말장난 유형:
  • 동음이의어 (Homophonic Pun): 발음은 같지만 철자와 의미가 다른 단어 (예: 'pear'와 'pair').
  • 동형이의어 (Homographic Pun): 철자가 같지만 의미가 다른 단어 (예: 'fan' (선풍기) 와 'fan' (열성 팬)).
• 생성 파이프라인:
  1. 말장난 튜플 생성: CMU 발음 사전과 WordNet 을 활용하여 단어 쌍 ($w_p, w_a$) 과 시각적 객체 ($S_p$) 및 비유적 행동 ($S_a$) 을 매칭합니다.
  2. 양성 샘플 생성: GPT-4o 를 활용해 이미지 설명, 캡션, 해석을 생성하고, 텍스트 - 투 - 이미지 모델 (GPT-image-1) 로 이미지를 생성합니다.
  3. 적대적 음성 샘플 (Adversarial Negatives) 생성: 모델이 말장난을 잘못 인식하는 것을 방지하기 위해 두 가지 전략을 사용합니다.
     • Explicative Substitution (ES): 말장난의 숨겨진 의미를 직접적으로 표현하여 모호성을 제거한 샘플.
     • Random Substitution (RS): 의미와 무관한 객체와 단어로 교체하여 표면적 일관성은 유지하지만 말장난 메커니즘을 파괴한 샘플.
• 평가 태스크:
  1. 탐지 (Detection): 말장난 여부 이진 분류.
  2. 국소화 (Localization): 말장난 단어 ($w_p$) 와 대안 단어 ($w_a$) 식별.
  3. 설명 (Explanation): 말장난의 논리와 구성 요소 ($w_p, w_a, S_p, S_a$) 추출.
  • 편향 제거: "말장난인가?"와 "말장난이 아닌가?" 두 가지 편향된 프롬프트를 모두 사용하여 모델의 진정한 추론 능력을 측정합니다.

2.2. 모델 평가 및 개선 전략

• 평가 대상: GPT-5.1, GPT-4o, Gemini-3-Pro, Claude-Sonnet-4.5 등 11 개의 주요 VLM(폐쇄형 및 오픈소스 포함) 을 평가했습니다.
• 개선 전략 제안:
  1. Pun-CoT (Prompt-level): 말장난 인식을 위한 3 단계 검증 체인 (Chain-of-Thought) 을 도입합니다.
     • 시각적 근거 확인 (Visual Grounding): 텍스트에 없는 객체를 상상하지 않도록 함.
     • 어휘적 고정 (Lexical Anchoring): 캡션의 실제 단어만 사용하도록 강제.
     • 교차 모드 검증 (Cross-Modal Verification): 발음/의미적 연결이 타당한지 확인.
  2. Pun-Tuning (Model-level): MULTIPUN 데이터셋 (양성 및 음성 샘플 포함) 을 사용하여 VLM 을 파인튜닝합니다. 이는 모델의 과해석 (Over-interpretation) 을 줄이고 프롬프트 편향에 대한 강건성을 높입니다.

3. 주요 결과 (Results)

3.1. 현재 VLM 의 한계

• 과대평가 (Over-interpretation): 대부분의 모델은 말장난이 아닌 샘플을 말장난으로 잘못 분류하는 경향이 강합니다 (낮은 TNR, 높은 TPR). 예를 들어, Qwen3-VL-30B 는 거의 모든 입력을 말장난으로 인식했습니다.
• 프롬프트 편향: 특히 오픈소스 모델들은 질문의 방식 (편향된 프롬프트) 에 따라 판단이 크게 달라져 내부 추론의 부재를 보여줍니다.
• 설명 능력 부족: 모델은 말장난 단어를 식별할 수는 있으나 ($w_p$), 숨겨진 의미 ($w_a$) 를 찾거나 시각과 텍스트의 연결 논리를 설명하는 데 실패합니다.
• 할루시네이션 패턴:
  • 어휘 할루시네이션: 실제 이미지에 없는 관용구 단어를 상상함.
  • 발음 할루시네이션: 전혀 다른 발음의 단어를 유사하다고 주장함.
  • 시각적 할루시네이션: 텍스트의 힌트에 따라 실제 존재하지 않는 객체를 보임.

3.2. 개선 전략의 효과

• Pun-CoT 적용: F1 점수 평균 16.5% 향상. 특히 음성 샘플 (Non-puns) 을 올바르게 거절하는 능력 (TNR) 이 크게 개선되었습니다.
• Pun-Tuning 적용: 파인튜닝된 모델들은 프롬프트 편향 ($\Delta$TPR, $\Delta$TNR) 이 감소하고, 말장난과 비말장난을 구분하는 정확도가 향상되었습니다.

4. 주요 기여 (Key Contributions)

1. MULTIPUN 벤치마크 제안: 멀티모달 말장난 이해를 평가하기 위해 체계적으로 구축된 최초의 대규모 데이터셋 (445 개 말장난 + 890 개 적대적 음성 샘플).
2. 종합적 평가 프레임워크: 탐지, 국소화, 설명 태스크를 통해 VLM 의 말장난 이해 능력을 다각도로 분석하고, 편향된 언어적 반응을 배제하는 평가 방식을 정립했습니다.
3. 해결책 제시: 프롬프트 기반 (Pun-CoT) 과 모델 학습 기반 (Pun-Tuning) 두 가지 전략을 통해 모델의 할루시네이션을 줄이고 말장난 이해도를 유의미하게 향상시켰습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLM 이 인간의 유머와 언어적 뉘앙스를 얼마나 깊이 이해하는지 검증하는 중요한 이정표입니다. 단순한 이미지 캡셔닝을 넘어, 시각과 텍스트의 상호작용을 통해 추상적인 의미와 언어적 유희를 추론하는 능력은 AI 의 진정한 '이해' 능력을 측정하는 척도가 됩니다. MULTIPUN 과 제안된 개선 기법은 향후 인간과 더 자연스럽게 상호작용할 수 있는 차세대 멀티모달 모델 개발에 필수적인 통찰을 제공합니다.

요약: 본 논문은 현재 대형 시각 - 언어 모델이 멀티모달 말장난을 이해하는 데 있어 심각한 한계 (과대평가, 할루시네이션, 설명력 부족) 가 있음을 밝혔으며, 이를 해결하기 위해 정교한 데이터셋 (MULTIPUN) 과 검증 기반의 추론/학습 전략 (Pun-CoT, Pun-Tuning) 을 제안하여 모델의 성능을 획기적으로 개선했습니다.