I Came, I Saw, I Explained: Benchmarking Multimodal LLMs on Figurative Meaning in Memes

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인터넷 밈 (Meme) 은 텍스트와 이미지가 결합된 멀티모달 커뮤니케이션의 핵심 형태이며, 종종 비유적 (Figurative) 인 표현을 사용하여 다층적인 의미를 전달합니다.
• 문제점:
  • 현재 멀티모달 대규모 언어 모델 (MLLM) 이 밈 내의 비유적 의미 (은유, 아이러니, 풍자 등) 를 어떻게 인식하고 해석하는지에 대한 체계적인 연구가 부족합니다.
  • 기존 연구는 주로 분류 (Classification) 성능에 집중했으나, 모델이 왜 그렇게 판단했는지에 대한 설명 (Explanation) 의 질과 신뢰성 (Faithfulness) 을 평가하는 기준이 부재했습니다.
  • 텍스트와 이미지 중 어떤 모달리티가 비유적 의미 파악에 더 중요한지, 그리고 모델이 각 모달리티에 어떻게 의존하는지에 대한 분석이 미흡합니다.

2. 연구 방법론 (Methodology)

가. 데이터셋 (Datasets)

세 가지 공개된 밈 데이터셋을 사용하여 평가했습니다.

1. FigMemes: 정치적 성향이 강한 밈으로, 6 가지 비유적 유형 (Allusion, Exaggeration, Irony, Anthropomorphism, Metaphor, Contrast) 을 다중 레이블로 표기.
2. Memotion 2: 감정 및 풍자 (Sarcasm) 분석에 초점.
3. MET-Meme: 은유 (Metaphor) 발생에 초점.

• 전처리: 모달리티 기여도를 분석하기 위해 원본 밈에서 텍스트를 OCR 로 감지하여 마스킹하고, LaMa 를 이용해 이미지 인페인팅 (Inpainting) 을 수행하여 이미지만 있는 조건을 생성했습니다.

나. 태스크 및 프롬프트 (Task & Prompt)

• 검출 및 설명 태스크: 모델은 밈에 비유적 의미가 있는지 판단 (이진/다중 레이블 분류) 하고, 해당 판단을 뒷받침하는 자연어 설명을 생성해야 합니다.
• 입력 조건:
  1. Original Meme: 텍스트 + 이미지
  2. Text-only: 이미지에서 텍스트 제거
  3. Image-only: 텍스트만 제거된 이미지
• 프롬프트 전략:
  1. 레이블 (Yes/No) 과 설명을 요구하는 형식.
  2. 0~1 사이의 확률 점수 (Score) 와 설명을 요구하는 형식.

다. 평가 모델 (Models)

세 가지 계열의 최신 MLLM 총 8 개 모델을 제로샷 (Zero-shot) 환경에서 평가했습니다.

• Aya-Vision: 8B, 32B
• Gemma 3: 4B, 12B, 27B
• Qwen2.5-VL: 7B, 32B, 72B

라. 평가 지표 (Evaluation)

1. 자동 평가: F1 점수 (이진 분류), Micro-averaged F1 (다중 레이블 분류).
2. 인간 평가 (Human Evaluation): 30 개 밈씩 총 90 개를 샘플링하여 7 가지 기준 (관련성, 일관성, 정확성, 길이, 시각/텍스트 완성도, 충실도) 으로 설명의 질을 5 점 리커트 척도로 평가.

3. 주요 결과 (Key Results)

가. 탐지 성능 (Detection Performance)

• 모델 크기: 일반적으로 모델 크기가 클수록 성능이 우수했으나, 전체적인 차이는 미미했습니다. (Qwen-72B 가 가장 우수)
• 유형별 차이:
  • Contrast (대조): 모든 모델이 가장 잘 수행.
  • Anthropomorphism (인격화): 성능이 가장 낮음.
  • Metaphor (은유): 텍스트와 이미지의 복잡한 상호작용이 필수적임. 단일 모달리티 제거 시 성능이 급격히 하락.
  • Irony/Sarcasm (아이러니/풍자): 시각적 단서에 크게 의존함.
• 모달리티 의존성:
  • 텍스트 제거 시: 아이러니, 풍자, 은유 탐지 성능이 크게 저하됨.
  • 이미지 제거 시: 은유, 풍자, 아이러니 탐지 성능이 크게 저하됨 (특히 은유는 양쪽 모두 필수).
  • Allusion, Exaggeration, Anthropomorphism: 텍스트 제거 시보다 이미지 제거 시 성능 저하가 더 큼 (시각적 기반이 강함).

나. 편향 (Bias) 현상

• 과도한 비유적 의미 할당: 모델들은 밈이라는 형식 자체를 보고, 실제로는 문자 그대로 (Literal) 인 밈에도 비유적 의미가 있다고 잘못 예측하는 강한 편향을 보임.
• 다중 레이블 분류: 실제 비유적 레이블이 없는 밈 (0 개) 에 대해서도 모델들은 대부분 1~3 개의 레이블을 할당하여 정확도가 낮음.

다. 설명의 질 (Explanation Quality)

• 충실도 (Faithfulness) 격차: 모델이 정답 레이블을 맞추더라도, 그 이유를 설명할 때 시각적 환각 (Visual Hallucination) 이나 과도한 해석이 빈번하게 발생함.
• 시각적 정보 추출 실패: 설명이 틀린 주된 원인은 텍스트 처리 실패가 아니라, 이미지의 중요한 시각적 단서 (예: 물이 컵에 닿기 전에 새어 나가는 것) 를 놓치거나 잘못 해석하는 데서 발생.
• 사회심리적 맥락 부재: 일상적인 인간의 행동 패턴이나 심리적 아이러니 (예: 고가 제품은 사지만 작은 앱 결제는 싫어하는 모순) 를 이해하지 못해 설명이 부실함.
• 인간 평가 결과: 자동 지표 (F1) 가 높은 Qwen-72B 가 인간 평가에서는 충실도 외의 항목에서 다른 모델과 비슷하거나 오히려 낮은 점수를 받기도 함.

4. 주요 기여 (Key Contributions)

1. 새로운 태스크 정의: 밈의 비유적 의미에 대한 검출 (Detection) 과 설명 (Explanation) 을 결합한 평가 태스크를 최초로 제안.
2. 체계적인 모달리티 분석: 텍스트와 이미지를 통제적으로 조작 (Ablation) 하여 각 비유적 유형별 모달리티 기여도를 정량화.
3. 인간 평가 프레임워크: 모델이 생성한 설명이 예측 레이블과 일관성이 있는지, 그리고 원본 밈의 시각/텍스트 내용에 충실한지를 평가하는 7 가지 기준을 제시.
4. 현실적인 한계 규명: 최신 MLLM 들이 비유적 의미 해석에서 겪는 '시각적 환각', '과도한 해석', '사회적 맥락 이해 부족' 등의 구체적인 한계를 규명.

5. 의의 및 결론 (Significance & Conclusion)

• 연구적 의의: 단순히 레이블 예측 정확도만 높이는 것을 넘어, 모델이 왜 그렇게 판단했는지에 대한 설명의 신뢰성 (Faithfulness) 과 사회적 맥락 이해 능력을 평가해야 함을 강조.
• 실용적 시사점: 밈과 같은 복잡한 멀티모달 콘텐츠를 분석할 때, 모델이 텍스트와 이미지의 상호작용을 올바르게 이해하고, 인간의 심리적/사회적 뉘앙스를 파악할 수 있는 더 정교한 아키텍처가 필요함을 시사.
• 향후 방향: 단순한 분류를 넘어, 모델의 추론 과정이 원본 콘텐츠에 충실하도록 하는 연구와 사회적 맥락 (Socio-psychological context) 에 대한 민감도를 높이는 연구가 필요함.

이 논문은 멀티모달 AI 가 창의적이고 비유적인 인간 커뮤니케이션을 이해하는 데 있어 아직 해결해야 할 중요한 과제가 많음을 보여주며, 향후 모델 개발 및 평가 방향에 중요한 통찰을 제공합니다.