Learning to Think Like a Cartoon Captionist: Incongruity-Resolution Supervision for Multimodal Humor Understanding

이 논문은 **"왜 어떤 만화 한 장이 우리를 웃게 만드는지, AI 가 어떻게 그 '웃음의 비밀'을 터득할 수 있을까?"**에 대한 연구입니다.

기존의 AI 는 만화와 캡션(글) 을 주고받으며 "이게 정답이야"라고 외우는 식으로 학습했습니다. 하지만 이 논문은 **"정답만 외우는 게 아니라, 웃음의 '논리'를 직접 생각하게 하라"**고 주장합니다.

이 연구의 핵심 아이디어를 쉽게 풀어서 설명해 드릴게요.

---

🎭 1. 문제: AI 는 '웃음'을 모른다?

만화 한 장을 보고 웃음소리가 터지려면 보통 두 가지 과정이 필요합니다.

1. 어색함 발견 (Incongruity): "어? 저기 뭐가 이상해?" (예: 비행기 좌석에 거대한 세균이 앉아 있다?)
2. 해결책 찾기 (Resolution): "아! 그래서 저 대사가 재밌는 거구나!" (예: "그 세균은 한 세포만 있어서 좌석 두 개를 사야 해!")

기존 AI 는 이 '생각하는 과정'을 건너뛰고, 그냥 "A 가 정답일 확률이 90% 야"라고 확률만 계산했습니다. 마치 요리 레시피를 읽지 않고, 맛만 보고 "이건 소금 때문이야"라고 맞히는 사람과 비슷합니다.

🧠 2. 해결책: IRS(웃음의 사고 과정 지도)

연구팀은 **IRS(Incongruity-Resolution Supervision)**라는 새로운 방법을 개발했습니다. 이를 **'웃음의 요리사 훈련'**이라고 상상해 보세요.

1 단계: '맛있는 재료'를 익히기 (Incongruity Modeling)

AI 에게 단순히 만화만 보여주는 게 아니라, 전문 만화 작가들이 어떻게 웃음을 만들어내는지 대화 내용, 에세이, 해설을 먼저 읽게 합니다.

• 비유: 요리사가 된 지 얼마 안 된 사람이 '맛있는 음식'에 대한 책과 요리사들의 수다를 먼저 읽으며 '맛의 기준'을 익히는 단계입니다.

2 단계: '생각하는 과정'을 따라 하기 (Resolution Modeling)

이제 AI 에게 만화를 보여주고, 정답을 고르게 할 때 "왜 이걸 고른 거야?"라고 생각한 과정을 글로 쓰게 합니다.

• 비유: 요리사가 요리를 할 때, "이게 소금 때문이야"라고 말하기 전에 **"재료의 색을 보고, 냄새를 맡고, 식감을 상상한 뒤 결론을 내렸다"**는 과정을 상세히 기록하게 하는 것입니다.
• 예시: "거대한 세균이 보였어. (어색함 발견) → '한 세포'라는 말장난이 떠올랐어. (해결책 구성) → 그래서 이 대사가 가장 잘 어울려."

3 단계: '맛 평가'를 받기 (Preference Alignment)

AI 가 쓴 생각과 정답을 전문가 (또는 다른 AI 심판) 가 평가합니다.

• 시각적 연결: "세균이 정말로 커다란 걸로 보였니?" (눈으로 본 것과 맞아야 함)
• 유머 스타일: "이 대사가 너무 길지 않니? 유머는 짧고 강렬해야 해."
• 비유: 요리사가 만든 요리를 미식가 심판이 "소금 양은 적절하지만, 향신료 냄새가 너무 강해서 실패야"라고 피드백을 주는 과정입니다.

🚀 3. 결과: AI 가 '유머 감각'을 갖게 되다

이렇게 훈련된 AI 는 단순히 정답을 맞히는 것을 넘어, 왜 그 대사가 웃긴지 논리적으로 설명할 수 있게 되었습니다.

• 성능: 작은 AI(7B) 에서 거대한 AI(72B) 까지 모든 모델에서 기존 AI 들보다 훨씬 잘했습니다. 특히 거대한 모델은 전문 만화 작가 못지않은 유머 감각을 보여주었습니다.
• 확장성: 뉴욕의 만화 대회 (NYCC) 에서만 배웠는데, 다른 나라의 유머나 다른 유형의 만화에도 잘 적용되었습니다. 즉, 유머의 '원리'를 배운 것이지, 특정 문제만 외운 것이 아닙니다.

💡 4. 핵심 교훈: "크기보다 '생각하는 법'이 중요하다"

이 논문의 가장 중요한 메시지는 **"AI 를 더 크게 만드는 것만으로는 부족하다"**는 것입니다.

• 단순히 데이터 양을 늘려서 '기억'하게 하는 것보다, 어떻게 생각해야 하는지 (구조화된 사고 과정) 를 가르치는 것이 훨씬 효과적입니다.

한 줄 요약:

"AI 에게 만화의 정답을 외우게 하지 말고, '왜 이 만화가 웃긴지'를 단계별로 생각하게 가르치니, AI 가 진짜 유머를 이해하게 되었다!"

이 연구는 AI 가 단순히 정보를 처리하는 것을 넘어, 인간의 창의적이고 복잡한 사고 (유머, 예술 등) 를 이해하는 데 한 걸음 더 다가갔음을 보여줍니다.