💬 NLP

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

이 논문은 스크립트 대립(script oppositions), 검색 증강 계층적 상상력(retrieval-augmented hierarchical imagination), 그리고 표적 캡션 생성(targeted caption generation)을 활용하여 재미있는 멀티모달 이미지 캡션을 생성하는 데 있어 기존의 최첨단 방법들을 크게 능가하는 새로운 유머 이론 기반 멀티 역할 LLM 프레임워크인 HOMER를 소개한다.

원저자: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 농담을 하는 법을 가르치려 한다고 상상해 보십시오. 여러분은 "그냥 사진 한 장을 주고 웃겨보라고 하면 되겠지!"라고 생각할지도 모릅니다. 하지만 여기 함정이 있습니다. 컴퓨터에게 있어 "웃기다"는 개념은 매우 까다롭고 혼란스러운 것입니다. 그것은 단순히 보이는 것을 묘사하는 것이 아닙니다. 세상의 숨겨된 규칙을 이해하고, 그 규칙이 깨지는 순간을 포착하며, 그 깨진 지점에서 오는 의외성을 찾기 위해 뇌를 비틀어야 하는 일입니다. 이것이 바로 과학자들이 AI가 일반적인 커피잔과 욕조 크기의 커피잔 사이의 차이를 이해하도록 돕고자 하는 분야인 **멀티모달 유머 생성(multimodal humor generation)**의 핵심입니다.

이를 위해 이 논문의 연구자들은 유머 이론의 고전적 개념인 **스크립트 대립(Script Opposition)**에 의존합니다. 여기서 "스크립트"란 우리가 모두 암기하고 있는 "회의에 참석하기"나 "커피 마시기"와 같은 마음속의 영화 대본이라고 생각하면 됩니다. 유머는 종 often 이러한 스크립트 두 개가 기묘한 방식으로 충돌할 때 발생합니다. 예를 들어, 모두가 거대한 머그잔으로 커피를 마시고 있는 진지한 비즈니스 회의 같은 상황 말이죠. 이 논문은 컴퓨터가 진정으로 웃기기 위해서는 단순히 추측하는 것이 아니라, 이러한 충돌을 찾아내고, 기발한 연결 고리를 상상하며, 그 모든 것을 하나로 묶어주는 펀치라인을 써 내려가는 구조화된 계획이 필요하다고 제안합니다.

이 논문은 HOMER(유머 검색을 결합한 유머 이론 기반 멀티 역할 LLM 협업 프레forthwork)라는 새로운 시스템을 소개합니다. 단일 AI에게 "웃겨봐"라고 요청하고 결과가 좋기를 바라는 대신, HOMER는 마치 작은 전문 코미디 작가 팀처럼 작동합니다. HOMER는 업무를 세 가지 뚜렷한 역할로 나누며, 각 역할은 서로 협력하는 서로 다른 AI 에이전트에 의해 수행됩니다:

갈등 탐정 (Conflicting-script Extractor): 이 에이전트는 이미지를 보고 장면 설명을 살펴서 현실의 "글리치(오류)"를 찾아냅니다. 만약 이미지가 일반적인 의자가 있는 회의실인데 한쪽에 거대한 크기의 커피잔이 있다면, 이 에이전트는 "일반적인 사무실"과 "거대한 컵" 사이의 충돌을 포착합니다. 이는 농담을 가능하게 만드는 핵심적인 모순을 식별하는 과정입니다.
기발한 상상가 (Hierarchical Imaginator): 갈등이 발견되면, 이 에이전트는 창의적인 탐색에 나섭니다. 이 에이전트는 기묘한 물체(거대한 컵)를 가져와 연상 작용의 트리를 구축합니다. 예를 들어, 컵 → 커피 → 우유 → 암소와 같이 생각할 수 있습니다. 하지만 단순히 추측만 하는 것이 아니라, 어떤 연결이 실제로 재미있게 다가오는지 확인하기 위해 방대한 인간 유머 데이터베이스를 검토합니다. 이 과정에서 지루한 아이디어는 쳐내고, 가장 "유머 잠재력"이 높은 아이디어만을 남깁니다.
펀치라인 작가 (Caption Generator): 마지막으로, 이 에이전트는 갈등, 기발한 상상력의 트리, 그리고 장면 설명을 결합하여 실제 캡션을 작성합니다. 이 에이전트는 모든 단서를 모아 그 부조리함을 설명하는 짧고 재치 있는 문장을 만들어냅니다.

연구 결과, 단일 AI가 모든 것을 한꺼번에 처리하도록 하는 것보다 이러한 팀 접근 방식이 훨씬 더 효과적이라는 것이 밝혀졌습니다. 뉴요커(New Yorker) 잡지(유명한 풍자 만화가 실리는 잡지)의 수천 개의 실제 카툰 캡션을 대상으로 테스트했을 때, HOMER는 다른 최상위 AI 모델들을 지속적으로 능가했습니다. 실제로 HOMER의 캡션은 차세대 최고 모델들과 비교했을 때, 인간이 쓴 캡션을 이길 확률이 평균 7% 더 높았습니다.

저자들은 단순히 AI가 "더 열심히 생각하게" 하거나 "더 많이 추론하게"(예: 복잡한 단계별 논리 체인을 사용하는 것) 만드는 것만으로는 충분하지 않다는 점을 강조합니다. 저자들은 유머의 작동 방식(예: 스크립트 대립을 찾는 법)에 대한 구체적인 가이드가 없고, 창의적인 아이디어를 탐구하는 구조화된 방법이 없다면, AI가 논리적이긴 하지만 실제로는 웃기지 않은 캡션을 생성하게 된다는 것을 보여줍니다. 이러한 이론 중심의 단계별 과정을 통해 HOMER는 더욱 독창적이고 진정으로 즐거운 캡션을 만들어내며, 때로는 웃기기 위해서 약간의 구조와 많은 상상력이 필요하다는 것을 증명합니다.

기술 요약: HOMER – 갈등 스크립트 기반의 다중 역할 프레임워크를 활용한 유머 캡션 생성

문제 정의

본 논문은 이미지(예: 만화)에 대한 재미있는 캡션을 생성하는 작업인 **멀티모달 유머 생성(multi-modal humor generation)**의 과제를 다룹다. 대규모 언어 모델(LLM)은 시각적 이해와 추론 능력에서 뛰어난 역량을 보여주었으나, 진정한 유머에 필요한 창의성, 독창성, 그리고 깊은 논리적 추론 측면에서는 여전히 어려움을 겪고 있다. 제너릭한 프롬프팅, 추론 체인(예: Chain-of-Thought)을 통한 자기 개선, 또는 특정 작업 튜닝에 의존하는 기존 방식들은 유머의 근저에 깔린 논리적 구조보다는 표면적인 유머 언어만을 포착하는 경향이 있다. 결과적으로, 이러한 모델들은 의미론적으로는 정확할지 모르나, 인간 수준의 유머를 구현하는 데 필수적인 "펀치라인(punchline)"의 품질, 해석 가능성, 그리고 창의적 상상력이 결착된 캡션을 생성하지 못한다.

방법론: HOMER 프레임워크

저자들은 HOMER(유머 검색이 강화된 유머 이론 기반 다중 역할 LLM 협업 프레임워크)를 제안한다. 이 프레임워크는 스크립트 대립(script opposition), 상황(situation), 대상(target), 서사 전략(narrative strategy), 언어(language)라는 다섯 가지 지식 자원을 통해 유머를 모델링하는 **언어 유머 일반 이론(GTVH)**에 근거한다. HOMER는 이 이론을 세 가지 조율된 LLM 기반 역할로 구체화한다.

1. 갈등 스크립트 추출기 (Conflicting-Script Extractor)

이 모듈은 입력 이미지를 분석하여 두 가지 핵심 요소를 도출한다.

상황 묘사 ( $D$ ): 장소, 등장인물, 표정, 행동을 포함한 상세한 맥락적 배경.
갈등 스크립트 ( $C$ ): 유머 메커니즘의 핵심이다. 추출기는 상황 내에서 대비되거나 부조화스러운 의미론적 프레임(스크립트) 쌍을 식별한다 (예: "일반적인 커피 잔" vs "거대한 커피 잔"). 이러한 스크립트 대립은 유머의 필수 요소인 기대 위반(expectation-violation) 로직을 구축한다.

2. 계층적 상상가 (Hierarchical Imaginator)

유머의 토대( $D$ 와 $C$ )가 마련되면, 이 모듈은 주요 엔티티를 **유머 대상(humor targets)**으로 식별하고 두 가지 접근 방식을 통해 창의적 공간을 확장한다.

심층 패턴 상상 (백본 체인 - Deep-Pattern Imagination): LLM은 다각도 자유 연상(로컬 및 글로벌 뷰)을 수행하여 관련 엔티티들의 논리적 체인을 생성한다 (예: 커피 잔 $\to$ 우유 $\to$ 암소). 이 체인들은 "상상 트리(imagination trees)"의 뼈대를 형성한다.
광범형 패턴 상상 (검색 증강 - Broad-Pattern Imagination): 출력의 반복이나 제한을 방지하기 위해, 프레임워크는 335,570개의 원라이너(one-liner) 농담으로 구성된 큐레이션된 데이터베이스에서 관련 농담을 검색한다. 백본 엔티티와 유머 맥락을 기반으로 쿼리를 구성한다.
HOMER-가지치기 (HOMER-Pruning): 고품질의 상상을 필터링하기 위한 스코어링 메커니즘이다. 점수 $H(e, \varepsilon)$ $H (e, ε)$ 는 세 가지 요소를 결합한다:
1. 관련성-대립 ( $H_{rel}$ ): WordNet 관계를 사용하여 의미적 유사성과 개념적 대립(부조화) 사이의 균형을 맞춘다.
2. 유머 빈도 ( $H_{freq}$ ): 관련 농담에 자주 등장하는 엔티티에 우선순위를 둔다.
3. 품사 다양성 ( $H_{div}$ ): 언어 유희(puns)를 용이하게 하기 위해 어휘적 모호성(예: 여러 품사를 가진 단어)을 장려한다.

3. 캡션 생성기 (Caption Generator)

마지막 모듈은 상황 묘사, 갈등 스크립트, 그리고 상상 트리에서 선택된 경로를 합성한다. 이는 다섯 가지 GTVH 지식 자원(서사 전략 및 언어 스타일 옵션 포함)을 통합한 프롬프트 $\Phi(C, D, P_i, \Omega)$ 를 구성하여 최종적인 재미있는 캡션을 생성한다.

주요 기여

이론 기반 메커니즘: 휴리스틱한 추론에 의존하는 기존 방식과 달리, HOMER는 GTVH 프레임워크를 사용하여 유머 생성을 명시적으로 모델링하며, 스크립트 대립에서 캡션 생성에 이르는 해석 가능한 단계별 과정을 제공한다.
다중 역할 협업: 이 프레임워크는 복잡한 작업을 전문화된 역할(추출, 상상, 생성)로 분해하여, 유머 로직과 재료에 대한 정밀한 제어를 가능하게 한다.
검색 증강 상상력: LLM 기반의 심층 연상과 대규모 농담 데이터베이스로부터의 유머 관련 검색을 결 조합한 "계층적 상상가"를 도입함으로써, 모델의 내재적 지식을 넘어 창의적 공간을 크게 확장했다.
유머를 위한 정량적 스코어링: 관련성, 대립, 빈도, 다양성에 기반하여 상상적 연상을 필터링하고 선택하는 원칙적인 방법인 $H(e, \varepsilon)$ 함수를 제안했다.

실험 결과

본 프레임워크는 두 가지 New Yorker Cartoon 벤치마크 데이터셋인 Humor in AI와 Electronic Sheep에서 평가되었다.

성능: HOMER는 기존의 최첨단 베이스라인(HumorousAI, CLoT, LoL, Phunny 포함) 및 고급 추론 전략(CoT, Few-shot, Self-consistency)을 유의미하게 능가했다.
- Humor in AI 데이터셋 (Top 10 그룹)에서, HOMER는 **pass@1 66.41%**를 달성하여 최상의 베이스라인(HumorousAI, 62.11%)보다 약 6.9% 향상된 성능을 보였다.
- Electronic Sheep 데이터셋 (High-Humor 그룹)에서, HOMER는 **pass@1 75.53%**를 달성하여 최상의 베이스라인보다 약 12.1% 향상된 성능을 보였다.
인간 평가: 12명의 평가자가 방법론을 점수 매긴 연구에서, HOMER는 가장 높은 평균 유머 점수(Humor in AI에서 3.54/5.0, Electronic Sheep에서 3.31/5.0)를 기록하며 모든 베이스라인을 앞질렀다.
절제 연구 (Ablation Studies): 세 가지 핵심 모듈(상황 묘사, 갈등 스크립트, 또는 상상 트리) 중 하나라도 제거하면 성능 저하가 발생하여, 전체 프레임워크의 필요성을 확인했다. 특히 "관련성-대립" 점수가 매우 결정적인 것으로 파악되었다.
일반화: 이 방법은 별도의 밈(Meme) 데이터셋(ImgFlip)에서도 견고한 일반화 능력을 입증했으며, 경쟁 모델들을 평균 약 5.4% 차이로 앞질렀다.
안전성: Detoxify를 사용한 독성 탐지 결과, 유해한 콘텐츠가 미미하게 나타나(독성 점수의 합 < 0.03), 프레임워크가 안전한 캡션을 생성함을 보여주었다.

의의 및 주장

본 논문은 HOMER가 이론에 기반한 멀티모달 유머 생성의 유망한 경로를 제공한다고 주장한다. 주요 의의는 "블랙박스"형 추론에서 벗어나, GTVH를 명시적으로 활용하는 해석 가능하고 모듈화된 프레임워크로 패러다임을 전환했다는 점에 있다. 스크립트 추출, 상상적 확장, 구조적 합성을 통해 유머 생성을 세분화함으로써, 저자들은 현재의 LLM이 프롬프팅만으로 생성할 수 있는 수준보다 더 높은 창의성과 독창성을 달래낼 수 있음을 입증했다. 결과는 외부의 유머 지식(검색을 통해)과 구조화된 이론적 가이드(GTVH를 통해)를 결합하는 것이 LLM 고유의 유머 메커니즘의 한계를 극복하는 데 필수적임을 시사한다. 저자들은 스크립트 대립을 감지하기 어려운 순수 형식적 또는 비유머적 이미지에서는 여전히 어려움이 있음을 언급하며, 유머가 여전히 AI에게 도전적인 영역임을 인정하며 겸허한 태도를 유지하고 있다.