💬 NLP

CaRGo-T: Causal Reasoning Graph-of-Thought improves Multimodal Humor Comprehension

이 논문은 복잡한 엔티티 및 문맥적 관계를 경량화된 코드 기반 그래프 구조로 표현함으로써 멀티모달 유머 이해와 탐지 능력을 향상시키는 인과 추론 사고 그래프 프레임워크인 CaRGo-T를 소개하며, 다양한 데이터셋에 걸쳐 기존 베이스라인 대비 유의미한 성능 향상을 입증한다.

원저자: Abhilash Nandy, Rahul Seetharaman, Aman Bansal, Rounak Saha, Manav Nitin Kapadnis, Millon Madhur Das, Pawan Goyal, Niloy Ganguly

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhilash Nandy, Rahul Seetharaman, Aman Bansal, Rounak Saha, Manav Nitin Kapadnis, Millon Madhur Das, Pawan Goyal, Niloy Ganguly

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

유머는 인간이 하는 가장 인간다운 행동 중 하나이지만, 기계가 이해하기에는 여전히 가장 어려운 영역 중 하나로 남아 있습니다. 사람이 농담이나 재미있는 사진을 보고 웃을 때, 그들은 단순히 단어나 이미지를 처리하는 것이 아니라 사회적 신호, 문화적 규범, 그리고 예상치 못한 연결 고리라는 복잡한 그물망을 탐색하고 있는 것입니다. 컴퓨터는 사진 속 인물이 하이힐을 신고 있다는 사실은 쉽게 식별할 수 있지만, 왜 그 특정 이미지가 재미있을 수 있는지 이해하는 데는 종종 어려움을 겪습니다. 그 단계에 도달하려면 기계는 미묘한 사건의 연쇄를 파악해야 합니다. 즉, 사람은 멋져 보이기 위해 신발을 신었지만, 그 신발이 신체적 통증을 유발하여 의도와 현실 사이의 충돌을 만들어낸다는 점을 이해해야 합니다. 이러한 종류의 추론은 단순히 사물을 인식하는 것 이상의 것을 요구합니다. 그것은 인과관계, 즉 하나의 행동이 어떻게 다른 결과로 이어지는지, 그리고 그 연결 고리가 어떻게 놀랍거나 아이러니한 결과를 만들어내는지에 대한 이해를 필요로 합니다.

수년 동안 과학자들은 시각-언어 모델(vision-language models)이라 불리는 거대 컴퓨터 시스템이 이러한 과업을 수행할 수 있도록 가르치기 위해 노력해 왔습니다. 이 시스템들은 이미지를 보고 텍스트를 동시에 읽으며 질문에 답하거나 보이는 것을 설명하도록 설계되었습니다. 이들은 많은 작업에서 매우 뛰어난 능력을 보여주었지만, 풍자나 비꼬기, 혹은 밈(meme)을 마주할 때는 자주 실수를 범하곤 합니다. 이들은 이미지와 텍스트를 숨겨진 논리가 있는 하나의 이야기로 다루기보다 단순한 사실의 목록으로 취급하기 때문에 핵심을 놓치는 경우가 많습니다. 그들은 신발과 발을 묘사할 수는 있지만, 그 장면을 유머러스하게 만드는 불편함을 포착하지는 못합니다. 연구자들은 컴퓨터에게 답변을 내놓기 전에 '소리 내어 생각하기(think out loud)'를 요청하는 방식으로 이를 해결하려 했습니다. 이는 기계가 자신의 단계를 글로 쓰는 방식입니다. 그러나 이러한 시도들은 종로종종 모호하거나 반복적인 설명만을 낳았으며, 유머를 이해하는 데 필요한 복잡한 관계를 실제로 포착하지 못했습니다.

이제 한 연구팀이 이러한 기계들이 웃음 뒤에 숨겨진 논리를 볼 수 있도록 돕는 다른 방법을 제べき 제안했습니다. 그들은 CARGO-T, 즉 '인과 추론 그래프-생각(Causal Reasoning Graph-of-Thought)'이라는 새로운 방법을 도입했습니다. 연구진은 컴퓨터에게 자연어 문단을 작성하여 생각을 설명하라고 요구하는 대신, 구조화된 인과관계 지도를 구축하도록 요청했습니다. 그들은 컴퓨터가 장면을 사물, 사람, 사건을 명시적으로 연결하는 간단한 코드 형태의 스크립트로 변환하도록 지시했습니다. 이 스크립트에서 컴퓨터는 단순히 "사람이 신발을 신고 있다"라고 말하는 것이 아니라, "신발을 신는 것은 불편함을 유발한다"라는 문장을 작성합니다. 그런 다음 이 불편함을 멋져 보이려는 목표와 연결함으로써, 유머가 어디에서 발생하는지를 보여주는 명확한 추론의 사슬을 만듭니다. 이 접근 방식은 모델이 이미지의 요소들 사이의 구체적인 연결 고리를 펼쳐 놓도록 강제하며, '재미있다'는 막연한 느낌을 구체적인 사건의 순서로 전환합니다.

이 방법이 효과가 있는지 테스트하기 위해, 연구진은 네 가지 서로 다른 유머러스한 이미지 및 텍ek 컬렉션에 이 방법을 적용했습니다. 이 데이터 세트에는 풍자적인 사진, 인터넷 밈, 그리고 비꼬는 캡션이 결합된 이미지들이 포함되었습니다. 그들은 이 새로운 방법을 기계가 추론하도록 요청하는 표준적인 방식들, 예를 들어 기계가 문단을 쓰는 '소리 내어 생각하기' 기법이나 이미지를 요약하려는 다른 방법들과 비교했습니다. 결과는 명확한 개선을 보여주었습니다. 새로운 방법을 사용했을 때, 무언가가 왜 재미있는지를 이해하는 컴퓨터의 능력은 기존 방식들에 비해 1%에서 20%까지 향상되었습니다. 컴퓨터가 단순히 이미지가 재미있는지 아닌지를 결정해야 하는 과업에서는 정확도가 1~3% 향상되었습니다. 이 수치들이 작아 보일 수 있지만, 인공지능 분야에서 시스템들이 이미 많은 것들에 매우 능숙하다는 점을 고려할 때, 복잡한 인간적 개념을 이해하는 데 있어 작은 진전이라도 매우 유의미합니다.

연구진은 또한 이 과정에서 컴퓨터가 실제로 무엇을 작성하고 있는지 면밀히 살펴보았습니다. 그들은 자신들의 방법으로 생성된 코드 형태의 추론 지도가 다른 방법들이 작성한 문단보다 더 독특하고 유용한 정보를 포함하고 있다는 것을 발견했습니다. 추론 단계가 실제로 정답으로 얼마나 잘 이어지는지 확인했을 때, 새로운 방법이 더 높은 점수를 기록했습니다. 이는 컴퓨터가 인과관계를 구조화된 방식으로 지도화하도록 강제함으로써, 퍼즐을 풀기 위해 필요한 구체적인 논리에 접근할 수 있었음을 시사합니다. 이 연구는 문제가 단순히 컴퓨터에 더 많은 데이터가 필요한 것이 아니라, 이미 가지고 있는 정보를 더 잘 조직하는 방법이 필요했다는 것을 보여줍니다. 유머를 정적인 사실의 집합이 아닌 연결된 사건의 연속으로 다룸으로써, 시스템은 마침내 인간처럼 세상을 바라보며 우리를 웃게 만드는 미묘한 부조화를 인식할 수 있게 되었습니다.

기술 요약: CARGO-T: 멀티모달 유머 이해를 위한 인과 추론 그래프-오브-소트(Graph-of-Thought)

1. 문제 정의

대규모 시각-언어 모델(VLM)이 다양한 작업에서 탁월한 범용성을 보여줌에도 불구하고, 이들은 멀티모달 유머 이해에서 상당한 어려움을 겪고 있습니다. 유머는 종종 사람, 사물, 추상적 개념, 그리고 사건 사이의 미묘하고 비자명한 상호작용에 의존하며, 여기에는 복잡한 사회적 추론, 문화적 리터러시, 그리고 부조화(incongruity)의 탐지가 포함됩니다.

현재의 VLM은 이 영역에서 다음과 같은 구체적인 실패를 보입니다:

정서 상태의 오분류: 풍자(sarcasm)를 놀람(surprise)으로 착각하거나, 협력적인 장면에서의 대인 관계 역동을 파악하는 데 실패하곤 합니다.
문자 그대로의 해석: 다중 양식의 비유적 콘텐츠를 단일한 문자 그대로의 해석으로 축소시켜 버리며, 뉘앙스를 파악하는 데 필수적인 관계적 관점을 놓치는 경향이 있습니다.
기존 추론 방식의 불충분함: Chain-of-Thought(CoT)와 같은 표준 추론 증강 기법은 주관적이고 감정이 담긴 맥락에서 "사후 붕괴(posterior collapse)" 현상을 겪으며, 동적으로 단서를 추론하기보다는 정적인 사전 지식(priors)을 인출하는 데 그칩니다. 마찬가지로, 자기 성찰(self-reflection) 프레임워크는 미세한 정서적 미묘함을 간과하는 노이즈가 섞인, 정렬되지 않은 근거를 생성하기도 합니다.

핵심 과제는 멀티모달 콘텐츠의 기초를 구성하는 **인과 체인(causal chains)**과 **관계적 부조화(relational incongruities)**를 명시적으로 모델링할 수 있는 메커니즘의 부재입니다.

2. 방법론: CARGO-T

저자들은 표준 자연어 추론을 경량화된 코드 기반 추론 구성 요소로 직렬화된 인과 추론 그래프로 대체하는 프레임워크인 **CARGO-T (Causal Reasoning Graph-of-Thought)**를 제안합니다.

핵심 개념

CARGO-T는 객체, 개념, 사건 및 참여자를 설명하는 메타데이터와 함께 **원인-결과 연결(cause–effect links)**만을 유지하는 제한된 하위 클래스의 인과 그래프를 활용합니다. 이러한 결정론적이고 사건 중심적인 구조는 다면적인 멀리모달 시나리오를 모델링하기 위한 해석 가능한 백본 역할을 합니다.

워크플로우

이 프레임워크는 제로샷(zero-shot) 또는 인컨텍스트 학습(in-context learning) 설정 모두에서 두 가지 별개의 단계로 작동합니다:

그래프 생성: VLM이 에이전트, 객체, 개념, 사건의 상호작용을 인코딩하는 명시적인 인과 추론 그래프를 먼저 구축하도록 프롬프트가 주어집니다. 이 그래프는 비구조화된 텍스트가 아닌 코드(예: Python 스타일의 구조) 형태로 출력됩니다.
해석: 동일한 (또는 다른) VLM이 이 코드 기반 그래프를 입력받아 최종 작업(유머 이해 또는 탐지)을 수행합니다.

구현 설정

제로샷 (Zero-Shot): 모델은 작업 쿼리와 입력 이미지/텍스트에만 기반하여 인과 그래프 코드를 생성하고 최종 답변을 도출하도록 요청됩니다. 이는 VLM의 파라미터 지식과 코드 생성 능력에 크게 의존합니다 (GPT-4o와 같은 독점 모델에 유리).
인컨텍스트 학습 (K-Shot): 프롬프트에는 입력(이미지/텍스트)이 수동으로 교정된(manually rectified) 인과 추론 그래프 및 정답과 쌍을 이루는 $K$ 개의 예시가 포함됩니다. 수동 교정은 그래프가 엔티티 식별, 속성 나열, 원인-결과 쌍 정의라는 특정 구조를 준수하도록 보장합니다.

3. 주요 기여

새로운 프레임워크: 시각적 유머 작업을 위해 명시적인 인과 추론 스크립트(코드 형식)를 활용하는 VLM 불가지론적(VLM-agnostic) 프레임워크인 CARGO-T를 도입했습니다.
체계적인 인과 탐색: CARGO-T가 표준 CoT 및 기타 베이스라인이 놓치는 관계적 부조화를 포착하여 체계적인 인과 탐색과 구성적 추론(compositional inference)을 가능하게 함을 입증했습니다.
포괄적인 평가: 풍자, 사카즘, 밈을 다루는 4개의 다양한 유머 데이터셋(YesBut, MemeCap, MMSD 2.0)에 걸친 광범위한 실험을 통해 상당한 성능 향상을 달-성했습니다.
정보 이론적 분석: CARGO-T에 의해 생성된 추론 구성 요소가 베이스라인에 비해 더 많은 작업 관련 정보를 포함하고 있으며, 정답을 더 논리적으로 추론할 수 있음을 정량화하는 상호 정보량(mutual information) 분석을 수행했습니다.

4. 실험 결과

저자들은 GPT-4o, GPT-4o-mini, MiniCPM과 같은 VLM을 사용하여 Vanilla prompting, Chain-of-Thought (CoT), Chain-of-Draft (CoD), 그리고 Compositional Chain-of-Thought (CCoT)를 포함한 베이스라인들과 CARGO-T를 비교 평가했습니다.

유머 이해 (풍자 및 밈 캡셔닝)

성능 향상: CARGO-T는 유머 이해 작업에서 추론 기반 베이스라인 대비 **~1–20%**의 성능 향상을 보였습니다.
모델 불가지론: 이 방법은 독점 모델(GPT-4o)과 오픈 소스(MiniCPM) 모델 모두에서 일관된 개선을 보여주었습니다. 특히, 규모가 작은 오픈 소스 모델에서도 상당한 상승을 제공했는데, 이는 인과 그래프 구조가 파라미터 지식이 제한된 모델을 돕는다는 것을 시사합니다.
퓨샷 역동성 (Few-Shot Dynamics): 인컨텍스트 예시가 증가함에 따라 성능이 향상되었으나, 저자들은 예시의 수보다 인과 그래프 생성의 품질이 더 중요하다는 점을 시사하는 한계 효용 체감 현상을 관찰했습니다.

유머 탐지 (사카즘 및 풍자)

성능 향상: CARGO-T는 베이스라인 대비 유머 탐지 정확도에서 ~1–3%, macro-F1 점수에서 **~0.8–1.05%**의 향상을 보였습니다.
일관성: 이 방법은 다양한 인컨텍스트 예시 수(0-shot, 2-shot, 6-shot)에 걸쳐 Vanilla 및 CoT보다 일관되게 우수한 성능을 보였습니다.

추론 구성 요소 분석

어휘 및 의미적 풍부함: KL 발산(KL Divergence)과 문장 유사도(LSF) 지표를 사용하여, 저자들은 CARGO-T의 추론 구성 요소가 CoT, CoD, CCoT에 비해 훨씬 더 많은 새로운 어휘 및 의미 정보를 포함하고 있음을 발견했습니다.
추론 가능성: "LLM-as-a-judge" 평가(INFERSCORE) 결과, 정답은 CoT (40.78), CoD (40.68), CCoT (37.64)보다 CARGO-T의 추론 구성 요소로부터 더 논리적으로 추론될 수 있었습니다 (CARGO-T 점수: 45.11).

5. 의의 및 주장

본 논문은 CARGO-T가 시각적 유머 이해를 높이기 위해 명시적으로 인과 그래프와 원인-결과 관계를 모델링한 최초의 시도라고 주장합니다.

이 연구의 의의는 다음과 같습니다:

인과적 형식주의 (Causal Formalism): 인과 그래프는 유머를 발생시키는 얽힌 사건과 엔티티의 사슬을 표현하기 위한 자연스러운 형식을 제공하며, 표준 프롬프팅의 흔히 발생하는 노이즈가 많거나 정적인 추론에 대한 구조적인 대안을 제시합니다.
코드로의 추론 (Code as Reasoning): 추론 그래프를 코드로 직렬화함으로써 인과 관계의 체계적인 탐색이 가능해지며, 이는 농담의 울림을 만드는 "예상치 못한 연결"을 탐지하는 데 매우 중요합니다.
작업 관련성 (Task Relevance): 생성된 추론 구성 요소는 단순히 장황한 것이 아니라, 원하는 출력에 관련된 더 높은 상호 정보량을 포함하고 있어 더 강력한 작업 관련 감독(supervision)을 제공합니다.

저자들은 CARGO-T가 모델로 하여ج에서 장면의 인과적 역동성을 명시적으로 지도하게 함으로써, 인간 유머의 복잡성을 탐색하는 VLM의 능력을 효과적으로 메운다고 결론짓습니다.