COMIC: Agentic Sketch Comedy Generation

이 논문은 유튜브 코미디 영상 분석을 통해 학습된 LLM 비평가와 다양한 역할을 수행하는 에이전트 군집을 활용하여, 전문적인 스케치 코미디 수준의 자동화 AI 시스템 'COMIC'을 제안하고 그 성능을 입증합니다.

핵심

이 논문은 **"COMIC"**이라는 이름의 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 흔히 보는 <SNL (Saturday Night Live)> 같은 짧은 코미디 쇼 (스케치 코미디) 를 혼자서 만들어내는 AI입니다.

기존의 AI 가 "재미있는 농담 하나 해봐"라고 하면 어색한 농담을 던지는 것과 달리, COMIC 은 사람들이 실제로 웃을 수 있는 1~2 분짜리 영상을 만들어냅니다.

이 복잡한 시스템을 이해하기 쉽게, **"재능 있는 코미디 제작팀을 AI 로 모방한 과정"**으로 비유해 설명해 드릴게요.

---

1. 핵심 아이디어: "혼자 하는 게 아니라, 팀으로 경쟁하게 하라"

기존의 AI 는 한 번에 대본을 쓰고 영상을 만드는 '한 번의 시도 (Single-pass)' 방식을 썼습니다. 하지만 코미디는 정답이 없기 때문에, 한 번에 좋은 걸 만들기는 어렵습니다.

COMIC 은 실제 코미디 제작 스튜디오를 모방했습니다.

• 비유: 한 명의 작가가 밤새도록 글을 쓰는 게 아니라, 수십 명의 작가들이 각자 다른 방 (섬) 에서 경쟁하며 글을 고쳐 나가는 상황이라고 생각하세요.

2. 시스템이 어떻게 작동하나요? (3 단계 프로세스)

이 시스템은 크게 **글쓰기 (대본)**와 영상 만들기 두 단계로 나뉘며, 각 단계마다 **'비평가 (Critics)'**들이 개입합니다.

① 대본 쓰기: "작가들의 토너먼트"

• 작가들 (Agents): AI 는 여러 개의 '작가 팀'을 만듭니다. 각 팀은 서로 다른 코미디 스타일 (예: 엉뚱한 개그, 냉소적인 유머, 상황극 등) 을 추구합니다.
• 비평가들 (Critics): 여기서 핵심은 실제 유튜브 코미디 채널 (SNL, Key & Peele 등) 의 데이터를 분석해서 만든 'AI 비평가'들입니다. 이 비평가들은 "이 대본이 실제로 사람들이 웃을 만한가?"를 판단합니다.
• 경쟁과 진화:
  1. 작가들이 서로 다른 대본을 냅니다.
  2. 비평가들이 "A 대본이 B 대본보다 더 웃겨요"라고 평가합니다.
  3. 진짜 비유: 이 과정에서 진짜 '토너먼트'가 열립니다. 지는 대본은 이긴 대본의 좋은 점을 배우고, 비평가의 피드백을 받아 수정됩니다.
  4. 이 과정을 여러 번 반복하면, 점점 더 웃긴 대본들이 살아남습니다. (진화론의 '적자생존'과 비슷합니다.)

② 영상 만들기: "연출가와 편집자의 싸움"

• 대본이 완성되면, 이제 **연출가 (Scene Director)**가 등장합니다.
• 스토리보드: "이 장면은 캐릭터가 커피머신 뒤에 숨고, 표정은 당황한 채로"라고 구체적으로 지시합니다.
• 영상 생성: AI 가 이 지시를 바탕으로 이미지와 영상을 만듭니다.
• 비평가의 재점검: 만들어진 영상을 다시 비평가들이 봅니다. "캐릭터 얼굴이 바뀌었네?", "배경이 어색해?"라고 지적하면, AI 는 다시 그 장면을 고쳐 만듭니다.
• 최종 선택: 같은 대본으로 여러 버전의 영상을 만들어놓고, 가장 웃기고 자연스러운 하나를 골라냅니다.

3. 왜 이 방식이 특별한가요?

• 정해진 정답이 없음: 수학 문제처럼 "정답"이 있는 게 아니라, "재미"라는 주관적인 기준이 있습니다. COMIC 은 **사람들이 실제로 유튜브에서 많이 본 영상 (데이터)**을 학습시켜, AI 비평가들이 인간의 취향을 잘 반영하도록 만들었습니다.
• 다양성: 하나의 스타일만 고집하지 않습니다. "어떤 팀은 엉뚱한 개그를, 다른 팀은 날카로운 풍자를" 만들게 하여 다양한 재미를 추구합니다.
• 계산 비용: 좋은 영상을 만들기 위해 많은 컴퓨터 자원 (시간과 돈) 을 쓰지만, 이 비용은 전문 코미디 쇼를 제작하는 비용에 비하면 수천 분의 1 수준입니다.

4. 결론: AI 가 코미디를 배울 수 있을까?

이 연구는 **"인공지능도 반복적인 경쟁과 피드백을 통해, 인간처럼 창의적이고 재미있는 콘텐츠를 만들어낼 수 있다"**는 것을 증명했습니다.

한 줄 요약:

COMIC 은 수십 명의 AI 작가와 비평가들이 서로 경쟁하며 대본을 다듬고, 영상까지 고쳐가며 '최고의 웃음'을 찾아내는 자동화된 코미디 제작 공장입니다.

이 기술이 발전하면, 앞으로 우리가 좋아하는 배우의 목소리와 얼굴을 입력하면, 그 배우가 주연으로 나오는 나만의 맞춤형 코미디 쇼를 AI 가 바로 만들어줄지도 모릅니다!

기술 요약

1. 문제 정의 (Problem Statement)

기존의 생성형 AI 모델은 글쓰기, 코딩, 미디어 생성 등 다양한 분야에서 뛰어난 성능을 보이지만, 유머 (Humor) 생성은 여전히 큰 과제로 남아 있습니다.

• 유머의 주관성: 유머는 맥락에 의존하며, 슬랩스틱 (Slapstick), 건조한 유머 (Dry wit), 초현실주의 (Surrealism) 등 다양한 형태가 존재합니다. 고정된 보상 함수 (Fixed Reward Function) 나 단일 목표 최적화로는 이러한 다차원적이고 주관적인 공간을 탐색하기 어렵습니다.
• 장편 비디오 생성의 한계: 최신 비디오 생성 모델 (Sora, Veo 등) 은 주로 짧은 클립을 생성하며, 서사적 일관성 (Narrative Coherence) 과 캐릭터의 일관성을 유지하면서 긴 형식의 코미디 스키치를 생성하는 것은 여전히 미해결 문제입니다.
• 기존 에이전트 시스템의 부족: 기존 에이전트 기반 비디오 제작 시스템은 고정된 지시사항을 따르는 단일 패스 (Single-pass) 구조로, 창의적인 개선을 위한 반복적인 경쟁과 피드백 메커니즘이 부족합니다.

이 논문은 이러한 문제를 해결하기 위해 **COMIC (Content Optimization via Multi-agent Iterative Competition)**이라는 완전 자동화된 에이전트 시스템을 제안합니다.

---

2. 방법론 (Methodology)

COMIC 은 인간의 프로덕션 스튜디오 구조를 모방하여, 작가 (Writer), 비평가 (Critic), 감독 (Director) 역할을 수행하는 다중 에이전트들이 **경쟁 (Competition)**과 **반복적 개선 (Iterative Refinement)**을 통해 스토리와 비디오를 생성합니다.

2.1. 전체 아키텍처 (Agentic Flow)

시스템은 크게 두 가지 주요 루프로 구성됩니다:

1. 스크립트 작성 루프 (Script Writing Loop): 아이디어를 발굴하고 대본을 다듬는 과정.
2. 비디오 렌더링 루프 (Video Rendering Loop): 대본을 시각적 콘텐츠로 변환하고 품질을 높이는 과정.

2.2. 핵심 기법

• 다중 섬 (Multi-Island) 진화 전략:

  • 전역 스크립트 풀을 여러 개의 고립된 '섬 (Island)'으로 나눕니다.
  • 각 섬은 서로 다른 철학을 가진 **비평가 위원회 (Critic Committee)**에 의해 관리됩니다. 이는 다양한 유머 스타일 (다양성) 을 유지하면서 각 섬 내에서 경쟁을 통해 품질을 높이는 **파레토 프론티어 (Pareto Frontier)**를 형성합니다.
  • 라운드 로빈 토너먼트: 각 섬 내에서 스크립트들이 쌍대 비교 (Pairwise Comparison) 를 수행하며, 패배한 스크립트는 승리한 스크립트의 피드백을 받아 수정됩니다.

• 실제 시청자 선호도 정렬 (Alignment to Real Viewers):

  • 고정된 비평가 프롬프트 대신, YouTube 의 코미디 채널 (SNL, Key & Peele 등) 의 조회수 데이터를 기반으로 **유머 비평가 (Humor Critics)**를 학습시킵니다.
  • 생성 및 선택 (Generate-and-Select): 다양한 페르소나를 가진 후보 비평가 풀을 생성한 후, 실제 시청자 참여 지표 (조회수, 성장 곡선 등) 와 가장 잘 일치하는 비평가들을 선별하여 사용합니다.
  • 작업별 선택 (Task-Wise Selection): '최상위 vs 최하위' (큰 격차 식별) 와 '최상위 vs 중간' (미세한 차이 식별) 과 같은 다양한 비교 태스크에 맞춰 최적의 비평가 세트를 선택합니다.

• 반복적 렌더링 및 토너먼트:

  • 스토리보드 및 메모리: 장면 감독 에이전트가 대본을 샷 (Shot) 단위로 분해하고, 캐릭터/배경의 일관성을 유지하기 위해 메모리 뱅크를 활용합니다.
  • 스크립트 조건부 비평가: 각 샷을 렌더링할 때, 해당 스크립트에 맞춰 생성된 다양한 비평가들이 시각적 품질을 평가하고 피드백을 제공합니다.
  • 단일 탈락 토너먼트 (Single-Elimination Tournament):
    • 샷 수준: 한 샷에 대해 여러 번의 렌더링 시도 (깊이, Depth) 를 수행한 후, 가장 좋은 버전을 선택합니다.
    • 장면 수준: 여러 개의 전체 비디오 시나리오 (너비, Breadth) 를 생성한 후, 최종적으로 가장 훌륭한 비디오를 선택합니다. 이는 추론 시간 (Inference-time) 에 컴퓨팅 자원을 늘려 품질을 높이는 Test-time Scaling 전략입니다.

---

3. 주요 기여 (Key Contributions)

1. 완전 자동화된 코미디 비디오 생성 시스템: 수학이나 코딩과 달리 정답이 없는 개방형 창의적 작업 (Open-ended Creative Task) 인 스키치 코미디를 자동으로 생성하는 최초의 에이전트 시스템입니다.
2. 실제 시청자 데이터 기반의 비평가 정렬: YouTube 코미디 채널의 데이터를 분석하여 유머를 평가하는 LLM 비평가를 자동 생성하고 정렬함으로써, 고정된 보상 함수의 한계를 극복했습니다.
3. 경쟁 기반 다중 섬 진화 프레임워크: 단일 패스 파이프라인을 넘어, 다양한 비평가 위원회 하에서 스크립트와 비디오가 경쟁하며 진화하는 구조를 도입하여 창의성과 품질을 동시에 최적화했습니다.
4. Test-time Scaling 전략: 모델 재학습 없이 추론 시 컴퓨팅 자원 (섬 수, 비평가 수, 렌더링 반복 횟수 등) 을 늘려 성능을 비약적으로 향상시키는 방법을 제시했습니다.

---

4. 실험 결과 (Results)

• 인간 평가 (Human Evaluation):
  • COMIC 은 기존 에이전트 기반 방법 (VGoT, MovieAgent) 과 최첨단 비디오 모델 (Sora 2, Veo 3.1) 을 압도적으로 능가했습니다.
  • 특히 유머 (Funniness), 시청 지속성 (Watch More), 서사성 (Narrative) 분야에서 높은 점수를 받았습니다.
  • 인간이 제작한 전문 코미디와 비교했을 때, "약간 덜 웃기다"에서 "비교 가능함" 수준으로 평가받아, 기존 모델들이 도달하지 못한 수준에 근접함을 보였습니다.
• 자동 평가 (Automated Evaluation):
  • 정렬된 비평가들을 이용한 자동 평가에서도 COMIC 이 다른 모든 베이스라인을 압도했습니다.
  • 다양성 (Inter-Diversity 및 Intra-Diversity) 지표에서 가장 높은 점수를 기록하여, 단일 패스 방식이 가지지 못하는 다양한 유머 스타일을 생성할 수 있음을 입증했습니다.
• Ablation Study:
  • 비평가 제거 (No Critics): 비평가가 없는 경우 모든 지표에서 성능이 급격히 하락하여, 반복적 개선의 중요성을 확인했습니다.
  • 단일 섬 vs 다중 섬: 다중 섬 구조가 단일 섬 구조보다 더 높은 승률과 다양성을 보여주었습니다.
  • 확장성 (Scale): 섬 수, 스크립트 수, 비평가 수를 늘릴수록 (Large 설정) 성능이 선형적으로 향상되었습니다.

---

5. 의의 및 결론 (Significance)

• 창의적 AI 의 새로운 지평: COMIC 은 고정된 목표 함수가 없는 '유머'와 같은 주관적이고 개방형인 도메인에서 AI 가 어떻게 경쟁과 진화를 통해 고품질 콘텐츠를 생성할 수 있는지 보여줍니다.
• 생물학적 진화 이론의 적용: 시스템은 '레드 퀸 가설 (Red Queen Hypothesis)'과 유사하게, 경쟁자 (다른 스크립트) 가 진화함에 따라 스스로도 계속 진화해야 생존 (고품질 유지) 할 수 있는 동적 환경을 구현했습니다.
• 미래 연구 방향: 이 연구는 사운드 효과 추가, 원본성 측정, 그리고 다른 창의적 도메인 (예술, 음악 등) 으로의 확장 가능성을 제시하며, 완전 자동화된 장편 영상 제작의 새로운 표준을 제시합니다.

요약하자면, COMIC 은 다양한 비평가 에이전트들의 경쟁을 통한 반복적 개선과 실제 시청자 데이터 기반의 정렬을 결합하여, 기존 AI 가 도달하지 못했던 수준의 자동화된 코미디 스키치 비디오를 생성하는 획기적인 프레임워크입니다.