HAMLET: A Hierarchical and Adaptive Multi-Agent Framework for Live Embodied Theatrics

이 논문은 간단한 주제만으로 즉흥적이고 물리적 상호작용이 가능한 몰입형 연극을 생성하기 위해 서사 청사진, 적응형 추론 모듈, 그리고 환경 상태 변경을 통합한 계층적 적응형 멀티에이전트 프레임워크인 HAMLET 과 이를 평가하는 HAMLETJudge 를 제안합니다.

핵심

이 논문은 **"HAMLET"**이라는 이름의 새로운 AI 시스템을 소개합니다. 이 시스템은 단순히 대본을 쓰는 것을 넘어, 실시간으로 무대 위에서 살아 숨 쉬는 연극을 직접 만들어내고 연기하는 AI 배우들을 위한 프레임워크입니다.

기존의 AI 연극은 사용자가 매번 "이렇게 말해줘", "저렇게 행동해"라고 지시해야 하거나, AI가 수동적으로 대답만 하는 경우가 많았습니다. 하지만 HAMLET은 스스로 생각하며, 무대 소품을 만지고, 상황에 맞춰 즉흥적으로 연기하는 진정한 '생각하는 배우'를 구현했습니다.

이 복잡한 기술을 쉽게 이해할 수 있도록 한 편의 연극을 만드는 과정에 비유해 설명해 드리겠습니다.

---

🎭 HAMLET: AI 연극의 '지휘자'와 '배우'들

이 시스템은 크게 두 단계로 나뉩니다. 마치 연극을 준비하는 **리허설 (오프라인)**과 실제 **공연 (온라인)**으로 생각하시면 됩니다.

1. 오프라인 기획: "연극의 청사진 그리기"

사용자가 단순히 "하멜트 (Hamlet) 스토리"라고 주제만 던져주면, HAMLET은 다음과 같이 준비합니다.

• 배우 디자이너 & 줄거리 디자이너: 각 캐릭터의 성격, 과거, 목표, 그리고 서로의 관계를 상세하게 설정합니다. (예: "하멜트는 복수심에 불타지만, 우유부단한 면도 있어.")
• 감독 (Director): 이 모든 정보를 모아 **연극의 청사진 (Blueprint)**을 만듭니다. 이 청사진은 "어떤 장면에서 어떤 소품이 필요하고, 결말은 어떻게 되어야 한다"는 큰 흐름만 정해줍니다.
• 심사위원 (Reviewer): 이 계획이 논리적으로 맞는지, 캐릭터가 일관성 있는지 꼼꼼히 검토합니다.

💡 비유: 마치 건축가가 건물의 설계도와 자재 목록만 만들어주는 것과 같습니다. 구체적인 벽돌 쌓기는 실제 공사 현장 (공연) 에서 이루어집니다.

2. 온라인 공연: "실시간으로 살아나는 무대"

이제 청사진을 바탕으로 실제 공연이 시작됩니다. 여기서 HAMLET의 핵심 기술인 PAD(Perceive And Decide, 지각하고 결정) 모듈이 등장합니다.

• PAD 모듈 (배우의 뇌):

  • 기존 AI는 "사용자가 말하면 대답하는" 수동적인 로봇 같았습니다.
  • 하지만 HAMLET의 배우들은 PAD를 통해 두 가지 사고 방식을 가집니다.
    1. 빠른 사고 (System I): 감정에 휩싸여 즉각적으로 반응합니다. (예: 화가 나면 바로 소리치는 것)
    2. 느린 사고 (System II): 상황을 꼼꼼히 분석하고 전략을 세웁니다. (예: "지금 화를 내면 안 되겠지? 일단 웃으며 넘겨야지.")
  • 이 덕분에 배우들은 인간처럼 침묵할지, 말할지, 아니면 무언가를 집어 들지 스스로 결정합니다.

• 내러레이터 (심판관):

  • 배우들이 "칼을 뽑아!"라고 외치면, 내러레이터는 무대 위에 칼이 있는지 확인합니다. 칼이 없으면 "칼이 없으니 못 뽑습니다"라고 판정하고 상황을 수정합니다.
  • 이는 물리적 현실감을 지켜줍니다. (예: 하늘을 날아다니는 행동을 하면 "사람은 날 수 없으니 실패"라고 판정)

• 플래너 & 어드밴서 (진행 요원):

  • 배우들이 대화를 너무 길게 이어가거나 막히면, 어드밴서가 "이제 다음 장면으로 넘어가야 해!"라고 지시하여 이야기가 멈추지 않게 합니다.

💡 비유: HAMLET은 스스로 무대 장치를 옮기고, 상황에 따라 즉흥 연기를 하며, 심판관에게 판정을 받는 프로 배우들입니다. 사용자가 "지금 칼을 뽑아"라고 말하지 않아도, 배우가 스스로 "칼이 필요해"라고 생각하고 행동합니다.

---

🏆 어떻게 평가했나요? (HAMLETJudge)

이 연극이 얼마나 잘 만들어졌는지 평가하기 위해 HAMLETJudge라는 AI 비평가를 만들었습니다.

• 전통적인 평가: "대사가 자연스러운가?", "문법 오류는 없는가?"만 봤습니다.
• HAMLET의 평가:
  1. 배우 연기 (Character Performance): 캐릭터가 제정신으로 연기하는가? 감정이 풍부한가?
  2. 이야기 질 (Narrative Quality): 이야기가 논리적인가? 재미있는 반전이 있는가?
  3. 관객 경험 (Interaction Experience): 이야기가 매끄럽게 이어지는가? 몰입감이 있는가?

이 평가 기준은 인간 전문가들이 직접 만든 데이터를 바탕으로 훈련되어, AI 가 만든 연극의 '예술성'까지 판단할 수 있습니다.

---

🚀 왜 이것이 중요한가요?

기존의 AI 연극은 사용자가 조종사처럼 모든 것을 지시해야 했지만, HAMLET은 자율적인 배우를 만들어냈습니다.

• 자발성: 사용자가 말하지 않아도 배우가 스스로 다음 행동을 결정합니다.
• 신체성: 단순히 말만 하는 게 아니라, 소품을 집거나 문을 여는 등 물리적 행동을 무대에서 수행합니다.
• 현실감: 무대 위의 물리 법칙 (칼이 없으면 못 뽑음) 을 지키며, 인간처럼 감정을 가지고 즉흥적으로 반응합니다.

📝 한 줄 요약

HAMLET은 "주제만 던져주면, AI 가 스스로 대본을 짜고, 배우들이 스스로 생각하고 행동하며, 무대 소품까지 다루는 완전한 실시간 AI 연극을 만들어내는 시스템"입니다. 마치 마법 같은 연극이 실제로 무대에서 펼쳐지는 것과 같습니다.

기술 요약

HAMLET: 실시간 신체화된 연극을 위한 계층적 적응형 멀티에이전트 프레임워크 기술 요약

이 논문은 대화형 내러티브 분야에서 장기적인 목표인 몰입감 있고 상호작용적인 연극 경험을 실현하기 위해 제안된 HAMLET(Hierarchical and Adaptive Multi-agent Framework for Live Embodied Theatrics) 프레임워크에 대해 다룹니다. 기존 LLM 기반 드라마 생성 방법론이 가진 한계 (수동적 반응, 물리적 환경 상호작용 부재, 과도한 사용자 입력 의존성) 를 해결하고, 자율적이고 역동적인 실시간 연극을 가능하게 하는 새로운 아키텍처를 제시합니다.

1. 문제 정의 (Problem Statement)

기존 LLM 기반의 드라마 생성 및 연기 연구는 다음과 같은 주요 한계점을 가지고 있습니다:

• 수동적 상호작용: 대부분의 에이전트가 사용자의 지시를 기다리는 반응형 (Reactive) 모델에 그쳐, 자발적인 주도성 (Initiative) 이 부족합니다.
• 신체화된 상호작용 부재: 연극은 언어뿐만 아니라 무대 소품 조작, 신체적 행동 등 '신체화된 (Embodied)' 행동이 필수적이지만, 기존 시스템은 대사에만 집중하여 물리적 환경과의 상호작용을 무시합니다.
• 높은 입력 의존성: 완성된 스토리 개요나 상세한 가이드 문구가 필요하여 실시간 즉흥 연극의 유연성을 떨어뜨리고 설계 비용을 증가시킵니다.
• 평가 체계 미비: 실시간 연극의 질을 종합적으로 평가할 수 있는 표준화된 방법론이 부재합니다.

2. 방법론 (Methodology)

HAMLET 은 **오프라인 계획 **(Offline Planning)과 **온라인 수행 **(Online Performance)이라는 두 단계로 분리된 계층적 멀티에이전트 프레임워크입니다.

2.1 오프라인 계획 (Offline Planning)

사용자가 간단한 주제 (Topic) 만 입력하면, 여러 에이전트의 협업을 통해 구조화된 내러티브 청사진 (Narrative Blueprint) 을 생성합니다.

• 에이전트 워크플로우:
  • Actor Designer: 검색 모듈을 활용해 외부 지식 베이스를 참조하여 캐릭터의 프로필 (성격, 배경, 목표, 관계) 을 생성합니다.
  • Plot Designer: 주제와 캐릭터를 기반으로 초기 스토리 초안을 작성합니다.
  • Reviewer: 캐릭터 설정의 합리성, 동기 부여, 관계성 등을 검토합니다.
  • Director: 검토를 통과한 내용을 통합하여 계층적 플롯 프로필로 재구성합니다. 이는 '막 (Act)', '장 (Scene)', '서사 포인트 (Narrative Point)', '환경 소품' 등을 정의하며, 역방향 계획 (Backward Planning) 을 통해 결말에서 시작해 논리적 흐름을 구성합니다.

2.2 온라인 수행 (Online Performance)

생성된 청사진을 기반으로 자율 에이전트와 인간 플레이어가 참여하는 실시간 연극이 진행됩니다.

• **PAD 모듈 **(Perceive and Decide) 각 연기 에이전트의 핵심 두뇌입니다. 인간 인지 이론 (카네만의 시스템 1/2) 에 기반하여, 내부 상태(페르소나, 목표, 기억)와 외부 자극(환경, 대화 기록, 상호작용 가능 객체) 을 통합 분석합니다. 이를 통해 즉각적인 반응 (Fast), 신중한 고려 (Slow), 침묵 (Silence), 또는 물리적 행동 (Action) 을 결정하는 전략을 도출합니다.
• 계층적 제어 에이전트:
  • Planner: 현재 지점 (Point) 에서 다음 지점까지의 여러 가능한 경로 (Trajectory) 를 설계하고 검토합니다.
  • Transfer: 현재 스토리 진행 상황 (Flag) 이 충족되었는지 감시하여 다음 단계로 전환합니다.
  • Advancer: 스토리가 정체될 경우 (Deadlock), 에이전트에게 구체적인 지시를 내려 플롯을 진행시킵니다.
• **내레이터 에이전트 **(Narrator) 모든 물리적 행동의 합리성을 판단합니다. 에이전트가 소품을 사용하거나 행동을 취할 때, 환경 상태와 물리 법칙에 따라 성공/실패를 판정하고 전역 환경 상태를 업데이트합니다.

2.3 평가 체계 (Evaluation)

• HAMLETJudge: 연극의 질을 자동 평가하는 전용 크리틱 모델입니다.
• 평가 차원:
  1. **Character Performance **(CP) 캐릭터의 일관성, 신뢰성, 행동의 주도성.
  2. **Narrative Quality **(NQ) 스토리의 일관성, 공명감, 구조적 완성도.
  3. **Interaction Experience **(IE) 시스템의 반응성, 몰입감, 유창함.

3. 주요 기여 (Key Contributions)

1. HAMLET 프레임워크: 간단한 주제만으로 구조화된 청사진을 생성하고, PAD 모듈을 통해 에이전트가 인간과 유사한 자발적 의사결정과 물리적 상호작용을 수행하도록 설계된 최초의 통합 프레임워크 중 하나입니다.
2. 종합 평가 방법론: 텍스트 일관성뿐만 아니라 실시간 연극의 전체적 수행을 평가하는 3 가지 차원 (CP, NQ, IE) 을 정의하고, 이를 위한 HAMLETJudge 모델을 개발하여 비용 효율적이고 신뢰할 수 있는 자동 평가를 가능하게 했습니다.
3. 성능 입증: PAD 와 HAMLETJudge 는 각각 8B 규모의 모델임에도 불구하고, 해당 작업에서 최첨단 (SOTA) 성능을 달성했습니다. 특히 PAD 는 추론 모델의 높은 지연 시간 (Latency) 문제를 해결하면서도 높은 의사결정 품질을 유지합니다.

4. 실험 결과 (Results)

• 벤치마크 성능: HAMLETLeaderboard 에서 다양한 LLM(Open-source, Closed-source, Reasoning 모델) 을 평가했습니다. Claude-4-sonnet-Thinking과 Qwen3-32B-Thinking과 같은 추론 능력이 뛰어난 모델이 높은 점수를 기록했으나, HAMLET의 아키텍처 하에서는 PAD 모듈이 지연 시간을 최소화하면서 안정적인 성능을 보여주었습니다.
• PAD 의 효율성: 추론 토큰을 생성하는 모델들은 지연 시간 (Latency) 이 길어 실시간 연극에 부적합한 경우가 많았습니다. 반면, HAMLET 의 PAD 모델은 지연 시간 패널티 없이 모든 응답 전략 (Fast, Slow, Silence) 에서 일관된 높은 성능을 보였습니다.
• Ablation Study:
  • PAD 제거 시: 에이전트의 상호작용이 비자연스러워지고 일관성이 떨어졌습니다.
  • Reviewer 제거 시: 오프라인 청사진의 질이 낮아졌고, 이는 온라인 수행의 서사 품질 (Narrative Quality) 저하로 이어졌습니다.
  • Advancer 제거 시: 스토리 진행이 멈추는 'Deadlock' 발생률이 31.9% 로 급증하여, 전체 작업 완료율이 68.1% 로 떨어졌습니다.

5. 의의 및 결론 (Significance)

HAMLET 은 LLM 기반의 인터랙티브 내러티브 연구에 다음과 같은 중요한 기여를 합니다:

• 자율성과 몰입감의 실현: 에이전트가 사용자의 상세한 지시 없이도 자발적으로 행동하고, 물리적 환경과 상호작용하며 스토리를 주도할 수 있음을 증명했습니다.
• 실시간 연극의 표준화: 오프라인 계획과 온라인 수행을 분리하고, 물리적 상호작용을 체계적으로 관리하는 아키텍처를 제시하여 향후 실시간 AI 연극 시스템 개발의 기초를 마련했습니다.
• 정량적 평가의 혁신: 기존 텍스트 생성 평가 지표의 한계를 넘어, 연극의 전체적 수행 (Performance) 을 평가하는 새로운 기준과 도구를 제시했습니다.

결론적으로 HAMLET 은 단순한 대화 생성을 넘어, 신체화된 행동과 자발적 사고를 결합한 자율적이고 몰입감 있는 AI 연극을 실현하는 새로운 패러다임을 제시합니다.