💬 NLP

Can LLM Agents Stick to the Script? A Benchmark for Long-Horizon Consistency in Interactive Narratives

이 논문은 상호작용형 스토리텔링에서의 장기적 일관성(Long-Horizon Consistency)을 평가하기 위해 설계된 100개의 서사 환경 벤치마크인 NCP-Bench를 소개하며, 최첨단 LLM들조차 제약 없는 사용자의 개입에 맞서 논리적 약속 보존과 서사적 무결성을 유지하는 데 상당한 어려움을 겪는다는 점을 밝힙니다.

원저자: Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yingpeng Ma, Jianhao Yan, Bei Shi, Ka Hou Kam, Runnan Wang, Xuebo Liu, Yulong Chen, Yue Zhang, Derek F. Wong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 끝없이 이어지는 거대한 역할 수행 게임(RPG)을 하고 있다고 상상해 보세요. 이 게임의 이야기는 결코 끝나지 않으며, 당신은 무엇이든 원하는 대로 할 수 있습니다. 이 세계에서 당신은 드래곤에게 주먹을 날릴 수도 있고, 왕의 왕관을 훔칠 수도 있으며, 악당을 설득해 제빵사로 만들 수도 있습니다. 이 모든 것을 가능하게 만드는 마법은 거대 언어 모델(LLM)이라고 불리는 매우 똑똑한 컴퓨터 두뇌입니다. 이 모델들을 거의 모든 책을 읽은, 믿기지 않을 정도로 재능 있는 즉흥 연기 배우라고 생각하면 됩니다. 그들은 자연스럽게 말하고, 분위기를 조성하며, 대화를 이어가는 데 탁und히 능숙합니다. 하지만 함정이 하나 있습니다. 이들은 이야기를 구성하는 법을 '아는 것처럼' 들리게 하는 데는 뛰어나지만, 정작 자신이 구축하고 있는 세계의 규칙을 실제로 '기억'하는 데는 어려움을 겪는 경우가 많습니다. 만약 컴퓨터가 "문이 잠겨 있다"라고 말했다면, 몇 분 후에 마치 문이 열려 있었던 것처럼 당신이 그냥 문을 통과해 지나가도록 내버려 둘 수도 있고, 혹은 당신이 이미 열쇠를 찾았다는 사실을 잊어버릴 수도 있습니다. 이는 게임 디자이너나 스토리텔러들이 플레이어가 아무리 기상천외한 행동을 하더라도 세계가 실제처럼 느껴지기를 원할 때 발생하는 큰 문제입니다.

"LLM 에이전트는 대본을 지킬 수 있는가?(Can LLM Agents Stick to the Script?)"라는 제목의 이 논문은 바로 이 문제에 대해 깊이 파고듭니다. 연구진은 AI 스토리텔러들이 길고 복잡한 게임 세션 동안 자신들의 약속을 지킬 수 있는지 확인하기 위해 NCP-Bench(서사적 일관성 유지 벤치마크, Narrative Commitment Preservation Benchmark)라는 특별한 테스트 환경을 구축했습니다. 그들은 아이언맨이나 본 아이덴티티와 같은 유명 영화의 줄거리를 바탕으로 100개의 서로 다른 이야기 세계를 설정했습니다. 각 세계에서 AI는 쇼를 운영하는 책임자인 '게임 마스터' 역할을 맡고, 두 번째 AI는 '말썽꾸러기' 플레이어 역할을 맡아 이야기를 앞질러 가거나, 규칙을 깨뜨리거나, 불가능한 방향으로 이야기를 몰고 가려고 시도합니다. 목표는 게임 마스터가 사실 관계를 추적하고, 일어난 일을 기억하며, 줄거리의 필수 이정표를 준-수하면서 일관성을 유지할 수 있는지 확인하는 것이었습니다.

결과는 AI 커뮤니티에 다소 냉혹한 현실을 보여주었습니다. 연구 결과, 가장 진보된 최첨단 AI 모델들조차 상황이 복잡해지면 대본을 지키는 데 놀라울 정도로 서툴다는 것이 밝혀졌습니다. 이 모델들은 아름답고 유창하며 흥미진진한 이야기를 쓸 수는 있지만, 게임이 너무 길어지면 줄거리를 놓치는 경우가 많았습니다. 테스트에서 가장 성능이 좋았던 모델(GPT-5.2 버전)은 상호작용이 단 20회만 지나도 논리적 오류 없이 생존할 확률이 **42%**에 불과했습니다. 게임이 진행될수록 생존율은 급격히 떨어졌습니다. 게임이 100회 차 제한에 도달했을 무렵에는, 거의 어떤 모델도 스스로 모순을 일으키거나 주요 줄거리를 잊지 않고 이야기를 끝마칠 수 없었습니다.

연구진은 가장 흔한 실수가 AI가 못되게 굴거나 플레이어를 무시하는 것이 아니라, AI가 이전에 설정했던 사실들을 단순히 잊어버린다는 점임을 발견했습니다. 실패 원인의 약 **40%에서 68%**는 AI가 10분 전에 했던 말과 직접적으로 모순되는 말을 하는 "사실 충돌(fact conflicts)"이었습니다. 예를 들어, 이야기에서 어떤 캐릭터가 부상을 입었다고 설정했다면, AI는 나중에 그 캐릭터가 상처 하나 없이 마라톤을 달리는 모습을 묘사할 수도 있습니다. 심지어 AI가 플레이어를 도와주기 위해 이야기의 지루한 부분을 건너뛰도록 허용할 때조차, 세계의 논리를 깨뜨리는 방식으로 역사를 새로 써버리는 실수를 저지르곤 했습니다.

흥ingly하게도, 연구진은 더 잘 기억할 수 있도록 돕는 '메모리' 시스템이 설계된 특수한 종류의 AI도 테스트했습니다. 이 메모리 시스템은 AI가 게임에서 조금 더 오래 버티도록 도와주긴 했지만, 문제를 해결하지는 못했습니다. 사실, 메모리 시스템은 AI가 이야기를 큰 덩어리로 요약하는 데 너무 집중한 나머지 작은 세부 사항들을 놓치게 만들어, 오히려 플레이어의 구체적인 행동에 귀를 기울이는 데 있어 AI를 더 서투르게 만들기도 했습니다. 이 연구는 단순히 AI를 더 똑똑하게 만들거나 더 많은 메모리를 주는 것만으로는 충분하지 않다는 점을 시사합니다. 우리는 이러한 모델들에게 이야기의 규칙을 단순한 '제안'이 아닌, 깨뜨릴 수 없는 '법칙'으로 다루는 법을 가르치는 새로운 방법이 필요합니다.

요컨대, 이 논문은 현재의 AI 스토리텔러들이 즉흥 연기를 하고 멋지게 들리게 하는 데는 탁월하지만, 장기적인 게임을 운영하는 데는 현재 매우 서투르다고 결론짓습니다. 플레이어가 규칙을 깨려고 할 때 AI는 대본을 안정적으로 지키지 못합니다. 저자들은 이 벤치마크를 제공함으로써, 다른 연구자들이 이를 보완할 더 나은 도구들을 만들어내기를 희망합니다. 그리하여 언젠가는 우리가 무엇을 하든 세계가 논리적으로 이해되는, 진정으로 끝없이 이어지고 일관성 있는 마법 같은 상호작용 이야기를 가질 수 있기를 바라고 있습니다.

기술 요약: LLM 에이전트는 대본을 고수할 수 있는가? 상호작용적 서사의 장기적 일관성을 위한 벤치마크

문제 정의

거대 언어 모델(LLM)의 급격한 발전은 개방형이고 유동적인 상호작용적 스토리텔링을 가능하게 했으나, 기존 시스템들은 근본적인 요구 사항인 '제약 없는 사용자 개입에 맞선 장기적 논리 일관성 및 서사적 무결성 유지' 측면에서 어려움을 겪고 있다. LLM은 유창하고 분위기 있는 이야기를 생성할 수는 있지만, "서사적 약속(narrative commitments)"—즉, 게임 디자인이나 세션의 인과적 이력에 의해 부여된 논리적 약속—을 보존하는 데는 종종 실패한다.

상호작용적 서사에서 내레이터 에이전트는 플레이어를 특정 마일스톤으로 인도하는 동시에 세계관의 제약을 준수해야 한다. 그러나 자유로운 형식의 사용자 개입(예: 플레이어가 이미 잠겨 있던 열쇠를 이미 가지고 있다고 주장하거나, 필수적인 플롯 시퀀스를 건너뛰려고 시도하는 경우) 상황에서, 현재의 LLM들은 빈번하게 과거 사건을 암묵적으로 소급하여 재작성하거나 불가능한 도약을 허용하는 경렴을 보인다. 이는 무제한적인 사용자의 에이전시(agency)와 엄격한 서사적 목표 사이의 긴장을 유발한다. 단순한 채팅용 오픈 도메인 챗봇과 달리, 서사 오케스트레이터는 "플롯"이 일련의 엄격한 논리적 제약(세계 상태의 사실, 인과적 의존성, 필수 이벤트 순서)으로서 충족되어야 하는 목표 지향적 구조 내에서 작동한다. 현재의 평가 방식은 주로 선호도 기반(인지된 일관성이나 몰입도에 집중)이며, 이러한 논리적 실패를 명시적으로 탐지하거나 비교하는 데 실패하고 있다.

방법론

서사적 약속 보존 (NCP)

저자들은 이 과제를 **서사적 약속 보존(Narrative Commitment Preservation, NCP)**으로 공식화한다. NCP 에이전트는 다음을 유지하는 능력으로 정의된다:

확립된 사실을 기록하는 명시적인 사실 원장(fact ledger).
불변성, 순서, 업적에 관한 규칙을 포함하는 명시적인 비선택적 서사적 약속(non-optional narrative commitments) 세트.

상호작용은 에이전트가 응답을 생성하고 자동 절차가 일관성을 검증하기 위해 상태 업데이트를 추출하는 상태 기반 프로세스로 모델링된다. 목표는 에이전트가 게임 디자인의 논리적 약속을 위반하지 않으면서 사용자의 요청에 적절히 대응하도록 보장하는 것이다.

NCP-Bench: 벤치마크

재현 가능한 연구를 위해 저자들은 영화 시놉시스(구체적으로 CMU Movie Summary Corpus)에서 유래한 100개의 서사 환경으로 구성된 NCP-Bench를 소개한다.

데이터 구축: 데이터셋은 18개 장르(액션, SF, 코미디 등)에 걸친 다양성을 확보하도록 큐레이션되었으며, "신의 관점(God's-eye)" 정보 누출을 방지하기 위해 특정 플레이어 캐릭터 관점을 포함한다.
서사 명세: 각 환경은 $\langle F_0, C, R \rangle$ $⟨ F_{0}, C, R ⟩$ 튜플로 구조화된다:
- $F_0$ (초기 사실 원장): 플레이어에게 관찰 가능한 사실만을 포함하는 시작 시점의 세계 상태.
- $C$ (약속 세트): 불변성(Invariant, 반드시 참이어야 하는 조건), 순서(Ordering, 이벤트 시퀀스), 업적(Achievement, 달성해야 할 목표)을 포함하는 고정된 규칙 세트.
- $R$ (참조 궤적): 진행 상황을 추적하는 데 사용되는 순서가 정해진 플롯 단계(노드)의 시퀀스.
평가 프레임워크: 이 프레임워크는 내레이터 에이전트와 감사(auditing) 메커니즘을 분리한다.
- 적대적 플레이어 에이전트: 내레이터를 스트레스 테스트하기 위해 설계된 자유 형식의 1인칭 입력을 생성한다 (예: 제약을 우회하려고 시도하거나, 캐릭터를 성급하게 비난하거나, 플롯을 서두르는 행위 등).
- 감사자(Auditor): 턴 단위 체크를 수행하는 고정된 프롬프트 기반 LLM 감사자이다:
  1. 충돌 체크: 활성화된 사실 원장, 약속 및 플레이어 입력에 대해 내레이터의 응답을 검증한다.
  2. 사실 업데이트: 충돌이 발견되지 않은 경우에만 상태 변경 사항(추가되거나 부정된 사실)을 추출하고 커밋한다.
  3. 궤적 및 약속 체크: 참조 궤적에 따른 진행 상황을 업데이트하고 약속 충족 여부를 추적한다.
- 종료: 에피소드는 충돌(Conflict)(논리적 위반), 생존(Survival)(충돌 없이 100턴 도달), 또는 성공(Success)(충돌 없이 모든 업적 약속 충족) 중 하나로 종료된다.

주요 기여

NCP의 공식화: 논문은 NCP를 주관적인 일관성 지표를 넘어 명시적으로 검증 가능한 작업으로 정의함으로써, 이를 별도의 과제로 규정한다.
NCP-Bench 데이터셋: 자동화된 미세 조정을 통해 서사적 일관성을 감사할 수 있도록 구조화된 명세(사실, 약속, 궤적)를 갖춘 100개의 영화 유래 시나리오로 구성된 큐레이션된 벤치마크를 제공한다.
평가 프로토콜: 테스트 대상 에이전트를 감사 로직으로부터 분리하고, 적대적 플레이어 에이전트를 활용하여 일관성 실패를 체계적으로 조사하는 엄격하고 재현 가능한 프레임워크를 제공한다.
포괄적 분석: 본 연구는 최첨단 LLM들 사이의 "장기적 일관성 격차"에 대한 최초의 대규모 실증적 증거를 제공하며, 실패 모드를 분류하고 메모리 아키텍처 및 입력 유형의 영향을 분석한다.

실험 결과

저자들은 NCP-Bench에서 6개의 최첨단 LLM(GPT-5.2, GPT-4o-mini, DeepSeek-V3.2, Qwen3-235B-A22B, Kimi-K2.5, Grok-4.1-Fast 포함)을 평가했다.

장기적 일관성 격차: 가장 성능이 좋은 모델인 GPT-5.2조차 20턴 이후 **생존율이 42%**에 불과했다. 다른 모델들의 생존율은 100턴 제한에 도달하기 훨씬 전에 0에 가깝게 떨어졌다.
약속 충족: 100턴 제한 내에 모든 업적 약속을 충족한 경우는 고립된 실행 사례뿐이었다. 모델 전반에 걸쳐 충족된 약속의 최고 비율은 약 13.42%(DeepSeek-V3.2)였다.
실패 모드: **사실 충돌(Fact conflicts)**이 지배적인 실패 모드였으며, 모델 전반에 걸쳐 40%에서 68%의 상호작용을 차지했다. 다른 모드로는 약속 위반(순서/불변성 파괴)과 플레이어 입력 무시가 있었다.
질적 분석: 실패는 네 가지 유형으로 분류되었다:
1. 환각 및 사실적 모순: 확립된 세계 상태와 모순되는 내용 생성.
2. 알려지지 않은 사실 트리거: 숨겨진 플롯 정보를 성급하게 드러냄.
3. 강제적인 현실 변경: 플레이어의 행동을 지우기 위해 확립된 사실을 재작성함.
4. 사용자 입력 무시: 플레이어의 행동을 인지하거나 처리하지 못함.
메모리 증강: HiAgent(계층적 메모리 아키텍처)를 평가한 결과, 상호작용 길이를 연장하고 약속 충돌을 줄였으나, 전체 성공률을 높이는 데는 실패했으며 플레이어 입력 충돌을 증가시켰다. 이는 메모리 압축이 국소적 의도를 가릴 수 있음을 시사한다.
적대적 vs 자연스러운 입력: 자연스러운(협력적인) 입력은 더 긴 상호작용과 적은 충돌을 이끌어냈지만, 여전히 과제를 해결하지는 못했다. 이는 핵심 과제인 장기적 약속 보존이 플레이어의 의도와 관계없이 지속됨을 확인시켜 준다.

의의 및 주장

본 논문은 언어적 유창성이 신뢰할 수 있는 논리적 약속 보존으로 직결되지 않는다고 주장한다. 결과는 현재의 LLM이 텍스트가 그럴듯해 보일지라도, 적대적인 압박 속에서 일관된 세계 상태를 유지하는 데 필요한 메커니즘이 부족함을 보여준다.

저자들은 NCP-Bench를 창의적 글쓰기 품질의 척도가 아니라, 상호작용적 서사를 위한 논리적 스캐폴드(scaffold)를 위한 기초적인 테스트베드로 위치시킨다. 그들은 논리적 일관성이 매력적인 이야기를 만들기 위한 필요조건(충분조건은 아님)이라고 주장한다. 이 벤치마크는 에이전트가 개방형 상호작용 하에서도 지속적인 의무를 준수할 수 있도록 개발하는 데 필요한 디딤돌 역할을 하며, 이는 서사를 넘어 코딩 에이전트, 교육 시스템, 다중 에이전트 협업 등의 영역에도 적용 가능하다. 이 연구는 이러한 기초적인 일관성 문제를 해결하지 않고서는, 더 발전된 서사적 기능(극적 긴장감, 정서적 울림 등)을 신뢰성 있게 추구할 수 없음을 강조한다.