기술 요약: 대화형 내러티브 에이전트 평가를 위한 NARRA-Gym

문제 제기

대화형 내러티브 작업은 대규모 언어 모델 (LLM) 이 사용자와의 다중 턴 상호작용 동안 일관되고 진화하는 이야기 세계를 유지하면서 사용자에게 적응할 것을 요구합니다. 이러한 설정은 생성, 기억, 계획, 개인화라는 능력들의 조합을 요구하며, 이들은 지속적인 상호작용 하에서 동시에 작동해야 합니다. 그러나 이 도메인에 대한 기존 벤치마크는 제한적입니다. 표준 평가는 종종 정적이며 단일 턴의 프롬프트, 분리된 이야기 생성, 또는 사후 평가에 초점을 맞춥니다. 결과적으로 현재 벤치마크는 모델이 이야기 생성, 장문맥 상태 관리, 템포 조절, 캐릭터 시뮬레이션, 공감적 개인화, 그리고 이야기 기반 아티팩트 관리를 동시에 수행할 수 있는지 평가하지 못합니다. 모델은 유창한 개별 응답을 생성할 수 있지만, 일관성을 유지하거나 장기적 상태를 관리하거나 사용자의 정서적 궤도에 적응하지 못해 상호작용이 파탄날 수 있습니다.

방법론: NARRA-Gym

이러한 격차를 해소하기 위해 저자들은 희소한 정서적 씨앗을 완전한 대화형 에피소드로 변환하는 실행 가능한 평가 환경인 NARRA-Gym을 소개합니다. 이 시스템은 이야기 구성, 기억 업데이트, 계획, 템포 조절 개입, 그리고 선택적 아티팩트 합성을 포함한 전체 모델 - 인 - 루프 궤적을 기록합니다.

환경 구성

이 환경은 두 가지 주요 단계로 구성된 완전한 에피소드 파이프라인을 통해 모델을 조율합니다:

1. 이야기 구성 (내러티브 아키텍트): 사용자의 정서적 씨앗 (기분/상황에 대한 자유 텍스트 설명) 과 프로파일링 답변을 받으면, 시스템은 이야기 생성을 다섯 가지 기록 단계로 분해합니다:
   • 이야기 기반: 제목, 전제, 주제, 그리고 주인공의 목표를 설정합니다.
   • 배경 구축: 정서적 맥락을 구체적인 세계와 장면 프레임으로 변환합니다.
   • 캐릭터 구축: 배경 이야기, 성격, 그리고 화법을 포함한 캐스팅을 구축합니다.
   • 막 구조: 비평가 - 수정자 루프를 통해 선택적으로 정제될 수 있는 다중 막 개요를 초안합니다.
   • 오프닝 장면: 오프닝 산문, 대화, 분기 선택지, 그리고 숨겨진 요소를 생성합니다.
2. 지속적 상호작용 루프: 초기화되면 에피소드는 네 가지 에이전트 구성 요소에 의해 조정되는 턴 레벨 루프에 진입합니다:
   • 기억 에이전트: 사용자 프로필 (필요, 어조, 경계), 이야기 상태 (현재 목표, 긴장감, 단서), 그리고 사용자 여정 (결정, 정서적 궤적) 의 세 가지 층위에서 맥락을 구성합니다. 단순한 맥락 채우기를 피하기 위해 이 층위들을 서로 다른 빈도로 업데이트합니다.
   • 템포 조절 에이전트: 줄거리가 진행되는지 모니터링합니다. 정체를 방지하기 위한 세 층위의 방어 체계를 사용합니다: 런타임 템포 조절 (부드러운 격려에서 강제적 전환까지 점진적으로 escalation), 정체 감지기 (반복적 패턴 확인), 그리고 모델 출력에 진전이 없을 경우 내러티브 전환을 주입하는 생성 후 구조 가드입니다.
   • 계획 에이전트: 이야기 상태를 반성하여 후속 턴을 위한 구조화된 지침 (해결되지 않은 긴장감, 사용자 관심사, 진전 전략) 을 제공합니다.
   • 아티팩트 에이전트: 내러티브가 유형 소품이 필요할 때 기능적이고 이야기 기반인 HTML/CSS/JavaScript 아티팩트 (예: 편지, 지도, 암호) 를 생성합니다. 최근 기록과 아티팩트 태그를 비교하여 반복을 방지하는 신규성 점수 시스템이 적용됩니다.

평가 프로토콜

저자들은 아홉 개의 최첨단 LLM 을 평가하기 위해 두 가지 상호 보완적인 프로토콜을 사용합니다:

1. 통제된 LLM-as-Judge 스윕: 아홉 개의 생성기 모델 각각이 동일한 여덟 개의 사전 정의된 페르소나 (예: 슬퍼하는 아버지, 압도당하는 새 엄마) 로 실행되어 72 개의 완전한 에피소드를 생성합니다. 이러한 에피소드는 이야기 품질 (관련성, 일관성, 공감, 놀라움, 몰입도, 복잡성, 캐릭터 형성) 과 사용자 경험 (만족도, 지각된 품질, 프로세스 유용성, 재사용 의도) 을 다루는 11 차원 평가 기준에 따라 세 개의 독립적인 판정 모델이 점수를 매깁니다.
2. 인간 선호도 평가: 12 명의 참가자가 고정된 페르소나 대신 맞춤형 대화형 경험에 참여하여 익명화된 모델 출력을 평가합니다. 평가는 그룹 내 순위로 변환되고 플랙킷 - 루스 (Plackett–Luce) 모델을 사용하여 집계되어 각 모델에 대한 잠재적 효용을 추정합니다.

주요 기여

1. 실행 가능한 벤치마크 환경: NARRA-Gym 은 단일 상호작용 루프 내에서 창의적 이야기 생성, 장문맥 상태/템포 조절 관리, 캐릭터 시뮬레이션, 공감적 개인화, 그리고 아티팩트 생성을 동시에 테스트하는 대화형 설정을 정의합니다.
2. 모듈형 내러티브 - 에이전트 파이프라인: 저자들은 다중 해상도 기억, 반성 기반 계획, 정체 방지 제어, 신규성 제약 아티팩트 합성, 그리고 실패 허용 구조적 생성을 특징으로 하는 단계별 파이프라인을 구현합니다. 모든 구성 요소는 검사를 위해 기록되어 특정 실패 모드의 진단을 가능하게 합니다.
3. 비교 평가 프로토콜: 이 논문은 그룹 내 순위 집계와 LLM 판정 프로토콜을 갖춘 인간 평가 프로토콜을 제공합니다. 이러한 설정은 정적 데이터셋에서는 관찰하기 어려운 실패, 즉 저항 민감적 개인화와 장시간 범위 일관성 등을 드러냅니다.

결과

아홉 개의 최첨단 LLM 에 대한 평가는 모델, 페르소나, 그리고 차원 간 상당한 변이를 보여줍니다:

• 성능 변이: Claude Sonnet 4.6이 가장 높은 평균 집계 점수 (StoryQ: 3.90, UX: 3.86) 를 달성했으며 11 가지 세부 차원 모두에서 선두를 차지했고, 이어 Claude Opus 4.6이 뒤를 이었습니다. DeepSeek V4, GPT-5.4, DeepSeek V3.2 와 같은 모델들은 StoryQ 에서 밀집되어 있었지만 뚜렷한 프로필을 보였습니다 (예: DeepSeek V4 는 캐릭터 형성에서 더 강했고, GPT-5.4 는 공감에서 뛰어났습니다).
• 유창성 vs. 견고성: 유창한 이야기를 생성하는 모델들은 종종 견고성, 사용자 경험, 또는 저항 민감적 개인화에서 실패했습니다. 높은 평균 성능이 견고성을 보장하지는 않았습니다. 예를 들어, Opus 4.6 은 강력한 피크를 보였지만 특정 페르소나에서 심각한 붕괴 사례를 보인 반면, Sonnet 4.6 은 일관된 고성능을 유지했습니다.
• 페르소나 난이도: 벤치마크의 난이도는 페르소나 간에 크게 달랐습니다. "Sara"(압도당하는 새 엄마) 는 평균적으로 가장 어려운 페르소나였으며, "Hye-jin"(막힌 작곡가) 은 가장 쉬웠습니다. 이는 모델들이 정서적 양가적 피로보다 창의적 막힘을 더 신뢰성 있게 처리함을 시사합니다.
• 인간 vs. 판정자 불일치: 인간 평가자와 LLM 판정자는 최상위 등급 (Sonnet 4.6 과 Opus 4.6) 에 대해서는 일치했으나 중간 등급에서는 이견을 보였습니다. 인간 평가자들은 특히 사용자 경험 차원에서 LLM 판정자들보다 Qwen3.5 와 Doubao 와 같은 모델을 더 선호했습니다. 이는 자동화된 판정자가 광범위한 선별에는 효과적이지만 인간이 인지하는 템포, 질감, 정서적 공명 등의 뉘앙스를 놓칠 수 있음을 나타냅니다.
• 실패 모드: 수동 감사를 통해 저항 민감적 개인화가 주요 병목 현상으로 확인되었습니다. 문법적으로 깨끗한 에피소드조차도 사용자가 무엇을 저항하고 있는지 추적하지 못해 조기 위안을 제공하거나 저항을 너무 빨리 일반적인 진전으로 전환하는 경우가 많았습니다.

중요성과 주장

이 논문은 대화형 내러티브가 고립된 이야기 품질을 넘어 장시간 범위, 사용자 적응형 LLM 행동을 평가하는 유용한 벤치마크를 제공한다고 주장합니다. 연구 결과는 강력한 내러티브 유창성이 견고성, 인간 선호도 정렬, 또는 시간 경과에 따른 맥락, 캐릭터, 공감 유지 능력을 보장하지 않음을 시사합니다.

저자들은 NARRA-Gym 을 지속적 상호작용에서 계획, 기억, 공감의 상호작용을 얼마나 잘 관리할 수 있는지 평가하는 단계로 위치시킵니다. 그들은 이 벤치마크가 창의적 영역, 게임, 대화형 미디어 응용 분야에서 중요하지만 기존 정적 벤치마크에서는 간과되는 "저항 민감적" 태도 유지와 같은 특정 실패 모드를 강조한다고 지적합니다. 이 작업은 미래의 진전이 고립된 이야기 품질 지표를 넘어 지속적 상호작용 능력을 측정하는 것으로 나아가야 함을 강조합니다.