기술 요약: ARCANE (Arc-Aware Narrative Evaluation, 호(弧) 인지적 서사 평가)

1. 문제 정의

역할 수행 언어 에이전트(RPLA)는 점차 몰입감 있고 진정성 있는 허구적 캐릭터와의 상호작용을 제공할 것을 요구받고 있다. 그러나 현재의 평가 벤치마크는 주로 캐릭터를 정적인 개체로 취급하며, 단일 시점에서의 사실적 회상, 특성 일관성 또는 표면적인 언어 스타일적 측면에 집중한다. 이러한 접근 방식은 사건이 축적됨에 따라 캐릭터의 가치관, 동기, 행동 패턴이 유의미하게 변화하는 장편 서사의 역동적인 캐릭터 발달 과정을 포착하지 못한다.

TimeCHARA와 같은 기존 벤치마크는 주로 사실적 환각(예: 캐릭터가 아직 일어나지 않은 사건을 알고 있는지 여부)을 탐지하지만, 에이전트의 행동적 및 심리적 반응이 캐릭터의 특정 발달 단계와 일치하는지는 평가하지 않는다. 결과적으로, RPLA는 그럴듯한 응답을 생성할 수는 있으나, 서사적 타임라인과 관련하여 "캐릭터답지 않은(out of character)" 반응을 보일 수 있으며, 이는 이야기의 정체성을 정의하는 심리적 궤적(즉, '캐릭터 아크/호')을 반영하는 데 실패하게 된다.

2. 방법론

2.1 ARCANE 벤치마크

저자들은 ARCANE(Arc-Aware Narrative Evaluation)을 소개한다. 이는 RPLA의 응답이 서사 단계에 따른 캐릭터의 진화하는 심리에 발맞추어 충실하게 변화하는지를 평가하기 위해 설계된 자동 구축 벤치마크이다. 이 데이터셋은 17권의 소설과 80명의 주요 등장인물을 다루며, **544개의 캐릭터 아크(Character Arcs)**와 **4,601개의 프로브(probes)**로 구성된다.

구축 파이프라인은 두 가지 주요 단계로 이루어진다:

• 캐릭터 아크 구축:

  • 이중 스트림 추출(Dual-Stream Extraction): 서사는 두 개의 독립적인 스트림을 통해 처리된다: 이벤트 스트림(심리적으로 영향력 있는 사건 추출)과 상태 스트림(횡단적 심리 프로필 방출).
  • 축 유도(Axis Induction): 이 스트림들은 내부적 변화(예: 신념, 동기)를 추적하는 축과 관계적 변화(예: 신뢰, 적대감)를 추적하는 축을 유도한다.
  • 조정 및 검증(Reconciliation & Validation): LLM이 두 스트림의 후보들을 조정한다. 평가 세트를 위해, 세 명의 인간 주석가가 문학적 타당성, 소설의 범위, 중요성을 기준으로 축을 독립적으로 검증한다. 3명 중 2명 이상의 과반수 승인을 받은 축만이 최종 벤치마크에 포함된다.
  • 구조: 각 아크는 단계(phases)로 분할되며, 심리적 축(예: 해리 포터의 도덕적 축이 "징벌적 정의"에서 "공감적 용서"로 이동함)을 따라 초기 상태에서 최종 상태로의 궤적을 정의한다.

• 프로브 생성:

  • 시나리오 설계: 각 아크에 대해 단일 (시나리오, 질문) 쌍이 생성되며, 아크의 모든 단계에서 테스트된다.
  • 카테고리: 프로브는 원문과의 거리(distance from the source text)에 따라 다음과 같이 분류된다:
    • In-Scenario (시나리오 내): 원문에서 그대로 가져온 것.
    • In-World (세계관 내): 원문 설정 내에 존재하지만 명시적으로 쓰이지는 않은 상황을 창조한 것.
    • Out-of-World (세계관 외): 캐릭터의 아크를 일반화할 수 있도록 다른 시대나 설정으로 전이된 시나리오.
  • 참조 응답: 각 프로브에는 해당 서사 단계의 "골드(gold)" 행동을 정의하는 단계별 참조 응답(행동 + 사고)이 포함된다.

2.2 평가 지표

평가는 두 단계의 지표를 사용한다:

1. 단계별 지표 (Per-Phase Metrics): 해당 단계의 참조 모델과 개별 응답을 비교 평가한다.
   • APF (Action Phase-Fidelity, 행동 단계 충실도): 외적 행동(전략, 가치, 대상)을 등급화한다.
   • RPF (Reasoning Phase-Fidelity, 추론 단계 충실도): 추론을 슬롯(트리거, 평가, 목표, 전략)으로 파싱한다.
   • RAE (Reasoning–Action Entailment, 추론-행동 함의): 행동이 추론에 의해 허용되는지 확인한다.
2. 궤적 지표 (Trajectory Metric):
   • PTF (Phase Trajectory Fidelity, 단계 궤적 충실도): 모든 단계에 걸친 응답의 시퀀스를 평가하여 모델이 아크의 방향과 형태를 추적하는지 확인하며, 인접한 단계를 붕괴시키거나 잘못된 방향으로 이동하는 경우 감점한다.

2.3 컨텍스트 전략

본 연구는 어떤 컨텍스트 모드가 모델을 캐릭터의 상태에 가장 잘 접지(grounding)시키는지 결정하기 위해 여섯 가지 컨텍스트 모드를 비교한다:

• Vanilla (바닐라): 정체성과 쿼리 챕터만 제공.
• Summary (요약): 최근 챕터의 요약본 제공.
• RAG (검색 증강 생성): 검색된 원문 텍스트 청크 제공.
• LifeChoice / TimeCHARA: 기존 벤치마크의 컨텍스트 형식.
• ARC (제안된 방식): 쿼리 챕터에서 절단된, 큐레이션된 '캐릭터 아크'를 제공하여 모델에게 프로브 구축에 사용된 궤적 정보를 노출함.

2.4 모델 학습

저자들은 두 단계의 파이프라인을 사용하여 오픈 웨이트 모델(Qwen3-8B 및 Qwen3-32B)을 미세 조정하였다:

1. 지도 미세 조정 (SFT): ARCANE의 응답 형식과 행동 관습을 학습한다.
2. 직접 선호도 최적화 (DPO): 정답 캐릭터 행동과 그럴듯하지만 시간적으로 어긋난 대안(예: 캐릭터에는 부합하지만 다른 서사 단계에 속하는 행동)을 구별하도록 학습한다.
   이를 통해 ARCANE-8B와 ARCANE-32B가 제작되었다.

3. 주요 결과

• 아크 기반 컨텍스트의 우수성: 여섯 가지 모델(DeepSeek-V4 및 Qwen3 변형 포함)과 여섯 가지 컨텍스트 모드 전반에서, **캐릭터 아크(Character Arc)**를 조건화하는 것이 일관되게 가장 높은 종합 점수를 달성했다. 아크 컨텍스트와 가장 우수한 비-아크 베이스라인 간의 격차는 2.2점에서 8.4점 사이였다.
• 미보유 시나리오에 대한 일반화: 아크 컨텍스트의 이점은 Out-of-World (세계관 외) 시나리오(검색할 관련 원문 텍스트가 없는 경우)에서 가장 두드러졌다. 이러한 경우, 검색 기반 방식(RAG, LifeChoice)은 관련 접지를 제공하지 못했으나, 아크는 필요한 심리적 상태를 제공했다.
• 궤적 추적: PTF 지표에서 아크 기반 모델들이 가장 큰 이득을 보였다. 비-아크 모델들은 때때로 개별 단계에서는 높은 점수를 기록할 수 있었으나, 서사 전반에 걸친 올바른 방향성 변화를 유지하는 데는 자주 실패했다.
• 저명도가 낮은 소설에서의 성능: 아크의 이점은 검증 세트에 포함되지 않은 저명도 소설(예: The Underdogs, East Lynne)에서도 나타났으며, 베이스라인 대비 +4.1에서 +15.3점의 성능 향상을 보였다.
• 학습 효과: DPO를 통한 미세 조정은 특히 In-World 및 Out-of-World 카테고리에서 성능을 더욱 향상시켰는데, 이는 모델이 인접한 발달 단계를 구별하도록 가르쳤기 때문이다. 그러나 DPO는 때때로 In-Scenario 작업에서의 성능을 감소시켰으며, 이는 엄격한 캐논(canon) 준수와 아크 추적 사이의 트레이드오프를 시사한다.

4. 의의 및 주장

본 논문은 ARCANE이 초점을 정적인 페르소나 일관성에서 역동적인 행동 진화로 전환함으로써 RPLA 평가의 결정적인 공백을 메운다고 주장한다. 저자들의 논지는 다음과 같다:

1. 정적인 페르소나는 불충분하다: 진정한 역할 수행을 위해서는 에이전트가 단순히 사실을 회상하는 것을 넘어, 이야기가 진행됨에 따라 자신의 가치와 행동을 적응시켜야 한다.
2. 검색(Retrieval)은 한계가 있다: 표준 검색 방식(RAG)은 원문 텍스트가 탐구하지 않은 시나리오에서 캐릭터 행동을 평가하거나 가이드하는 데 효과적이지 않으며, 명시적인 심리적 궤적(아크)이 필요하다.
3. 아크를 통한 학습이 효과적이다: 대비되는 아크 데이터(SFT + DPO)로 미세 조정하면 모델이 발달 궤적을 더 잘 추적할 수 있게 되어, "캐릭터-행동 환각"을 줄일 수 있다.

저자들은 현재 데이터셋이 영어 소설과 단일 캐릭터의 진화로 제한되어 있지만, ARCANE이 "살아있는" 캐릭터 시뮬레이션의 성격을 평가하기 위한 강력한 프레임워크를 제공한다고 결론짓는다. 이들은 아크가 상호작용을 통해 진전되는 멀티 턴 대화가 이 연구의 자연스러운 다음 단계라고 밝힌다.

인정된 한계점:

• 데이터셋은 영어로만 구성되어 있으며 소설 영역에 국한되어 있다.
• 평가는 사용자-캐릭터 또는 캐릭터-캐릭터 간의 상호작용이 아닌, 축적되는 사건에 따른 단일 캐릭터의 행동에 초점을 맞춘다.
• 원천 자료에는 시대적 사회 태도가 반영된 19세기/20세기 초반의 소설이 포함되어 있어, 유해한 고정관념을 재생산하지 않도록 주의 깊은 처리가 필요하다.
• 본 결과물은 연구 목적으로만 의도되었다.