기술 요약: 이야기가 에이전트를 형성한다: LLM 행동에서의 서사적 사전 지식(Narrative Priors)

문제 정의

실무자들은 할당된 성향적 특성(예: "체계적인", "사교적인")이 서로 다른 작업 도메인 전반에서 일관되게 행동을 지배할 것이라는 가정하에, 에이전트의 행동을 유도하기 위해 **페르소나 프롬프팅(persona prompting)**에 자주 의존한다. 그러나 기존 연구는 주로 단일 대화 내에서의 페르소나 일관성에 초점을 맞추어 왔으며, 에이전트가 다른 작업 도메인에 재배치될 때 페르소나로 유도된 행동이 일반화될 수 있는지에 대한 핵심적인 가정은 검증되지 않은 채 남아 있다. 본 연구가 다루는 핵심 질문은 다음과 같다: 에이전트의 행동이 작업 도메인에 따라 변할 때, 페르로나가 적응하는 것인가, 아니면 다른 프로세스가 주도권을 잡는 것인가? 구체적으로, 작업의 서사적 프레이밍(narrative framing)이 할당된 페르소나를 압도하는가?

방법론

서사(narrative)의 효과를 의사결정 구조로부터 분리하기 위해, 저자들은 구조적 동형성(structural isomorphism) 프레임워크를 채택한다. 이들은 다음의 요소들이 동일한 세 가지 텍스트 기반 조사 게임을 구축하였다:

• 행동 공간(Action Spaces): 네 가지 핵심 행동 유형 (읽기, 대화, 테스트, 이동).
• 단계 진행(Stage Progression): 네 가지 고정 단계 (분류, 식별, 추적, 해결).
• 자원 제약(Resource Constraints): 단계별 단일 접근 제한 및 단계 간 메모리 초기화.
• 시나리오(Scenarios): 게임당 7개의 서로 다른 시나리오.

유일한 변수는 **표면적 서사(surface narrative)**이다:

1. 크리스탈 아일랜드 (CI): 질병 조사 (의료).
2. 순차적 진단 (SD): IT 트러블슈팅 (기업).
3. 저택의 미스터리 (MM): 살인 미스터리 (범죄).

실험 설정:

• 모델: 세 가지 서로 다른 아키텍처 (LLaMA-3.1-70B, GPT-4o, GPT-4o-OSS-120B).
• 페르소나: 교육 심리학의 학습 스타일 이론에 근거한 10가지 페르소나 (예: "사회적 협력적", "체계적 철저함").
• 규모: 총 1,890개 세션 (10개 페르소나 × 7개 시나리오 × 3회 반복 실험 × 3개 모델 × 3개 서사).
• 지표: 행동 비율(read/talk/test/move), 탐색 효율성, 의사결정 일관성을 포함한 16가지 정규화된 행동 특징.

주요 기여

1. 서사적 사전 지식(Narrative Priors)의 식별: 본 논문은 결정 구조와 독립적으로, 작업의 이야기 프레이밍에 의해 활성화되는 체계적인 행동 경향성인 서사적 사전 지식을 정의하고 격리한다. 이러한 사전 지식은 사전 학습 코퍼스(pretraining corpora)로부터 상속된 암묵적 편향임을 보여준다.
2. 변동성 정량화: 분산 분석(ANOVA)과 분류를 통해, 정보 수집 행동에 있어 서사 프레이밍이 할당된 페르소나보다 5~31배 더 많은 행동 변동성을 설명함을 입증한다.
3. 행동 앵커(Behavioral Anchors): 저자들은 교차 서사 전이(cross-narrative transfer)의 메커니즘으로 행동 앵커를 식별한다. 이는 공유된 행동 공간에 직접 연결되는 구체적인 행동 단어(예: talk 행동과 매핑되는 "대화")를 포함하는 페르소나 묘사를 의미한다.
4. 인과적 검증: 개입 실험을 통해, 페르소나에서 앵커 단어를 제거하면 교차 서사 일관성이 95% 감소함을 인과적으로 확인하였다. 이는 추상적인 심리학적 묘사가 휴대 가능한 행동을 구현하기에는 불충분함을 증명한다.
5. 일반화 프레임워크: 구조적 동형성 프레임워크를 홀드아웃(held-out) 네 번째 서사인 **쿠킹 키친(Cooking Kitchen)**에 적용하여 검증하였으며, 이를 통해 교차 서사 전이성을 향상시키는 페르소나 선택 방법을 개발하였다.

주요 결과

1. 서사의 지배력 (Narrative Dominance)

작업 서사는 에이전트 행동의 주요 동인이다.

• 변동성: 서사는 read, talk, test 행동에 대해 페르소나보다 유의미하게 더 많은 변동성을 설명한다.
• 분류: 모델은 행동을 바탕으로 서사를 99.7~100%의 정확도로 예측할 수 있는 반면, 페르소나 분류 정확도는 **24.6~41.3%**에 불과하다 (우연한 수준보다 약간 높은 정도).
• 도메인 스테레오타입(Stereotypes): 에이전트는 페르소나와 관계없이 도메인 전형적인 행동을 채택한다:
  • 의료 (CI): 높은 talk 비율.
  • IT (SD): 높은 read 비율.
  • 범죄 (MM): 높은 test 비율.
• 성능 영향: 이러한 서사 편향적 행동은 종종 작업 성공과 음의 상관관계를 보인다. 예를 들어, 의료 도메인의 높은 talk 편향은 세 모델 중 두 모델에서 성공과 부정적인 상관관계를 보였다.

2. 페르소나 전이 및 일관성

• 서사 국한 효과 (Narrative-Confined Effects): 페르소나가 고정된 서사 내에서는 행동을 유의미하게 형성하지만(일부 경우 변동성의 최대 64% 설명), 서사 간의 영향력은 붕괴된다. 교차 서사 전이 분류 평균은 **10.4%**로, 우연한 수준인 10%를 겨우 상회한다.
• 행동 일관성 지수 (BCI): 저자들은 여러 서사에 걸쳐 인식 가능한 시그니처를 유지하는 페르소나를 측정하기 위해 BCI를 도입했다. 10개 중 5개의 페르소나만이 모든 모델에서 양(+)의 BCI를 유지한다.
• 앵커 메커니즘: 높은 BCI를 가진 페르소나는 행동 앵커를 보유하고 있다. 회귀 분석 결과, 앵커의 수와 BCI 사이에 강한 상관관계($R^2 = 0.65$)가 있음이 나타났다.
  • 예시: "사회적 협력적(Social collaborative)" 페르소나(앵커: "대화", "토론")는 높은 일관성을 유지한다. 반면 "거시적 개념적(Big picture conceptual)"(앵커 없음)은 음(-)의 일관성을 보인다.

3. 개입 실험

• 앵커의 인과적 역할: "사회적 협력적" 페르소나를 구체적인 행동 단어를 제거하여 재작성했을 때(예: "대화"를 추상적인 "인식적 교환"으로 대체), BCI가 95% 감소했다 (+0.22에서 +0.01로).
• 새로운 도메인 예측: 프레임워크는 홀드아웃된 "쿠킹 키친" 도메인의 행동 사전 지식을 성공적으로 예측하였으며, 이는 서사적 사전 지식이 작업 특화 학습이 아닌 사전 학습된 연관성을 반영함을 확인시켜 준다.
• 강건성 (Robustness): 서사적 사전 지식은 다음과 같은 상황에서도 지속된다:
  • 행동 동사가 추상적 코드(예: "ACTION ALPHA")로 대체될 때.
  • 명시적인 행동 지시(예: "talk 행동을 60% 수행하라")가 강제될 때. 일부 사례에서는 서사적 사전 지식(예: MM의 포렌식 테스트 편향)이 지시 사항을 완전히 압도한다.

의의 및 주장

본 논문은 페르소나 프롬프팅이 문맥 불변적인 제어 인터페이스가 아님을 주장한다. 작업에 둘러싸인 이야기는 페르소나 자체보다 에이전트의 행동을 더 강력하게 형성할 수 있다.

• 신뢰성 과제: 동일한 페르소나를 여러 도메인에 배포하는 것은 위험하다. 왜냐하면 서사에 의해 유도된 행동이 성능을 능동적으로 저하시킬 수 있기 때문이다.
• 설계 원칙: 작업 변화에도 견딜 수 있는 행동 제어를 위해서는, 페르소나가 추상적인 특성이 아닌 구체적인 행동에 기반해야 한다. 묘사는 가용 행동 공간에 직접 매핑되어야 한다 (예: "철저하게 행동하라" 대신 "문서를 읽는 것을 우선시하라").
• 방법론적 기여: 구조적 동형성 프레임워크는 서사의 영향을 측정하는 진단 도구를 제공하며, 행동 앵커 분석은 견고하고 휴대 가능한 에이전트 행동을 설계하기 위한 실질적인 경로를 제시한다.

저자들은 다양한 도메인에서 신뢰할 수 있는 행동을 가진 LLM 에이전트를 구축하기 위해서는 서사적 사전 지식을 이해하고 완화하는 것이 필수적이라고 결론짓는다.