Controlling Long-Horizon Behavior in Language Model Agents with Explicit State Dynamics

기술 요약: 명시적 상태 역학을 이용한 언어 모델 에이전트의 장기 지평 행동 제어

문제 정의
대규모 언어 모델(LLM) 에이전트는 장기적인 다회차 상호작용 중에 어조와 페르소나가 급격하고 비조직적으로 변하는 현상을 빈번하게 보인다. "순간적 정동 역전(instantaneous affective reversal)"이라 명명된 이 현상은 사회적 일관성과 사용자 신뢰를 저해한다. 기존 연구들은 메모리 메커니즘(예: 검색 증강 메모리)이나 페르소나 기반 프롬프팅을 통해 이를 해결하려 노력해 왔으나, 이러한 방법들은 정보의 저장에 초점을 맞출 뿐 내부 상태의 시간적 진화를 제어하지는 못한다. 결과적으로, 에이전트는 방대한 문맥을 보유하고 있음에도 불구하고 불연속적인 감정 전이를 보일 수 있다. 식별된 핵심 문제는 **관성(inertia)**의 부재이다. 인간의 정동 상태는 모멘텀과 급격한 변화에 대한 저항력 덕분에 점진적으로 변화하지만, 표준적인 상태 비저장(stateless) LLM 추론에는 이러한 속성이 결여되어 있다.

방법론
저자들은 기저의 LLM 파라미터를 수정하지 않고, 추론 시 오버레이로서 작동하며 외부의 저차원 정동 상태에 명시적인 역학 구조를 부여하는 프레임워크를 제안한다.

• 잠재 표현(Latent Representation): 에이전트의 상태는 외부에서 유지되는 연속적인 가치-각성-지배(Valence-Arousal-Dominance, VAD) 벡터 $\mathbf{a}_t \in \mathbb{R}^3$로 표현된다. 분석은 주로 가치(valence) 성분($v_t$)에 집중한다.
• 신호 추출: 각 턴마다 고정된 사전 기반 감정 분석기(VADER)를 사용하여 대화 문맥으로부터 즉각적이고 메모리가 없는 정동 신호($\hat{\mathbf{a}}_t$)를 추출한다.
• 역학 체계(Dynamical Regimes): 상태 지속성과 관성의 영향을 평가하기 위해 네 가지 조건을 비교한다:
  1. 상태 비저장 제어(Stateless Control): 상태가 유지되지 않으며, $\mathbf{a}_t = \hat{\mathbf{a}}_t$이다.
  2. 1차 역학(First-Order Dynamics): 모멘텀이 없는($\mu=0$) 상태 지속성을 도입하며, 지수 평활법으로 모델링된다: $\mathbf{a}_{t+1} = \mathbf{a}_t + \alpha(\hat{\mathbf{a}}_t - \mathbf{a}_t)$.
  3. 2차 역학 (중간 관성, Moderate Inertia): 감정적 속도($\mathbf{u}_t$)와 모멘텀($\mu=0.8$)을 도입하여 감쇠된 물리 시스템을 시뮬레이션한다.
  4. 2차 역학 (높은 관성, High Inertia): 과도한 지속성을 테스트하기 위해 강한 모멘텀($\mu=0.95$)을 적용한다.
• 피드백 루프: 업데이트된 정동 상태는 구조화된 자연어 프롬프트를 통해 생성 문맥에 다시 주입되어, LLM의 어조와 담화 스타일을 조절한다.
• 실험 프로토콜: 실험은 고정된 25회 대화 프로토콜을 사용하며, 적대적 단계(613회차)와 화해 단계(1425회차)로 구성된다. 서로 다른 샘플링 시드를 사용하여 각 조건당 5회의 독립적인 실행을 7B 파라미터 양자화 LLM에서 수행하였다.

주요 기여

1. 명시적 상태 역학: 본 논문은 정동 상태를 단순한 메모리 검색이 아닌, 1차 및 2차 업데이트 규칙에 의해 제어되는 연속 변수로 모델링함으로써 에이전트의 장기 지평 행동을 규제하는 방법을 소개한다.
2. 제어 메커니즘으로서의 관성: 정동 관성(모멘텀으로 모델링됨)을 조정함으로써 시간적 일관성, 지연 응답, 히스테리시스(hysteresis)를 유도할 수 있음을 입증하였으며, 이는 상태 비저장 또는 순수 반응형 모델로는 달성할 수 없는 특성이다.
3. 추론 시 오버레이(Inference-Time Overlay): 이 프레임워크는 모델의 재학습이나 미세 조정(fine-tuning)을 요구하지 않으며, 사전 학습된 모든 LLM과 호환되는 플러그인 서브시스템으로 기능한다.

결과

• 시간적 구조: 상태 비저장 에이전트는 국소적으로는 반응적이지만 시간적으로는 구조화되지 않은 행동을 보였으며, 일관된 하강-회복 패턴을 나타내지 못했다. 반면, 상태 유지 에이전트(1차 및 2차 역학)는 적대적 입력에 대해 지연된 정동 반응을 보였다.
• 회복 역학:
  • 상태 비저장 및 높은 관성($\mu=0.95$) 에이전트는 25회차 범위 내에서 회복(양의 가치로 복귀)에 실패했다.
  • 1차 역학 및 중간 관성($\mu=0.8$) 에이전트는 화해 단계의 시작점(14회차)에서 일관되게 회복되었다.
  • 회복 타이밍은 내부 모멘텀이 아닌 외부 강제력(대화 프로토콜)에 의해 결정되었다. 관성은 궤적의 깊이와 곡률에는 영향을 미쳤으나, 회복 타이밍에는 영향을 미치지 않았다.
• 히스테리시스 및 경로 의존성: 정동 히스테리시스(하강 궤적과 회복 궤적 사이의 면적)는 관성에 따라 단조 증가했다. 상태 비저장 조건은 히스테리시스가 0이었던 반면, 높은 관성 조건은 가장 큰 히스테리시스(AUC = 21.19)를 생성하여, 2차 역학이 뚜렷한 경로 의존성을 도입함을 확인했다.
• 안정성-반응성 트레이드오프: 중간 정도의 관성은 안정성과 반응성의 균형을 맞추어 매끄러운 전환과 회복을 가능하게 했다. 과도한 관성($\mu=0.95$)은 부정적인 정동 상태에 "고착(locking)"되어, 외부의 화해 시도에도 불구하고 적시 회복을 방해했다.

의의 및 주장
본 논문은 정동 관성을 포함하는 것이 에이전트에게 단순한 유능함을 넘어 시간적 일관성을 부여하는 체계적인 메커니즘을 제공한다고 주장한다. 명시적인 물리적 원리에 역학을 고정함으로써, 저자들은 에이전트의 행동을 부적절한 기분 변화로부터 안정화하는 동시에 정당한 문맥 변화에는 민감하게 반응하도록 만들 수 있다고 주장한다.

이 연구는 에이전트의 안정성이 단순히 메모리 용량이나 구조적 변경에 달려 있는 것이 아니라, 외부의 저차원 역학 서브시스템을 통해 달성될 수 있음을 시사한다. 이 접근법은 프롬프트 엔지니어링만으로는 강제하기 어려운 지속성, 지연, 히스테리시스와 같은 시간적 특성에 대한 해석 가능한 제어를 제공한다. 저자들은 이를 기존의 메모리 기반 방법과 상호 보완적인 접근법으로 위치시키며, 특히 인간-로봇 상호작용 및 디지털 정신 건강 중재와 같이 지속적인 사회적 참여와 정서적 신뢰성이 요구되는 분야에서 가치가 높다고 본다.

한계점
저자들은 정동 추출이 거친 사전 기반 추정치에 의존하고 있다는 점과 실험이 단일 대화 프로토콜로 제한되었다는 점을 인정한다. 또한 평가 범위가 유한했음을 언급하며, 더 긴 상호작용에서는 높은 관성 시나리오에서도 결국 회복하는 등의 다른 역학 체계가 나타날 수 있음을 시사한다. 향후 연구로 적응형 관성 및 가치를 넘어선 다차원적 분석을 탐구할 것을 제안한다.