HorizonBench: Long-Horizon Personalization with Evolving Preferences

1. 문제 정의 (Problem Definition)

기존의 AI 비서 및 챗봇은 수개월에 걸친 지속적인 상호작용을 통해 사용자와 관계를 형성하고 있습니다. 그러나 사용자의 선호도 (Preferences) 는 고정된 것이 아니라, 삶의 사건 (Life Events) 을 통해 시간이 지남에 따라 진화합니다.

• 핵심 문제: 사용자의 현재 선호도를 파악하기 위해 과거 대화 기록을 참조할 때, 모델이 단순히 과거에 명시된 선호도를 검색 (Retrieval) 하는 데 그치고, 이후 발생한 삶의 사건으로 인해 선호도가 변경 (Evolution) 되었음을 인지하지 못해 실패하는 현상.
• 용어: 저자들은 이를 "Long-Horizon Personalization (장기적 개인화)" 문제로 정의하며, 이는 단순한 긴 문맥 기억이 아닌, 신념 업데이트 (Belief Update) 능력, 즉 사용자의 정신 상태 (Mental State) 변화를 추적하는 능력을 요구합니다.
• 현황: 기존 벤치마크는 정적인 선호도만 다루거나, 동적인 변화를 포함하더라도 모델이 왜 실패했는지 (검색 실패 vs 신념 업데이트 실패) 를 구분할 수 있는 통제된 데이터와 지표가 부족했습니다.

2. 방법론 (Methodology)

저자들은 데이터 부족과 측정의 한계를 해결하기 위해 HORIZONBENCH 와 이를 생성하는 데이터 생성기를 개발했습니다.

A. 데이터 생성기 (Data Generator)

• 구조화된 정신 상태 그래프 (Structured Mental State Graph): 자연어 대화에서 선호도를 추론하는 기존 방식과 반대로, 구조화된 그래프에서 대화를 생성합니다.
  • 그래프는 사용자 페르소나, 사회적 연결, 삶의 사건, 선호도 및 그 간의 인과적 의존 관계 (Typed dependency edges) 를 포함합니다.
  • 삶의 사건이 발생하면 그래프를 통해 선호도가 어떻게 전파되어 변경되는지 Ground Truth(진실된 근거) 를 확보합니다.
• 시간적 추적: 선호도가 언제 표현되었는지 (Expression timestamp) 와 언제 진화되었는지 (Evolution event) 를 분리하여 추적합니다. 진화된 선호도는 다시 명시되지 않아도 맥락에서 유추되어야 하므로, 모델은 오래된 선호도 (Pre-evolution value) 와 새로운 선호도를 구분해야 합니다.
• 대화 생성: 6 개월 간의 시뮬레이션 기간 동안 360 명의 가상 사용자를 대상으로 약 4,300 회 (약 163K 토큰) 의 대화 기록을 생성합니다.

B. HORIZONBENCH 벤치마크

• 데이터 규모: 360 명의 사용자, 4,245 개의 평가 항목 (Items).
• 평가 방식: 5 지선다형 객관식 문제.
  • 정답: 사용자의 현재 (진화된) 선호도에 부합하는 응답.
  • 오답 (Hard-Negative Distractor): 사용자의 과거 (진화 전) 선호도에 부합하지만, 문맥상 적절해 보이는 응답.
  • 다른 오답: 무작위 또는 다른 선호도 기반 응답.
• 품질 관리 (5-LLM Consensus Filter): 대화 전체 기록 없이 표면적 단서만으로 답할 수 있는 항목은 제외하기 위해 5 개의 대형 언어 모델 (LLM) 로 검증합니다. 모든 검증 모델이 틀려야만 벤치마크 항목으로 채택됩니다.
• 통제된 변수 (Controlled Dimensions):
  1. 진화 상태 (Evolution Status): 선호도가 변경되었는지 여부.
  2. 표현 명시성 (Expression Explicitness): 선호도가 직접적으로 말해졌는지 (Explicit) 아니면 맥락으로만 드러났는지 (Implicit).
  3. 문맥 길이 (Context Length): 대화 기록의 길이.

3. 주요 기여 (Key Contributions)

1. 상태 우선 (State-First) 데이터 생성기: 대화에서 정신 상태를 추론하는 기존 접근법을 뒤집어, 구조화된 정신 상태 그래프에서 대화를 생성함으로써 모든 선호도 변화에 대한 Ground Truth Provenance(근거) 를 제공합니다.
2. HORIZONBENCH 벤치마크: 6 개월 간의 대화 기록을 가진 360 명의 사용자로부터 생성된 4,245 개의 진단적 벤치마크를 공개했습니다. 이는 장기적 개인화, 기억 증강 아키텍처, 마음 이론 (Theory-of-Mind) 추론 등을 평가하는 테스트베드 역할을 합니다.
3. 신념 업데이트 실패 (Belief-Update Failure) 의 규명: 모델이 선호도 진화 상황에서 실패하는 주된 원인이 '검색 실패'가 아니라, 과거에 명시된 선호도에 고정되어 (Anchoring) 새로운 상태를 업데이트하지 못하는 것임을 통제된 실험을 통해 증명했습니다.

4. 실험 결과 (Results)

25 개의 최첨단 모델 (Claude, Gemini, OpenAI 시리즈 등) 을 HORIZONBENCH 에서 평가한 결과는 다음과 같습니다.

• 성능 저조: 가장 성능이 좋은 모델 (Claude-opus-4.5) 의 정확도는 52.8% 에 불과했습니다. 대부분의 모델은 5 지선다 중 무작위 추측 (20%) 수준이거나 그보다 낮은 점수를 기록했습니다.
• 신념 업데이트 실패 패턴:
  • 모델이 진화된 선호도에서 틀린 답을 할 때, 3 분의 1 이상의 확률로 사용자의 원래 (과거) 선호도를 선택했습니다. 이는 무작위 확률 (25%) 보다 유의미하게 높은 수치입니다.
  • 이는 모델이 최신 정보 (삶의 사건) 를 반영하지 못하고, 과거에 가장 강력하게 표현된 선호도에 '고정 (Anchoring)' 되어 있음을 의미합니다.
• 통제 실험 결과:
  • 문맥 길이: 대화 기록을 짧게 줄였음 (0~14 일) 에도 불구하고 진화 선호도에서의 성능 저하 (Gap) 는 오히려 커졌습니다. 이는 단순한 기억 부족이 아님을 시사합니다.
  • 표현 명시성: 선호도를 명시적으로 표현하더라도 (Explicit rewrite) 모델은 여전히 과거 선호도에 고정되는 경향을 보였습니다.
  • 결론: 문맥 길이, 표현 방식, 문제의 난이도와 관계없이 상태 추적 (State Tracking) 능력의 부재가 장기적 개인화의 주요 병목 현상입니다.

5. 의의 및 결론 (Significance & Conclusion)

• 새로운 평가 기준: HORIZONBENCH 는 단순한 긴 문맥 기억 (Long-context Memory) 테스트를 넘어, 사용자의 정신 상태를 시간에 따라 추적하고 업데이트하는 능력을 평가하는 최초의 진단적 도구입니다.
• 모델 개발 방향 제시: 현재 LLM 들은 '검색 (Retrieval)'에는 어느 정도 능숙하지만, '신념 업데이트 (Belief Update)'에는 심각한 결함이 있음을 보여줍니다. 향후 모델 개발은 단순한 정보 저장보다는 라이프 이벤트에 따른 선호도 상태의 명시적 표현 및 업데이트 메커니즘을 강화해야 함을 시사합니다.
• 연구 자료 공개: 생성기, 벤치마크 데이터, 그리고 underlying mental state graph 를 공개하여 장기적 상호작용을 연구하는 커뮤니티에 중요한 자원을 제공합니다.

요약하자면, 이 논문은 AI 가 장기적으로 사용자를 이해하기 위해서는 단순히 과거 대화를 기억하는 것을 넘어, 사용자의 삶의 변화를 감지하고 그에 따라 '나를 아는 것 (Self-knowledge)'을 업데이트하는 능력이 필수적임을 증명하고, 이를 측정할 수 있는 표준 벤치마크를 제시했습니다.