기술 요약: Setoka – 개인화된 에이전트를 위한 계층적 사용자 이해의 벤치마크

1. 문제 정의

대규모 언어 모델(LLM)에 기반한 개인화된 에이전트가 사용자를 보조하기 위해 점점 더 많이 배치됨에 따라, 명시적인 사실을 검색하는 능력을 넘어 추상적인 개인적 특성을 추론하는 능력이 요구되고 있습니다. 그러나 기존의 메모리 벤치마크는 주로 대화 이력에 명시적으로 기술된 정보를 검색하는 능력만을 평가합니다. 이러한 벤치마크들은 이질적인 데이터 소스(예: 비정형 텍크스트, 구조화된 기록, 그래프)로부터 암묵적인 증거를 통합하여 행동 패턴이나 성격 특성과 같은 심층적인 사용자 속성을 추론하는 능력, 즉 계층적 사용자 이해를 평가하는 데 실패하고 있습니다.

이러한 과업을 위한 벤치마크 구축에는 네 가지 주요 과제가 존재합니다:

• C1 (계층적 사용자 이해): 추론 요구사항이 단순한 사실 검색에서 복잡한 성격 추론까지 다양하므로, 이러한 수준을 구분할 수 있는 프레임워크가 필요합니다.
• C2 (현실적인 페르소나 샘플링): 합성된 페르소나는 무작위적인 특성 조합이 아니라, 실제 심리학적 상관관계를 따르는 일관된 개인을 반영해야 합니다.
• C3 (다양한 특성-행동 매핑): 단일 성격 특성은 다양한 맥락에서 다양한 행동으로 나타날 수 있으므로, 생성 방법론은 정형화된 매핑을 피해야 합니다.
• C4 (확장 가능하고 일관된 생성): 장기적인 이질적 사용자 데이터를 생성하려면 시간의 흐름에 따라 기록 간의 일관성을 유지하고 컨텍스트 오버플로 없이 행동 제약 조건을 보존해야 합니다.

2. 방법론

2.1 Setoka 프레임워크

Setoka는 인지 및 성격 심리학에 근거하여 사용자의 이해를 네 단계의 계층으로 정의합니다:

1. 의미 기억 (Semantic Memory, SM): 단일 기록으로부터 명시적인 사실을 검색함 (예: 전화번호).
2. 일화 기억 (Episodic Memory, EM): 특정 사건을 설명하는 기록들을 통합함 (예: "4월 20일에 무슨 일이 있었나?").
3. 행동 패턴 (Behavior Patterns, BP): 시간에 따른 이벤트들을 집계하여 규칙성을 식별함 (예: "사용자는 얼마나 자주 사교 활동을 하는가?").
4. 성격 특성 (Personality Traits, PT): 여러 행동 패턴과 이벤트 카테고리를 가로질러 일반화하여 잠재적인 성향을 추론함 (예: "사용자는 얼마나 외향적인가?").

이 프레임-워크는 선택($\sigma$), 연결($\lambda$), 집계($\gamma$), **일반화($\rho$)**라는 네 가지 연산자를 사용하여 단계 간의 전이를 공식화합니다. 증거 세트는 중첩된 체인($E_{SM} \subseteq E_{EM} \subseteq E_{BP} \subseteq E_{PT}$)을 형성하며, 상위 단계로 갈수록 더 넓은 증거 범위와 추가적인 변환을 요구합니다.

2.2 심리측정 기반 생성 파이프라인

현실적이고 일관된 데이터 생성을 해결하기 위해, Setoka는 다음과 같은 하향식(top-down) 파이프라인을 채택합니다:

• 상관관계 인식 특성 샘플링: 특성을 독립적으로 샘플링하는 대신, 파이프라인은 다변량 가우시안 분포에서 성격 벡터(Big Five)를 추출합니다. 공분산 행렬은 메타 분석된 심리측정 상관관계로부터 도출되어, 합성된 페르소나가 현실적인 특성 간 상호 의존성을 반영하도록 보장합니다.
• 심리학적 척도 가이드 행동 생성: LLM의 정형화된 생성을 방지하기 위해, 샘플링된 특성 벡터는 검증된 심리학적 척도(BFI-2)를 사용하여 행동 패턴으로 매핑됩니다. 이는 특성 점수를 항목 수준의 응답으로 변환하며, 이후 구체적이고 다양한 행동 패턴으로 번역됩니다.
• 이벤트 기반 생성 트리: 장기적인 일관성을 보장하기 위해, 행동 패턴은 시간적 계층 구조를 가진 이벤트로 확장됩니다. 자식 이벤트는 연속성을 보존하기 위해 순차적으로 생성되는 동시에, 세부 사항은 병렬적으로 확장됩니다. 모든 이질적인 기록(로그, 관계, 메시지)은 단일 "근거(source of truth)"인 이벤트를 기반으로 파생되어 교차 스키마 일관성을 유지합니다.
• 쿼리 구축: 테스트 인스턴스 $(q, a, E)$는 생성 과정의 그라운드 트루스(ground truth)를 바탕으로 자동 생성됩니다. 쿼리는 각 단계에서 요구되는 특정 추론 연산자(예: EM을 위한 부분 단서 회복, BP를 위한 통계적 집계)를 격리하도록 설계되었습니다.

2.3 실험 설정

저자들은 약 1,600개의 이질적인 레코드와 23개의 스키마, 그리고 세 가지 데이터 모델(관계형, 그래프, 비정형)을 포함하는 10개의 합성 사용자 프로필로 Setoka를 구현했습니다.

• 평가 모델: 세 가지 LLM (DeepSeek-V4-Flash, Ministral 3 14B, Gemma 3 4B-IT).
• 메모리 시스템: 다섯 가지 패러다임을 나타내는 시스템: 그래프 구조형 (Cognee, HippoRAG 2), 평면 사실 기반 (Mem0), 계층 구조형 (MemMachine, Letta).
• 베이스라인: LLM이 중간 메모리 구축 없이 원시 데이터베이스와 직접 상호작용하는 DBQuery 베이스라인.
• 지표: SM, EM, BP에 대한 LLM-judge 유사도 점수; PT에 대한 켄달 타우(Kendall's rank correlation coefficient) 상관계수 (사용자 간의 올바른 상대적 순위 평가).

3. 주요 결과

• 추상화에 따른 성능 저하: 추상화 단계가 높아질수록 정확도가 단조 감소합니다. 최상의 점수는 **0.85 (SM)**에서 0.46 (EM), 0.28 (BP), **0.24 (PT)**로 떨어졌습니다. 평균 점수 역시 0.37에서 0.07로 떨어지는 유사한 추세를 보였습니다.
• 메모리 구축 vs 직접 검색:
  • DBQuery는 단일 레코드에서 정확한 세부 사항을 검색함으로써 SM(0.85)에서는 우수한 성능을 보였으나, 다중 레코드 통합이 필요한 EM(0.27)에서는 낮은 성능을 보였습니다.
  • MemMachine(계층형)은 미세한 세부 사항 보존과 시간적 컨텍스트 검색의 결ard 덕분에 가장 높은 EM 점수(0.46)를 달성했습니다.
  • 그래프 구조 시스템(Cognee, HippoRAG 2)은 일반적으로 BP 및 PT 작업에서 다른 시스템보다 우수한 성능을 보였으며, 이는 관련 레코드를 연결하는 것이 반복되는 행동을 고차원적 특성으로 집계하는 데 도움이 됨을 시사합니다.
• 응답률 vs 역량: 역설적인 발견은 추상화가 진행됨에 따라 정확도는 감소하는 반면 응답률은 증가했다는 점입니다 (SM 72%에서 PT 93%로). 이는 모델이 증거가 부족할 때 추상적인 특성에 대해 더 많이 "추측"하는 반면, 증거가 없을 때 구체적인 사실 질문에 대해서는 답변을 유보하는 경향이 있음을 나타냅니다.

4. 기여 및 의의

본 논문은 다음과 같은 기여를 주장합니다:

1. 한계점 식별: 기존 벤치마크가 이질적인 데이터 통합을 포함한, 개인화된 에이전트에 필요한 다단계 사용자 이해를 적절히 평가하지 못하고 있음을 강조합니다.
2. 최초의 심리학 기반 프레임워크: 구체적인 기억부터 추상적인 특성까지 아우르는 최초의 프레임워크를 도입하였으며, 각 단계의 증거 범위와 추론 연산을 명시적으로 정의했습니다.
3. 심리측정 기반 파이프라인: 심리학 이론에 근거하여 일관되고 추적 가능한 이질적 사용자 데이터를 생성하는 확장 가능한 파이프라인을 개발하여, 검증 가능한 증거를 가진 단계별 쿼리를 가능하게 했습니다.
4. 포괄적인 평가: 3개의 모델과 5개의 메모리 시스템을 통한 평가를 통해, 단순한 사실 검색만으로는 깊은 사용자 이해에 불충분함을 입증했습니다.

의의:
저자들은 현재의 메모리 메커니즘이 교차 소스 통합 및 장기적 행동에 대한 추상화가 필요한 과업에는 불충분하다고 결론짓습니다. 연구 결과는 단순한 리콜(recall)을 넘어 사용자 증거를 연결, 집계 및 일반화할 수 있는 메모리 시스템 설계의 필요성을 촉구합니다. Setoka는 이러한 분야의 발전을 견인하는 테스트베드 역할을 하며, 검색 능력은 향고되고 있으나 파편화되고 이질적인 데이터로부터 잠재적 속성을 추론하는 능력은 여전히 중요한 미해결 과제로 남아 있음을 보여줍니다.