기술 요약: 대화형 추천 시스템 평가를 위한 의사결정 인지형 사용자 시뮬레이션 에이전트

문제 제기

대화형 추천 시스템 (CRS) 은 자동화된 평가를 위해 대규모 언어 모델 (LLM) 기반 사용자 시뮬레이터에 점점 더 의존하고 있습니다. 그러나 현재 시뮬레이터에는 치명적인 한계가 존재합니다: 이들은 기반이 되는 LLM 에서 물려받은 비현실적으로 강력한 정보 처리 능력을 자주 보여줍니다. 실제 인간 소비자와는 달리, 이러한 에이전트들은 과도한 옵션 (선택 과부하) 에 직면했을 때 주저하거나 의사결정을 미루는 모습을 거의 보이지 않습니다. 그 결과, 기존 시뮬레이터들은 지나치게 낙관적인 수용률을 생성하여 실제 전환율을 낮추는 "의도 - 행동 마찰"을 가립니다. 현재 프레임워크들은 심리경제학에 문서화된 인지적 제약과 의사결정 지연 과정을 모델링하지 못합니다.

방법론: Hesitator 프레임워크

저자들은 선택 과부하 하에서 인간의 의사결정을 명시적으로 모델링하도록 설계된 이론 기반 사용자 시뮬레이션 프레임워크인 Hesitator를 제안합니다. 이 프레임워크는 효용 기반 항목 선택과 과부하 인지형 의사결정 (commitment) 을 분리하는 모듈식 의사결정 모듈을 중심으로 구축됩니다.

1. 핵심 아키텍처

이 프레임워크는 사용자 페르소나와 쇼핑 시나리오를 나타내는 전역 상태 $G = (P, S)$에 의해 지배되는 판매 에이전트와 사용자 에이전트 간의 턴 기반 대화로 작동합니다. 의사결정 모듈은 인지적으로 근거된 두 가지 구성 요소로 이루어져 있습니다:

• 선택 모듈 (효용 평가):

  • 메커니즘: Bettman 등 (1998) 의 연구에 기반한 2 단계 휴리스틱에서 보상적 과정으로 구현됩니다.
  • 1 단계 (비보상적 필터링): *속성별 제거 (EBA)*를 사용하여 예산과 같은 경성 제약 조건을 위반하는 후보들을 제거합니다.
  • 2 단계 (보상적 평가): 남은 후보들에 가중치 합산 (WADD) 함수를 적용하여 효용을 추정합니다.
  • 임계값 설정: 가장 높은 효용을 고집 정도에 의존하는 임계값과 비교합니다. 효용이 부족하면 추천이 즉시 거부됩니다.

• 주저 모듈 (의사결정 결정):

  • 메커니즘: 만족스러운 옵션이 존재하더라도 인지 부하가 지각되는 정도에 기반하여 지연 (defer) 할 확률을 모델링합니다.
  • 과부하 벡터: 품목 수, 선택 집합 복잡성, 작업 난이도, 선호도 불확실성에 해당하는 4 차원 벡터 ($v$) 를 통해 선택 과부하를 정량화합니다.
  • 메타분석 보정: LLM 사전 지식에 의존하는 대신, 이 모듈은 Chernev 등 (2015) 의 메타분석에서 얻은 회귀 계수를 사용하여 이산적인 LLM 인지 과부하 수준을 연속적인 효과 크기로 매핑합니다.
  • 확률적 출력: 집계된 과부하 효과 크기 ($d_{total}$) 를 arcsine 기반 비율 변환을 사용하여 수용 확률 ($P_{accept}$) 로 변환합니다. 무작위 표본이 이 확률보다 낮을 때만 구매가 발생하며, 그렇지 않으면 에이전트가 지연합니다.

• 응답 모듈: 내부 결정 (수용, 거부, 지연) 을 LLM 을 통해 자연어 응답으로 변환합니다.

2. 실험 설정

• 도메인: 전자제품 및 비디오 게임 (2023 년 아마존 리뷰).
• 베이스라인: PersonaLens, UserSimCRS, RecUserSim 등 세 가지 최첨단 시뮬레이터와 비교 평가.
• 조건: 저, 중, 심한 인지 과부하 조건 하에서 평가.
• 지표: 성공률 (SR), 주관적 대화 품질, 신뢰성 (환각 비율).

주요 결과

1. 비현실적 행동의 완화

인지 과부하가 증가함에 따라 (저에서 심하게), 베이스라인 시뮬레이터들은 인간 행정과 모순되는 평탄하거나 오히려 증가하는 성공률을 보여주었습니다.

• 교정: 이러한 베이스라인에 의사결정 모듈 (+DM) 을 통합한 결과, 심한 과부하 하에서 성공률이 현저히 감소하여 인간의 인지 패턴과 일치하게 되었습니다.
• 예시: 전자제품 도메인에서 RecUserSim+DM 은 심한 과부하 하에서 성공률이 67.5% 에서 22.5% 로 떨어졌으나, 기본 버전은 높은 수치를 유지했습니다.

2. 심리경제학 현상의 재현

Hesitator 는 확립된 행동 패턴을 성공적으로 재현했습니다:

• 역 U 자 곡선: 정보 부하가 증가함에 따라 초기에는 성공률이 증가했으나 인지 부하가 과도해지면 감소했습니다 (Jacoby 등, 1974).
• 속성 대 품목 수 효과: 속성 정보 증가는 성능을 향상시켰습니다 (진단적 단서 제공), 반면 품목 수 증가는 성능을 저하시켰습니다 (의사결정 갈등 유발). 이는 Tversky 와 Shafir (1992) 의 연구와 일치합니다.
• 선호도 불확실성: 선호도 불확실성이 낮은 (전문성이 높은) 에이전트들은 정보 과부하에 대한 회복력이 더 커서, 정점 이후 기울기가 더 완만하게 나타났습니다.

3. 대화 품질 및 신뢰성

• 품질: Hesitator 는 자연스러움, 명확성, 현실성 등 다양한 차원에서 주관적 평가에서 베이스라인을 능가했습니다.
• 신뢰성: 의사결정 모듈의 추가는 환각 비율을 증가시키지 않았습니다. 오히려 대부분의 시뮬레이터에서 약간 감소시켰습니다 (예: PersonaLens 는 0.1290 에서 0.1088 로 감소).

4. 제거 실험 (Ablation Study)

구조화된 선택 모듈을 제거하고 표준 평가 프롬프트로 대체한 결과, 속성 수가 증가함에 따라 성능이 불안정해졌으며 추가 속성의 예상되는 긍정적 효과를 재현하지 못했습니다. 이는 구조화된 2 단계 의사결정 전략의 필요성을 확인시켜 줍니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 치명적 격차의 식별: 저자들은 기존 LLM 기반 시뮬레이터들이 인지적 제약을欠如하고 있어, 선택 과부하 하에서 비현실적으로 높은 수용률로 인해 CRS 의 성능 추정이 과장된다고 식별했습니다.
2. 플러그 앤 플레이 의사결정 모듈: 의도 - 행동 마찰을 모델링하는 모듈식 구성 요소를 제안하여, 시뮬레이션된 사용자가 환경적 인지 부하에 기반하여 의사결정 결정을 적응하도록 합니다.
3. Hesitator 프레임워크: 이 모듈을 통합한 완전한 시뮬레이션 프레임워크로, 의사결정 연구에서 확립된 행동 패턴 (예: 선택 과부하, 의사결정 갈등) 을 성공적으로 재현합니다.
4. 신뢰할 수 있는 평가 벤치마크: 시뮬레이션된 사용자 행동이 실제 소비자 심리학에서 관찰되는 주저와 지연을 반영하도록 보장함으로써, CRS 평가를 위한 더 현실적이고 신뢰할 수 있는 벤치마크를 제공합니다.

저자들은 에이전트의 지연 행동을 모델 사전 지식이 아닌 대규모 경험적 증거 (메타분석) 에 기반하여 모델링함으로써, Hesitator 가 인지적 제약 하에서 인간의 의사결정 역동을 더 충실하게 표현한다고 결론지었습니다.