기술 요약: 강화 학습을 활용한 고객 궤적 모델링을 통한 실용적 소매 인사이트 도출

1. 문제 제기

소매점 레이아웃 최적화의 핵심 목표는 주로 충동 구매(제품 배치와 노출에 영향을 받는 자발적 구매) 에 의해 주도되는 이익 극대화입니다. 레이아웃을 최적화하기 위해 소매업체는 고객의 이동 패턴 (궤적) 을 이해해야 합니다. 그러나 실제 세계의 궤적 데이터를 수집하는 것은 비용이 많이 들고, 특히 중소형 소매업체의 경우 종종 불가능합니다.

결과적으로 업계는 저렴한 휴리스틱 근사치에 의존합니다:

• 외판원 문제 (TSP): 고객이 전역적으로 가장 짧은 경로를 따른다고 가정합니다.
• 확률적 최근접 이웃 (PNN): 다음 항목을 근접성에 기반하여 선택하는 확률적 탐욕적 경로를 모델링합니다.

격차: 기존 연구에 따르면 실제 고객 궤적은 최단 경로 추정치에서 평균 **28%**만큼 벗어납니다. 이로 인해 휴리스틱은 저렴하지만 비현실적 (행동적 변이와 제한적 합리성을 포착하지 못함) 이고, 실제 데이터는 정확하지만 과도하게 비싸다는 트레이드오프가 발생합니다. 본 논문은 휴리스틱보다 행동적 정확도가 높으면서도 새로운 기준 데이터 수집보다 접근성이 높은 방법을 제안함으로써 이 격차를 해소하고자 합니다.

2. 방법론

저자들은 고객 궤적 예측을 최대 엔트로피 강화 학습 (MaxEnt RL) 문제로 설정하는 에이전트 기반 모델링 프레임워크를 제안합니다.

2.1 환경 및 데이터

• 데이터 출처: 편의점에서 수집된 익명화된 3D 관절 좌표 및 계산대 장바구니 (2023 년 9 월~2024 년 2 월 수집).
• 이산화: 매장을 $16 \times 36$ 그리드 (셀당 50cm) 로 모델링합니다. 데이터셋은 11 개 카테고리 중 상위 61 개 베스트셀러 제품에 초점을 맞춥니다.
• 전처리: 궤적은 입구에서 시작하여 계산대에서 종료되도록 정규화됩니다. 잘못된 점은 수정되고, 궤적은 $(상태, 행동)$ 시퀀스로 변환됩니다.

2.2 RL 공식화

• 에이전트: 고객은 컨볼루션 신경망 (CNN) 백본을 사용하여 **근접 정책 최적화 (PPO)**로 훈련된 조건부 MaxEnt RL 에이전트로 모델링됩니다.
• 목표: 에이전트는 기대 누적 보상을 극대화하는 동시에 정책 엔트로피를 극대화합니다. 이러한 이중 목표는 에이전트가 단일 결정론적 최단 경로가 아닌 다양하고 작업 유효한 경로를 찾도록 장려하여 제한적 합리성을 효과적으로 모델링합니다.
• 관측치: 에이전트는 다음을 포함하는 다중 레이어 2D 텐서를 관측합니다:
  • 객체 맵 (벽, 선반, 제품).
  • 단계 수 및 시간 단계 예산 (여행 길이 제어).
  • 방문하지 않은 셀의 이진 마스크.
  • 조건부 장바구니 (의도된 구매) 및 계산대 위치.
• 행동: 전진, 왼쪽 회전, 오른쪽 회전, 그리고 픽업/계산대 이동.
• 보상: 픽업된 항목의 정확성, 올바른 계산대 사용, 그리고 시간 단계 예산 준수를 기반으로 합니다. 탐색을 더욱 장려하기 위해 고유한 상태를 방문하면 추가 보상이 부여됩니다.

2.3 베이스라인

RL 접근 방식은 다음과 비교됩니다:

1. TSP: 가능한 최단 경로를 계산합니다.
2. PNN: 거리에 기반하여 다음 제품을 확률적으로 선택합니다 (가까운 항목일수록 확률이 높음).

3. 주요 기여 및 실험 결과

본 연구는 궤적 유사성, 선반 트래픽 추정, 충동 구매율/이익 최적화라는 세 단계를 통해 프레임워크를 평가합니다.

3.1 궤적 생성 정확도

시뮬레이션된 궤적과 실제 인간 데이터를 비교하기 위해 **제이슨 - 샤논 발산 (JSD)**과 **와서슈타인 거리 (WD)**를 사용했습니다:

• 결과: RL 은 TSP 와 PNN 모두를 크게 능가했습니다.
  • 평균 JSD: RL (0.476) < PNN (0.676) < TSP (0.777).
  • 평균 WD: RL (0.00920) < PNN (0.0142) < TSP (0.0176).
• 정성적 통찰: TSP 는 다중 모드 행동 (예: 매장 하단을 통해 더 긴 경로를 취하는 고객) 을 포착하지 못합니다. PNN 은 일부 확률성을 포착하지만 여전히 최단 경로로 편향됩니다. MaxEnt RL 은 인간 행동과 일치하는 다양하고 유효한 궤적을 성공적으로 복원합니다.

3.2 선반 트래픽 밀도 추정

선반 트래픽 밀도 ($\theta_b$) 는 선반이 방문될 확률입니다.

• 방법: 방문된 선반을 표시하기 위해 궤적이 생성되었습니다.
• 결과: RL 로 생성된 트래픽 밀도 지도는 TSP 나 PNN 보다 실제 인간 데이터에 더 가까웠습니다 (낮은 JSD/WD). 휴리스틱은 필수 항목과 계산대 사이의 직접적인 최단 경로에 있지 않은 선반 방문을 예측하지 못했습니다.

3.3 충동 구매율 추정

충동 구매율은 다음 공식을 사용하여 추정되었습니다: $P_{purchase} = P_{visit\_shelf} \times P_{impulse\_rate}$.

• 과제: 특정 제품 클러스터 (예: 클러스터 2) 의 경우, TSP 와 PNN 궤적은 충동 구매 항목 (탄산음료, 과일/요거트) 이 포함된 선반을 단 한 번도 방문하지 않아 0 으로 나누기 오류 또는 무한대 충동 구매율 추정이 발생했습니다.
• RL 성능: RL 궤적은 이러한 선반을 성공적으로 방문했습니다. 절대값은 실제 데이터와 약간 달랐지만, RL 은 충동 구매율의 상대적 순위를 유지했습니다 (과일/요거트보다 탄산음료가 더 충동적임을 올바르게 식별). 반면 휴리스틱은 이를 구분하지 못했습니다.

3.4 레이아웃 최적화 (재배치)

저자들은 이익을 극대화하기 위해 단일 충동 구매 제품을 비어있고 트래픽이 많은 선반으로 재배치하는 것을 시뮬레이션했습니다.

• 의사 결정: 오직 RL 만 실제 인간 데이터에서 도출된 결정과 일치하는 올바른 "가장 수익성 높은" 충동 구매 제품 (탄산음료) 과 올바른 고트래픽 선반 위치를 식별했습니다. TSP 와 PNN 은 비최적의 제품과 위치를 선택했습니다.
• 이익 결과: 실제 인간 궤적으로 평가했을 때, RL 기반 레이아웃은 기준 최적 레이아웃과 비교 가능한 이익 증가 ($0.162) 를 보였습니다. TSP 와 PNN 기반 레이아웃은 각각 $0.090 과$0.050 으로 현저히 낮은 수익을 올렸습니다.

4. 중요성 및 주장

본 논문은 최대 엔트로피 RL 이 과도하게 단순화된 휴리스틱과 데이터 집약적 접근 방식 모두에 대한 실용적이고 행동 기반의 대안을 제공한다고 주장합니다.

• 격차 해소: RL 은 TSP/PNN 의 부정확성과 실제 데이터 수집 비용 사이의 공백을 메웁니다.
• 실행 가능한 인사이트: 휴리스틱과 달리 RL 기반 예측은 실제 고객 행동과 일치하는 재배치 결정을 도출하여 기준 데이터에서 도출된 것과 비교 가능한 이익 증가를 가져옵니다.
• 접근성: 소스 코드와 디지털 트윈 환경을 공개함으로써 저자들은 독점 데이터 수집을 감당할 수 없는 소매업체들에게 정확한 레이아웃 최적화를 접근 가능하게 하려는 목표를 가지고 있습니다.
• 한계 및 향후 작업: 저자들은 견고한 RL 정책 훈련은 계산 비용이 많이 들고 현재 새로운 레이아웃에 대해 재훈련이 필요함을 인정합니다. 레이아웃을 재훈련 없이 일반화하기 위한 도메인 랜덤화 및 내부 에이전트가 행동을 모델링하는 동안 외부 에이전트가 배치를 조정하는 엔드 투 엔드 레이아웃 최적화에 대한 향후 작업을 제안합니다.

결론적으로, 본 연구는 RL 로 생성된 궤적이 단순히 인간 행동에 통계적으로 더 가깝을 뿐만 아니라, 이익 극대화 매장 레이아웃 결정을 주도하는 데 있어 기능적으로 우수함을 보여줍니다.