T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation

이 논문은 온라인 장바구니 추천의 고유한 도전을 해결하기 위해 짧은 기간의 장바구니 의존성과 장기적인 사용자 선호도를 모두 학습하여 차원을 축소하면서도 추천 품질을 유지하는 새로운 트랜스포머 아키텍처인 T-REX 를 제안하고, 기존 모델보다 향상된 성능을 입증했습니다.

핵심

🛒 T-REX: 당신의 장바구니를 알아주는 'AI 비서' 이야기

안녕하세요! 오늘 소개해 드릴 논문은 아마존의 온라인 마트에서 사용하는 **'T-REX'**이라는 인공지능에 대한 이야기입니다. 이 기술은 우리가 장을 볼 때, "다음에 뭐가 필요할까?"를 정확히 맞춰주는 똑똑한 비서 역할을 합니다.

이 복잡한 기술 논문을 누구나 쉽게 이해할 수 있도록, **마치 '요리사'와 '레시피'**에 비유해서 설명해 드릴게요.

---

1. 왜 특별한 비서가 필요할까요? (문제 상황)

일반적인 온라인 쇼핑 (옷이나 가전 구매) 은 "오늘 이거 하나 사고 끝"인 경우가 많아요. 하지만 식료품 쇼핑은 다릅니다.

• 반복성: 우유, 빵, 계란은 매번 사야 하죠.
• 연관성: 파스타를 사면 토마토 소스도 필요하고, 고기를 사면 야채도 필요하죠.

기존의 추천 시스템은 "네가 예전에 자주 산 거"만 나열하는 단순한 방식 (P-Top) 이었습니다. 하지만 이는 마치 **"지난달에 사 먹은 메뉴만 계속 추천하는 요리사"**처럼, 새로운 조합이나 계절에 따른 변화를 놓칠 수 있었죠.

2. T-REX 는 무엇인가요? (해결책)

T-REX는 이 문제를 해결하기 위해 만든 초고급 AI 요리사입니다. 이름처럼 공룡 (T-Rex) 처럼 강력하지만, 실제로는 아주 섬세하게 당신의 장바구니를 분석합니다.

이 AI 는 세 가지 특별한 '요리 비법'을 가지고 있습니다:

🥣 비법 1: "시간을 잘게 썰기" (동적 시퀀스 분할)

• 비유: 당신의 장바구니 기록을 한 번에 다 보는 게 아니라, **중요한 순간 (피벗)**을 찾아서 과거와 미래를 나누어 봅니다.
• 설명: 예를 들어, "어제 우유를 산 순간"을 기준으로 그전에는 '과거의 습관'을, 그다음은 '앞으로 살 물건'을 학습합니다. 이렇게 하면 새로운 고객이라도 과거의 일부 기록만 있어도 "아, 이 사람은 보통 이걸 사네!"라고 빠르게 추측할 수 있습니다.

⏰ 비법 2: "시간 감각을 조정하기" (적응형 위치 인코딩)

• 비유: 일반 AI 는 "1 번, 2 번, 3 번"처럼 규칙적인 리듬을 따르지만, 장보기는 "일주일에 한 번"이나 "한 달에 한 번"처럼 리듬이 불규칙합니다.
• 설명: T-REX 는 "어제 산 것"과 "한 달 전에 산 것"의 시간 간격을 정확히 계산해서, "아, 이 사람은 한 달에 한 번씩 고기를 사네"라고 이해합니다. 단순히 순서만 보는 게 아니라 시간의 흐름을 진짜로 이해하는 거죠.

📦 비법 3: "제품이 아닌 '카테고리'로 생각하기"

• 비유: 2 만 9 천 가지의 개별 제품 (사과, 바나나, 오렌지...) 을 하나하나 외우는 건 너무 어렵죠. 대신 **"과일", "유제품", "육류"**라는 큰 통으로 묶어서 생각합니다.
• 설명: AI 가 35 개 (나중에 280 개) 의 큰 카테고리만 기억하면, 계산이 훨씬 빨라지고 정확도도 올라갑니다. 고객들도 "오늘 과일 사야지"라고 생각하니까, AI 도 카테고리 단위로 추천하는 게 훨씬 자연스럽습니다.

3. 왜 기존 방식 (BERT) 보다 좋을까요?

기존의 유명한 AI 모델 (BERT4Rec 등) 은 "빈칸 채우기" 게임을 하듯, 문장 중간에 있는 단어를 맞추는 데는 탁월합니다. 하지만 장바구니 추천은 앞으로 무엇을 살지 예측하는 것이 핵심입니다.

• 기존 방식의 문제: 미래의 장바구니를 예측할 때, 실수로 미래 정보를 미리 보고 ("peek") 정답을 맞춰버리는 경우가 있었습니다. (실제 상황에서는 불가능하죠!)
• T-REX 의 해결: **엔코더 (과거 분석가)**와 **디코더 (미래 예언자)**를 따로 분리했습니다. 과거의 패턴을 학습한 엔코더가 정보를 전달하면, 디코더는 오직 지금까지 산 것만 보고 미래를 예측합니다. 그래서 더 현실적이고 정확한 추천이 가능합니다.

4. 결과는 어땠나요? (성공 스토리)

이 기술을 실제 아마존 마트에 적용해 보니 놀라운 결과가 나왔습니다.

• 더 많은 장바구니 채우기: 고객이 장바구니에 담고 싶은 물건의 90% 이상을 T-REX 가 상위 10 개 추천 안에 포함시켰습니다.
• 작은 장바구니도 잘 맞췄음: 장을 볼 게 별로 없는 날 (<5 개) 에도 T-REX 는 기존 방식보다 30% 더 잘 맞춰주었습니다. (기존 방식은 데이터가 부족하면 추측을 못 했지만, T-REX 는 다른 고객들의 패턴까지 참고했기 때문입니다.)
• 실제 매출 상승: 실제 A/B 테스트에서 T-REX 가 추천한 상품을 구매하는 비율이 기존 시스템보다 약 23% 더 높았습니다.

5. 한 줄 요약

T-REX는 단순히 "네가 자주 산 거"를 나열하는 게 아니라, **"네가 언제, 어떤 패턴으로 장을 보는지"**를 깊이 이해하고, 카테고리 단위로 정리하여 당신이 다음에 살 물건을 가장 자연스럽게 제안해주는 똑똑한 장보기 비서입니다.

이 기술 덕분에 고객들은 더 빨리, 더 만족스럽게 장을 볼 수 있게 되었고, 아마존은 더 많은 매출을 올릴 수 있게 되었답니다! 🛒✨

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 온라인 식료품 쇼핑은 일반 전자상거래 (가전, 의류 등) 와 달리 반복적인 구매 패턴과 장바구니 내 복잡한 아이템 간 관계 (보완재 등) 를 특징으로 합니다.
• 기존 접근법의 한계:
  • 기존 추천 시스템 (고객 유사성, 잠재 애착도 모델 등) 은 탐색적 구매에는 효과적이지만, 식료품 쇼핑의 구조적이고 반복적인 특성을 포착하는 데 실패합니다.
  • 단순한 '개인별 최빈도 추천 (P-Top)'조차 복잡한 신경망 모델보다 성능이 좋거나 비슷하게 나오는 경우가 많아, 기존 모델들의 성능이 낮았습니다.
  • BERT4Rec과 같은 기존 Transformer 기반 모델은 양방향 (Bidirectional) 마스킹을 사용하여 아이템 관계를 학습하지만, '다음 장바구니 생성' 작업에는 정보 누출 (Information Leakage) 문제가 발생하여 부적합합니다. (미래의 구매 정보를 입력으로 간접적으로 참조할 수 있음)
• 목표: 고객의 구매 이력을 기반으로 개인화된 식료품 카테고리 (Category) 단위의 다음 장바구니를 생성하는 정밀한 추천 시스템 구축.

2. 제안 방법론: T-REX 아키텍처

저자들은 식료품 쇼핑의 고유한 특성을 반영하기 위해 T-REX라는 새로운 Transformer 아키텍처를 제안했습니다. 핵심 구성 요소는 다음과 같습니다.

가. 카테고리 레벨 모델링 (Category-Level Modeling)

• 문제: 29,000 개 이상의 개별 제품 (SKU) 을 직접 모델링하면 데이터 희소성 (Sparsity) 과 계산 복잡도가 매우 높음.
• 해결: 아마존 식료품 분류 체계 (Taxonomy) 를 활용하여 29,000 개 제품을 **35 개 (초기) ~ 280 개 (확장)**의 카테고리로 매핑.
  • 장바구니 크기 변동을 관리 가능하게 함.
  • 제품 간 관계 대신 카테고리 간 의존성을 직접 모델링.
  • 계절적 변동성을 카테고리 트렌드로 포착.
  • 추론 시 계산 복잡도를 대폭 감소시켜 실시간 처리 가능.

나. 인코더 - 디코더 구조 (Encoder-Decoder Architecture)

• BERT4Rec 의 한계 극복: BERT4Rec 은 양방향 마스킹을 사용하지만, T-REX 는 **인과적 마스킹 (Causal Masking)**을 적용한 인코더 - 디코더 구조를 채택합니다.
  • Encoder: 고객 기반의 일반적인 장바구니 구성 패턴을 학습하고, 검색어, 탐색 행동 등 추가 신호를 유연하게 통합.
  • Decoder: 과거 구매 이력 (Encoder 출력) 과 교차 주의 (Cross-Attention) 를 통해 개인화된 다음 장바구니를 생성.
  • 이 구조는 장바구니 생성의 순차적 특성에 부합하며, 미래 정보를 누출하지 않습니다.

다. 동적 시퀀스 분할 (Dynamic Sequence Splitting)

• 전략: 각 고객의 구매 이력을 학습 데이터로 변환할 때, 고정된 세션 단위가 아닌 **시간 의존적 피벗 (Pivot)**을 기준으로 동적으로 분할합니다.
  • 랜덤하게 선택된 타임스탬프 ($t_p$) 를 기준으로 이전 데이터는 Encoder 입력, 이후 $n$개의 구매는 Decoder 타겟으로 설정.
• 장점:
  • 다양한 시간적 컨텍스트를 학습하여 일반화 능력 향상.
  • 새로운 고객이나 짧은 이력을 가진 고객에게도 효과적.
  • 세션 중 (Mid-session) 실시간 추천 생성이 가능하여 실제 적용성 증대.

라. 적응형 위치 인코딩 (Adaptive Positional Encoding)

• 도전 과제: 식료품 쇼핑은 NLP 와 달리 구매 간격이 수 일에서 수 주까지 불규칙함.
• 해결: 절대적 위치 인코딩 대신 **피벗 구매를 기준으로 한 정규화된 상대적 위치 (Normalized relative positions)**를 사용합니다.
  • 피벗 구매 전후의 '일수 (Days)'를 위치 정보로 인코딩하여 희소한 시간적 패턴을 효과적으로 포착.

3. 주요 기여 (Key Contributions)

1. 효율적인 샘플링 전략: 희소한 쇼핑 패턴을 처리하기 위한 동적 시퀀스 분할 방식 도입.
2. 시간적 패턴 포착: 식료품 쇼핑의 불규칙한 시간 간격을 반영하는 적응형 위치 인코딩 scheme 개발.
3. 차원 축소 및 품질 유지: 제품 단위 대신 카테고리 단위 모델링을 통해 계산 효율성을 높이면서도 추천 품질을 유지.
4. 새로운 평가 지표: 단순 정확도뿐만 아니라, 추천된 카테고리 순서가 고객의 실제 구매 빈도 순위와 얼마나 일치하는지를 측정하는 순위 일치 (Rank-matching) 평가 프레임워크 제안.

4. 실험 결과 (Results)

• 데이터셋: 10 만 명의 고객, 100 만 건 이상의 쇼핑 세션 (학습용 90 만 건, 3 회 이상 구매 이력이 있는 8.5 만 명 고객).
• 비교 대상: 아마존에서 현재 배포 중인 강력한 베이스라인인 P-Top (개인별 최빈도 추천).
• 성능:
  • Precision/Recall: 모든 $k$값 (장바구니 크기) 에서 T-REX 가 P-Top 을 일관되게 상회.
  • 일관성: 박스 플롯 분석 결과, T-REX 는 더 짧은 수염과 이상치 분포를 보여 더 일관된 생성 품질을 보임.
  • 신규 고객: 기존 고객보다 T-REX 의 성능 향상 폭이 더 큼 (P-Top 은 이력이 부족할 경우 성능 저하).
  • 작은 장바구니: 아이템이 적은 장바구니 (<5 개) 에서 P-Top 대비 30% 이상의 Recall 우위.
  • 순위 일치 (Rank-matching): T-REX 는 30% 의 정확한 순위 일치율을 보였으며 (P-Top 은 27%), 상위 1 순위 이내 일치율은 60% (P-Top 은 48%) 로 고객에게 중요한 카테고리를 더 빨리 추천함.

5. 실제 배포 및 A/B 테스트 (Production Deployment)

• 배포 환경: 아마존 식료품 비즈니스 (Consumables 추천) 에 실제 적용.
• 범위: 280 개의 세분화된 카테고리로 확장하여 운영.
• 성과:
  • 비교 가능한 추천 위젯 중 최고의 클릭률 (CTR) 달성.
  • 주문 상품 판매액, 복합 판매액, 총 기여 이익 (Gross Contribution Profit) 에서 유의미한 상승.
  • 판매 상승폭 (Sales Lift): 아마존 전체 평균 추천 시스템 대비 약 23% 더 높은 성과 기록.
• 평가 방법: 고객 단위 무작위화 (Customer-level randomization) 를 통한 A/B 테스트 및 이중 기계 학습 (DML) 을 활용한 장기적 인과 효과 분석.

6. 의의 및 결론

T-REX 는 식료품 쇼핑이라는 특수한 도메인의 문제 (반복 구매, 불규칙한 시간 간격, 카테고리 간 관계) 를 Transformer 아키텍처를 통해 효과적으로 해결한 사례입니다. 단순한 빈도 기반 추천을 넘어, 시퀀스 생성 (Sequence Generation) 관점에서 장바구니를 예측함으로써 신규 고객과 복잡한 구매 패턴을 가진 고객 모두에게 더 정교하고 효율적인 쇼핑 경험을 제공합니다. 이는 대규모 언어 모델 (LLM) 기반 추천 시스템이 실제 산업 현장 (특히 식료품) 에서 어떻게 최적화되어 적용될 수 있는지에 대한 중요한 통찰을 제공합니다.