🤖 AI

SR-Agent: An Experience-Driven Agentic Framework for Post-Ranking Strategies Refinement in E-Commerce Recommendation

이 논문은 사용자 시뮬레이션, 진단 분석, 제약 조건이 있는 행동 실행을 통합함으로써 산업용 이커머스 추천 시스템의 포스트 랭킹 전략의 지속적인 정교화를 자동화하여 주문량과 사용자 참여도를 가시적으로 개선하는 동시에 운영 비용을 크게 절감하는 최초의 배포된 에이전트 프레임워크인 SR-Agent를 소개한다.

원저자: Hanchen Yang, Kaiwen Yang, Junpeng Zhuang, Yang He, Keting Cen, Bochao Liu, Zhongbo Sun, An Liu, Zhongteng Han, Chenyi Lei

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hanchen Yang, Kaiwen Yang, Junpeng Zhuang, Yang He, Keting Cen, Bochao Liu, Zhongbo Sun, An Liu, Zhongteng Han, Chenyi Lei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 당신의 취향에 따라 즉각적으로 재배치되는 거대하고 마법 같은 슈퍼마켓을 걷고 있다고 상상해 보세요. 이것은 이커머스 추천 시스템의 세계입니다. 수년 동안 이 디지털 점원들은 당신이 클릭하거나 구매할 단 하나의 아이템을 정확히 예측하는 데 집착해 왔습니다. 그들은 마치 당신의 다음 움직임을 내기하는 전문 도박사 같습니다. 하지만 여기 함정이 있습니다. 어떤 아이템이 '좋은 내기'라고 해서 전체 쇼핑 경험까지 즐겁다는 뜻은 아니라는 점입니다. 만약 상점이 연속으로 똑같은 빨간색 운동화 다섯 켤레를 보여주거나, 같은 종류의 망치를 브랜드만 다른 것으로 열 개나 보여준다면, 당신은 지루함을 느끼거나 혼란스러워지거나 짜증이 날 수 있습니다. 이것이 바로 정확도(맞는 아이템을 맞히는 것)와 사용자 경험(전체 여정을 즐겁고 유용하게 만드는 것)의 차이입니다.

이를 해결하기 위해 온라인 상점들은 포스트 랭킹(post-ranking) 전략을 사용합니다. 이것을 상점 매니저의 규칙 책이라고 생각하면 됩니다. 컴퓨터가 가장 좋은 아이템들을 뽑아낸 후, 매니저가 개입하여 "좋아, 하지만 빨간 신발 세 개를 같이 보여주지는 마"라거나 "다양한 가격대를 섞어서 보여줘"라고 말하는 식입니다. 문제는 이 규칙 책들이 대개 인간에 의해 작성된 후, 변하지 않는 정적인 상태로 선반 위에 놓여 있다는 점입니다. 하지만 제품과 사람의 세계는 항상 움직입니다. 새로운 아이템이 등장하고, 트렌드가 변하며, 어제의 좋은 규칙이 오늘의 나쁜 규칙이 될 수도 있습니다. 이러한 규칙이 낡게 되면 쇼핑 경험은 투박해집니다. 과학자와 엔지니어들의 큰 과제는 다음과 같습니다: 모든 쇼핑 목록을 읽고 규칙을 다시 쓰기 위해 지친 군단 같은 인력을 고용하지 않고도, 어떻게 이 규칙 책들을 최신 상태로 유지할 것인가?

여기서 논문은 이 쇼핑 목록을 자동으로 수정하기 위해 설계된 새로운 종류의 "디지털 탐정" 팀인 SR-Agent를 소개합니다. Kuaishou 이커머스 플랫폼과 협력한 연구진은 스스로 교정되는 루프처럼 작동하는 시스템을 구축했습니다. 문제가 발생할 때까지 기다리는 대신, SR-Agent는 추천 내용을 끊임없이 관찰하고, "매니저의 규칙"이 실패하는 지점을 포착하며, 왜 실패했는지 파악한 뒤, 안전하고 구체적인 해결책을 제안합니다.

팀의 작업 방식은 다음과 같습니다:

UserSim 에이전트 (공감자): 이 시스템의 이 부분은 실제 쇼퍼인 척 행동합니다. 추천된 아이템 목록을 살펴보고 "내가 인간이라면, 이 비슷한 아이템 세 개를 보는 것이 지루할까?"라고 묻습니다. 단순히 클릭 수를 세는 것이 아니라, 목록 곳곳에 흩어져 있는 똑같이 생긴 바지 다섯 벌을 보는 것과 같은 "나쁜 사례(bad cases)"를 찾아냅니다.
Analysis 에이전트 (탐정): UserSim이 나쁜 사례를 발견하면, Analysis 에이전트가 조사에 착수합니다. "왜 규칙 책이 이런 일을 허용했는가?"라고 묻습니다. 아마도 "유사 아이템"에 대한 규칙이 너무 느슨하거나, 혹은 상점의 카테고리가 엉망이기 때문일 수 있습니다. 이 에이전트는 복잡한 문제를 "이 특정 세션에 대해 바지의 규칙을 강화해야 한다"와 같은 명확한 진단으로 바꿉니다.
Strategy Refinement Harness (신중한 설계자): 이것은 안전 가드 역할을 합니다. 탐정의 진단을 받아 해결책을 시도하지만, 엄격한 제한 범위 내에서만 수행합니다. 숫자를 아주 조금 조정하거나 카테고리 레이블을 수정하는 것과 같이, 오직 작고 승인된 변경 사항만을 만들 수 있습니다. 어떤 변경 사항이 실제로 적용되기 전에, 이 시스템은 엄격한 4단계 테스트를 거칩니다: 나쁜 사례들을 재테스트하고, 과거의 트래픽을 대상으로 변경 사항을 시뮬레이션하며, 인간의 검토를 거친 뒤, 마지막으로 온라인에서 작은 규모의 안전한 실험을 실행합니다.

이 "자기 진화형" 시스템의 결과는 매우 유망합니다. 연구팀이 한 달 동안 Kuaishou 플랫폼에서 SR-Agent를 테스트했을 때, 이 시스템은 단순히 쇼핑 경험을 개선했을 뿐만 아니라 비즈니스 자체도 개선했다는 것을 발견했습니다. 시스템은 주문 수를 0.71% 증가시켰고, 사람들이 상점을 더 깊이 둘러보게 만들어 **0.34%**의 성장을 이끌었으며, 사용자들이 더 다양한 카테고리를 클릭하도록 도와 **0.48%**의 성과를 냈습니다.

더욱 인상적인 것은 속도입니다. 기존의 규칙 수정 방식은 인간이 목록을 검사하고, 문제를 진단하고, 업데이트를 기다리는 과정을 포함하여 몇 주가 걸렸습니다. SR-Agent는 이 전체 주기를 단 3~5일로 압축했습니다. 시스템이 안전을 보장하기 위해 약 1%의 작업을 무작위로 인간이 체크하긴 하지만, 수천 개의 문제를 찾아내고 해결책을 제안하는 중대한 작업은 자동으로 처리했습니다.

논문은 이것이 모든 것을 즉각적으로 해결하는 마법 지팡이가 아님을 주의 깊게 명시합니다. 이 시스템은 작고 제한된 변경을 수행하고, 그로부터 학습하며 시간이 지남에 따라 발전합니다. 테스트에서 시스템이 특정 나쁜 사례를 해결하는 능력은 첫 번째 업데이트 시 약 **49%**에서 열 번째 업데이트 시 **83%**까지 향상되었으며, 이는 시스템이 실행될수록 점점 더 똑똑해진다는 것을 보여줍니다. 느리고 수동적인 프로세스를 빠르고 자동화된 루프로 전환함으로써, SR-Agent는 관리하는 인간들을 번아웃시키지 않고도 온라인 쇼핑 경험을 새롭고 흥미롭게 유지할 수 있음을 보여줍니다.

기술 요약: SR-Agent

1. 문제 정의

산업용 이커머스 추천 시스템(RS)은 예측 정확도와 더불어 다양성(diversity), 참신성(novelty), 반복 감소(reduced repetition)와 같은 사용자 경험 목표를 우선시합니다. 포스트 랭킹 전략(다양성, 유사성 억제, 노출 제한을 위한 규칙 기반 제어)은 낮은 비용과 해석 가능성 덕분에 널리 배포되어 왔으나, 동적인 프로덕션 환경에서 두 가지 결정적인 문제에 직면해 있습니다:

정적 퇴화(Static Degradation): 포스트 랭킹 전략은 고정된 임계값과 사전 정의된 아이템 속성에 의존합니다. 추천 환경이 진화함에 따라(예: 신규 아이템 등장, 사용자 선호도 변화, 아이템 관계의 변화), 이러한 정적인 설정은 불일치를 유발하여 반복되는 "경험적 불량 사례(bad cases)"(예: 중복 아이템, 다양성 부족 또는 탐색 피로도)를 초래합니다.
비효율적인 수동 개선(Inefficient Manual Refinement): 현재 이러한 전략을 개선하는 작업은 제품 전문가와 알고리즘 엔지니어가 참여하는 검사, 진단, 업데이트의 느리고 노동 집약적인 다단계 수동 워크플로우에 의존합니다. 이 과정은 비용이 많이 들고 확장이 어려우며, 지식이 파편화되어 재사용하기 어렵다는 단점이 있습니다.

최근 대규모 언어 모델(LLM) 에이전트가 사용자 시뮬레이션 및 모델 최적화 분야에서 가능성을 보여주었으나, 산업 현장에서의 제한된 안전한 배포와 연결되는 자동화된 자가 진화형 포스트 랭킹 전략 개선의 전체 루프를 성공적으로 완결한 사례는 아직 없습니다.

2. 방법론: SR-Agent 프레임워크

SR-Agent는 포스트 랭킹 전략의 탐지, 진단 및 개선을 자동화하기 위해 설계된 에이전트 기반 프레임워크입니다. 이 프레임워크는 기본 랭킹 모델을 수정하지 않고 오직 전략 상태 $\pi_S$ 를 개선하는 데 집중하며, 연속적인 폐쇄 루프(closed loop)로 작동합니다. 프레임워크는 세 가지 핵심 구성 요소와 가드(guarded) 검증 파이프라인으로 구성됩니다.

2.1. 핵심 구성 요소

UserSim 에이전트 (경험 검사):
- 기능: 표시된 추천 리스트에 대한 사용자의 인식을 근사하여 경험적 결함을 식별합니다.
- 메커니즘: 세 단계의 검사 스킬을 채택합니다:
  - 노출 프로파일러(Exposure Profiler): 반복 노출이나 특정 카테고리/상점에 대한 과도한 집중과 같은 패턴을 식별합니다.
  - 관계 추출기(Relation Extractor): 기존 분류 체계에 포착되지 않은 기능적 관계(예: 시각적 유사성, 대체 관계)를 추론합니다.
  - 경험 평가기(Experience Evaluator): 노출 및 관계 증거를 사용자 의도 및 이력과 통합하여 결함(예: 중복성, 균질성)을 분류하고 구조화된 "불량 사례(bad cases)"를 출력합니다.
- 출력: 결함 유형, 관련 아이템, 증거를 포함하는 구조화된 불량 사례.
분석 에이전트 (진단 및 지식 축적):
- 기능: 현재 전략이 왜 특정 불량 사례를 필터링하는 데 실패했는지 결정하고 필요한 개입을 식별합니다.
- 메커니즘: 다음 과정을 수행하기 위해 사고 사슬(Chain-of-Thought, CoT) 프로세스를 사용합니다:
  - 불량 사례 클러스터 전반의 증거를 통합하여 공유된 패턴을 식별합니다.
  - 실패 원인을 운영적 원인(예: 누락된 신호, 오래된 그룹화, 느슨한 임계값)으로 귀인합니다.
  - 개선 범위와 방향(예: 제약 조건 강화, 임계값 조정)을 추론합니다.
- 출력: "Bad-Case Memory"에 저장되는 원시 불량 사례와 구별되는, 반복되는 실패 패턴을 추상화한 재사용 가능한 "진단 메모리(Diagnosis Memory)" 항목.
전략 개선 하네스 (Bounded Action Generation - 제한된 행동 생성):
- 기功能: 엄격하게 제약된 행동 공간 내에서 진단 내용을 실행 가능한 전략 업데이트로 매핑합니다.
- 메커니즘: 네 가지 유형의 행동을 사용하여 후보 업데이트를 생성합니다:
  - 관계 임계값 조정: 유사성/대체 임계값을 수정합니다.
  - 중복 억제 조정: 관계 페널티의 강도를 튜닝합니다.
  - 노출 제한 조정: 차원(카테고리, 상점, 가격)에 대한 집중도를 제어합니다.
  - 분류 체계 교정: 승인된 분류 매핑을 복구합니다.
- 제약 사항: LLM은 코드를 생성하거나 모델의 목적 함수를 변경할 수 없으며, 사전에 구성된 화이트리스트 및 제한 범위 내에서 제한된 파라미터 변화만을 제안합니다.

2.2. 가드 보상 파이프라인 (Guarded Reward Pipeline)

안전성과 감사 가능성을 보장하기 위해, 후보 업데이트는 온라인 배포 전 반드시 4단계 검증 파이프라인을 통과해야 합니다:

불량 사례 재테스트: 후보가 대상이 된 특정 결함을 수정하는지 확인합니다.
과거 트래픽 재생(Historical Traffic Replay): 인구 수준의 커버리지를 추정하고 과거 데이터에서의 의도치 않은 성능 저하를 체크합니다.
인간 검증: 전략 소유자가 후보의 유효성과 안전성을 검토합니다.
온라인 A/B 테스트 검증: 실제 세계의 영향을 측정하기 위해 제어된 배포를 수행합니다.

롤백(Rollback): 모든 단계에서 실패할 경우, 후보는 거부되거나 롤백됩니다. 결과는 "전략 메모리(Strategy Memory)"에 저장되어 향후 반복 학습에 활용됩니다.

3. 주요 기여

폐쇄 루프 자동화: 본 논문은 포스트 랭킹 전략 유지보수를 검사부터 제한된 개선까지 이어지는 자동화된 자가 진화 루프로 정립하여, 전략이 진화하는 온라인 환경에 적응할 수 있도록 합니다.
SR-Agent 프레임워크: 두 개의 추론 에이전트(UserSim, Analysis)와 가드 하네스를 결합한 새로운 아키텍처를 도입합니다. 이는 전통적인 인력 집약적 워크플로우를 대체하여 불량 사례 분석을 자동화하고 재사용 가능한 진단 지식을 축적합니다.
제한된 안전성: LLM을 유형화되고 제한된 행동 공간으로 제한함으로써 표현력과 감사 가능성 사이의 균형을 맞추어, 모든 온라인 변경 사항이 해석 가능하고 가역적이도록 보장합니다.

4. 실험 결과

본 프레임워크는 콰이쇼우(Kuaishou) 이커머스 플랫폼(일일 활성 사용자 수 천만 명)에 배포되어, 2.5%의 트래픽을 대상으로 한 한 달간의 온라인 A/B 테스트를 거쳤습니다.

비즈니스 및 경험 지표: 대조군(수동 전략)과 비교하여 SR-Agent는 다음과 같은 성과를 달agi:
- 주문량 +0.71% 증가.
- 탐색 깊이(browsing depth) +0.34% 증가.
- 클릭 카테고리 다양성 +0.48% 증가.
- 총 상품 판매액(GMV) 및 클릭 수의 개선.
탐지 유효성: UserSim은 수동 검사(36건)에 비해 훨씬 더 많은 유효한 불량 사례(500건 중 142건, 사용자 의도와 95% 일치)를 식별했습니다.
운영 효율성: SR-Agent는 엔드 투 엔드 전략 개선 주기를 수동 방식의 2~3주에서 3~5일로 단축했습니다. 검사와 진단의 대부분을 자동화하였으며, 경량화된 인간 감사(~1%의 사례)와 전략 소유자의 검토만을 필요로 했습니다.
반복적 개선: 10회의 연속적인 업데이트를 통해 불량 사례 해결률이 49.2%에서 83.1%로 향상되었으며, 이는 시간이 지남에 따라 진단 능력을 학습하고 정교화하는 시스템의 능력을 입증합니다.

5. 의의 및 주장

본 논문은 저자들의 지식 범위 내에서 SR-Agent가 포스트 랭킹 전략을 개선하기 위해 배포된 최초의 에이전트 기반 프레임워크라고 주장합니다. 그 의의는 다음과 같습니다:

격차 해소: 사용자 인지 불량 사례 탐지와 실행 가능한 전략 업데이트 사이의 루프를 완성했습니다. 이는 기존의 LLM 기반 사용자 시뮬레이터나 자가 진화형 모델 시스템에는 결여되었던 능력입니다.
프로덕션 실행 가능성: 롤백 및 인간 참여 검증(human-in-the-loop)이 포함된 "가드(guarded)" 개선 프로세스를 강제함으로써, 고위험 산업 프로덕션 환경에서도 지속적인 자가 진화가 가능하게 만들었습니다.
확장성: LLM 에이전트가 전략 유지보수를 위한 수동적인 교차 역할 간의 조율을 효과적으로 대체할 수 있음을 보여주었으며, 사용자 경험 지표를 개선하는 동시에 운영 비용을 크게 낮추었습니다.

저자들은 이 접근 방식이 배포된 전략이 역동적인 이커머스 환경에 지속적으로 적응할 수 있게 하며, 시스템 안전성을 해치지 않으면서 "오래된 전략(stale strategy)" 문제를 해결하는 확장 가능한 솔루션을 제공한다고 결론짓습니다.