🤖 AI

A/B Agent: A Self-Evolving Agent for Strategy Iteration in Industrial A/B Testing

이 논문은 계층적 경험 트리와 다중 경로 Tree-RAG를 활용하여 폐쇄 루프 A/B 테스트를 통해 산업용 추천 전략을 자율적으로 생성, 실행 및 반복적으로 개선함으로써 실제 이커머스 시스템에서 상당한 GMV 향상을 달성하는 자기 진화형 프레임워크인 A/B Agent를 소개한다.

원저자: Zhuohang Jiang, Yuxin Chen, Yongsen Pan, Zheng Hu, Wenqi Fan, Qing Li, Hongyang Wang, Jun Wang, Wenwu Ou

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhuohang Jiang, Yuxin Chen, Yongsen Pan, Zheng Hu, Wenqi Fan, Qing Li, Hongyang Wang, Jun Wang, Wenwu Ou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대하고 빠른 우주선(추천 시스템)의 선장이며, 모든 승객에게 완벽한 간식을 배달해야 한다고 상상해 보세요. 때로는 당신의 예측이 적중하여 모두가 행복해지기도 합니다. 하지만 어떤 때는 달콤한 것을 원했던 사람에게 매콤한 칩을 건네주기도 하고, 경로 계획을 잘 세우지 못해 연료가 바닥나기도 합니다. 현실 세계에서 콰이쇼우(Kuaishou)와 같은 기업들은 가장 좋은 경로를 찾아내기 위해 'A/B 테스트'라는 방법을 사용합니다. 이것은 마치 두 가지 다른 버전의 우주선을 동시에 운행하는 것과 같습니다. 하나는 기존의 지도를 사용하고, 다른 하나는 새로운 아이디어를 적용한 지도입니다. 만약 새로운 지도가 승객들에게 간식을 더 빠르게 전달한다면, 그 지도를 채택합니다. 하지만 문제는 이 과정을 수동으로 하는 것이 매우 진 빠지는 일이라는 점입니다. 전문 항해사 팀이 끊임없이 새로운 지도를 그리고, 테스트를 실행하고, 결과를 확인하며, 설정을 미세하게 조정해야 합니다. 이는 속도가 느릴 뿐만 아니라, 그들은 어제 실패했던 우회로에서 얻은 교훈을 종종 잊어버리곤 합니다.

최근 과학자들은 컴퓨터에게 '대규모 언어 모델(LLM, 텍스트를 읽고 이해하는 초스마트 AI)'과 'RAG(검색 증강 생성, AI가 말하기 전에 답을 찾아볼 수 있는 도서관을 제공하는 것)'를 사용하여 이러한 오래된 지도들을 읽고 이해하는 법을 가르치고 있습니다. 하지만 이 똑똑한 AI 조수들에게도 문제가 있습니다. 그들은 도서관을 마치 평평하게 쌓인 종이 더미처럼 취급하곤 합니다. 당신이 실제로 '산악 경로'가 필요할 때 '사막 경로'에 대한 이야기를 찾아낼 수도 있고, '간식'에 효과적이었던 전략이 '음료'에는 위험할 수 있다는 사실을 놓칠 수도 있습니다. 그들은 우선의 서로 다른 부분들이 어떻게 연결되는지에 대한 큰 그림을 보는 데 어려움을 겪으며, 인간 상사가 다음 할 일을 알려주지 않고서는 스스로의 실수로부터 쉽게 배우지 못합니다.

여기서 이 논문은 이러한 문제들을 해결하기 위해 설계된 새로운 종류의 '자기 진화형(self-evolving)' AI 항해사인 A/B Agent를 소개합니다. A/B Agent는 단순히 평평한 메모 더미를 읽는 대신, 거대하고 조직화된 '경험 트리(Experience Tree)'를 구축합니다. 나무의 뿌리가 거대한 비즈니스 목표이고, 가지가 우주선의 각 부분(간식 바 또는 엔진실 등)이며, 잎사귀가 과거에 성공했거나 실패했던 구체적인 전략이라고 상상해 보세요. AI가 새로운 아이디어가 필요할 때, 단순히 키워드를 검색하는 것이 아니라, 현재 상황과 정확히 일치하는 가지를 찾기 위해 나무를 타고 올라가 적절한 종류의 지식을 확보합니다.

일단 전략을 선택하면, A/B Agent는 거기서 멈추지 않습니다. 그것은 테스트를 실행하고, 결과를 관찰한 뒤, 즉시 자신의 트리를 업데이트하는 지치지 않는 과학자처럼 행동합니다. 만약 새로운 경로가 승객들을 더 많이 만족시켰지만 엔진을 과열시켰다면(가드레일 지표), AI는 이를 알아차리고 설정을 미세하게 조정한 뒤 다시 시도합니다. 이 AI는 최적의 균념을 찾을 때까지 생각하고, 테스트하고, 배우고, 자신의 지식 베이스를 업데이트하는 이 순환 과정을 계속 반복합니다. 논문은 이 시스템이 단순한 이론이 아님을 보여줍니다. 실제 숏폼 비디오 쇼핑 환경에서 테스트했을 때, 이 시스템은 모든 안전 지표를 긍정적으로 유지하면서 '총 상품 판매 가치(GMV, 사용자가 지출한 총 금액)'를 4.829% 개선하는 데 성공했습니다. 심지어 이 시스템은 올바르면서도 창의적인 전략을 만드는 데 있어 세계 최고 수준의 AI 모델들보다 뛰어난 성능을 보였습니다. 본질적으로, A/B Agent는 시행착오의 혼란스러운 과정을 스스로 점점 더 나아지는 스마트한 자기 개선 사이클로 변화시킵니다.

기술 요약: 산업 전략 반복을 위한 A/B 에이전트 (A/B Agent)

1. 문제 정의

산업용 추천 시스템은 전략을 반복하기 위해 대규모 A/B 테스트에 크게 의존하고 있으나, 이 과정은 현재 매우 노동 집약적이고 시간이 많이 소요됩니다. 전문가가 전략을 설계하고, 실험을 구성하고, 결과를 분석하며, 파라미터를 조정하는 과정을 반복적으로 수행해야 하기 때문입니다. 핵심적인 병목 현상은 파편화된 과거 지식입니다. 과거 실험에서 얻은 가치 있는 통찰력들이 문서, 코드, 로그 등 이질적인 소스에 흩어져 있으며, 이를 통합된 추상화 모델로 관리하지 못해 체계적인 재사용이 어렵습니다.

RAG(Retrieval-Augmented Generation) 에이전트가 이를 보조하기 위해 제안되었으나, 기존 방식은 두 가지 주요 한계점을 가집니다:

평면적 지식 구조 (Flat Knowledge Organization): 전통적인 RAG 시스템은 의미론적 유사성에 기반하여 텍스트 청크를 검색하므로, 비즈니스 시나리오, 추천 단계, 최적화 목표, 실험 컨텍스트 간의 계층적 관계를 모델링하지 못합니다. 이는 검색 불일치와 시나리오 간 전이 성능 저하를 초래합니다.
자기 진화 능력의 부재 (Lack of Self-Evolution): 현재의 에이전트들은 장기적인 최적화 프레임워크 없이 일회성 추천만을 제공합니다. 순차적인 A/B 피드백을 바탕으로 전략을 자율적으로 정교화하거나, 성공적인 사례를 지식 베이스로 점진적으로 응축하는 능력이 부족합니다 파편화된 과거 기록을 구조화되고 전이 가능한 경험으로 변환하고, 온라인 피드백 루프를 통해 전략을 지속적으로 개선할 수 있는 자동화된 시스템이 산업계에는 부재한 실정입니다.

2. 방법론

본 논문은 산업용 추천 전략 최적화를 위해 설계된 폐쇄 루프 프레임워크인 A/B Agent를 제안합니다. 이 프레임워크는 밀접하게 결합된 세 가지 구성 요소로 이루어져 있습니다.

2.1 이력 전략 지식 구조화 (Historical Strategy Knowledge Organization)

지식 파편화 문제를 해결하기 위해, 시스템은 과거 실험 기록을 **계층적 경험 트리 (Hierarchical Experience Tree)**로 구조화합니다.

기록 구조화: 원시 실험 보고서를 비즈니스 배경, 시나리오, 단계, 목표, 전략 설명, 파라미터, 지표, 리스크를 포함하는 통일된 스키마로 변환합니다.
에이전트 기반 추출: 전략 에이전트는 여러 관점(문제, 시나리오, 메커니즘)에서 기록을 원자적이고 독립적인 "전략 청크"로 분해합니다.
트리 구축: 이러한 청크들은 카테고리(도메인, 시나리오, 단계, 목표)를 나타내는 노드와 구체적인 전략 세부 사항을 저장하는 리프로 구성된 트리 $T_E = (V_E, E_E)$ 로 조직됩니다. 이 구조는 매칭된 브랜치 내에서의 정밀한 검색과 관련 브랜치 간의 지식 전이를 가능하게 합니다.

2.2 자율적 목표 인지 전략 생성 (Autonomous Target-Aware Strategy Generation)

새로운 최적화 요청이 주어지면, 에이전트는 Multi-Path Tree-RAG 방식을 사용하여 실행 가능한 전략을 생성합니다.

다중 경로 검색 (Multi-Path Retrieval): 시스템은 요청을 경험 트리의 의미론적 경로에 매핑하고, 희소(sparse, 정확한 용어) 및 밀집(dense, 의미론적) 검색을 모두 사용하여 후보를 검색합니다.
컨텍스트 인지 부스팅 (Context-Aware Boosting): 평면적 RAG와 달리, 이 모듈은 요청의 시나리오, 단계 및 목표와 구조적으로 일치하는 후보의 우선순위를 높입니다. 이는 계층 구조 내 노드 간의 최단 경로 거리를 기반으로 트리 경로 관련도 점수를 계산합니다.
재순위화 및 생성 (Reranking and Generation): 리랭커(Qwen-Reranker)는 메커니즘과 제약 조건을 바탕으로 미세한 점수를 산출합니다. 이후 전략 생성기는 엔지니어링 제약 및 배포 조건을 고려하여 전이 가능한 메커니즘을 대상 작업에 맞게 조정합니다.
판단 (Judging): 생성된 후보들은 에이전트 기반 판단 모델에 의해 컨텍스트 관련성, 근거 일관성, 안전성을 평가받은 후 실행 가능한 A/B 테스트 설정으로 변환됩니다.

2.3 실험 가이드형 전략 자기 진화 (Experiment-Guided Strategy Self-Evolution)

배포 후, 시스템은 자기 진화 루프에 진입합니다.

실험 트리 구축: 연속적인 실험 버전들은 전략 변형을 노드로, 수정 사항을 엣지로 하는 **실험 트리 ( $T^*_A$ )**로 조직됩니다.
효용 평가 (Utility Evaluation): 시스템은 핵심 지표의 이득과 가드레일 지표의 저하 사이의 균형을 맞추는 효용 함수 $U(v)$ 를 정의합니다(사용자 경험이나 플랫폼 안정성에 미치는 부정적 영향에 페널티 부여).
반복 튜닝 (Iterative Tuning): 에이전트는 부모-자식 노드 및 형제 노드를 비교하여 효과적인 수정 사항을 식별합니다. 특정 브랜치가 포화 상태에 도달하거나 가드레일을 위반하는 경우, 경험 트리에서 대안 메커니즘을 검색하여 새로운 브랜치를 생성합니다. 검증된 결과는 다시 경험 트리로 추출되어 지속적인 지식 축적을 위한 루프를 완성합니다.

3. 주요 기여

본 논문은 다음과 같은 기여를 명시합니다:

A/B Agent 프레임워크: 산업용 추천 시스템에서 과거 전략을 마이닝하고, 시나리오 간 전이를 가능하게 하며, A/B 결과를 분석하고 파라미터를 최적화하는 폐쇄 루프 에이전트입니다.
계층적 경험 트리: 과거 전략을 전이 가능한 기술로 분해하여, 구조화되고 목표 인지적인 검색 및 생성을 지원하는 새로운 구조입니다.
자기 진화 메커니즘: 수동 개입 없이 공동 지표 분석, 파라미터 최적화 및 지속적인 지식 업데이트를 가능하게 하는 실험 트리 가이드형 A/B 튜닝 방식입니다.
산업용 데이터셋: 세 가지 이커머스 시나리오에 걸친 310개의 과거 추천 전략(구성, 결과, 다차원 지표 포함)을 포함하는 데이터셋을 구축하였습니다.
실증적 검증: 프레임워크의 효과를 입증하는 광범위한 오프라인 및 온라인 평가를 수행하였습니다.

4. 실험 결과

본 논문은 Kuaishou 플랫폼의 세 가지 산업용 이커머스 시나리오에 대해 A/B Agent를 평가했습니다.

오프라인 성능:
- A/B Agent는 평균 종합 점수 7.244를 달성하여, 가장 강력한 범용 LLM(Claude-Sonnet-4.6, 7.151)보다 1.3% 높은 성능을 보였습니다.
- 각 시나리오의 가장 강력한 RAG 베이스라인과 비교했을 때, A/B Agent는 각각 **25.0%, 31.7%, 23.5%**의 종합 점수 향상을 기록했습니다.
- GPT-5.5의 정확도와 Claude-Sonnet-4.6의 참신함을 능가하였으며, 이는 구조화된 산업 지식과 전이 가능성을 고려한 검색이 우수한 결과를 낸다는 것을 입증합니다.
온라인 A/B 테스트:
- 숏폼 비디오 이커머스 추천의 실제 배포 환경에서, A/B Agent는 장바구니 GMV(Cart GMV)를 4.829% 개선했습니다.
- 결정적으로, 초기 에이전트 반복 과정에서는 트레이드오프(trade-offs)가 나타나기도 했으나, 자기 진화를 통해 이를 해결함으로써 모든 가드레일 지표(라이브 GMV, 시청 시간, 플랫폼 주문량 포함)에서 양호한 성과를 유지했습니다.
- 에이전트는 파레토 프런티어(Pareto frontier)를 성공적으로 탐색하여, 가드레일 리스크가 있던 초기 설정에서 비즈니스 지표와 플랫폼 안전성을 모두 개선하는 최종 상태로 이동했습니다.
절제 연구 (Ablation Study):
- 지식 베이스를 제거했을 때 점수가 0.238(전체 점수의 약 3.3%) 하락하여 과거 경험의 중요성을 확인했습니다.
- 계층적 Tree-RAG를 평면적(Flat) RAG로 대체했을 때 점수가 0.015(전체의 약 0.2%) 하락하여 계층적 구조의 가치를 확인했습니다.
- 검색 강화 기능(예: 시나리오 인지 부스팅)을 제거했을 때 점수는 0.070에서 0.122 사이의 절대적 하락(전체의 약 1.0% ~ 1.7%)을 보여, 검색 강화의 중요성을 입증했습니다.

5. 의의 및 주장

본 논문은 A/B Agent가 일반적인 LLM 에이전트와 산업 특유의 복잡한 전략 반복 요구사항 사이의 간극을 해결한다고 주장합니다. 그 의의는 다음과 같습니다:

파편화된 지식의 체계화: 과거의 비정형 데이터를 계층적 트리로 조직함으로써, 평면적 RAG 시스템이 달성하지 못하는 서로 다른 비즈니스 컨텍스트 간의 신뢰할 수 있는 지식 전이를 가능하게 합니다.
자율적 지속 개선: 본 프레임워크는 일회성 생성을 넘어, 온라인 피드백으로부터 학습하고 전략과 파라미터를 자율적으로 정교화하는 자기 진화 루프로 나아갑니다.
최적화와 안전성의 균형: 실험 가이드형 자기 진화 메커니즘은 핵심 지표 이득과 가드레일 제약 사이의 트레이드오프를 명시적으로 모델링하여, 인간 전문가가 수동으로 찾기 어려운 파레토 최적해(Pareto-optimal solutions)를 향해 나아가도록 합니다.

저자들은 A/B Agent가 과거의 전략 지식을 측정 가능한 온라인 비즈니스 개선으로 효과적으로 변환하며, 시스템 건전성을 유지하면서 산업 전략 최적화를 위한 확장 가능한 솔루션을 제공한다고 결론짓습니다. 향후 연구 과제로 더 강력한 요구사항 정렬(requirement alignment)과 자동화된 엔지니어링 타당성 검증을 꼽았습니다.