SEGB: Self-Evolved Generative Bidding with Local Autoregressive Diffusion

Each language version is independently generated for its own context, not a direct translation.

🎯 핵심 아이디어: "미래를 내다보고, 스스로 성장하는 입찰사"

기존의 광고 입찰 시스템은 마치 과거의 기록만 보고 운전하는 운전자와 같았습니다. "어제 이럴 때 이랬으니 오늘도 이렇게 해보자"라고 반응할 뿐, "앞으로 10 분 뒤에는 교통체증이 생길 텐데 미리 우회해야지"라는 선제적인 판단을 못 했습니다.

또한, 기존 시스템은 실제 경매장에 나가지 않고는 실력을 향상시킬 수 없는 한계가 있었습니다. (실제 광고를 집행하며 실패를 경험해야만 배우는 식이죠.)

SEGB는 이 두 가지 문제를 해결합니다.

미래를 예측하는 능력: "다음 10 분 뒤의 상황"을 시뮬레이션해서 미리 대비합니다.
스스로 진화하는 능력: 실제 시장에 나가지 않고도, 과거 데이터만 가지고 "어떻게 하면 더 잘할 수 있을까?"를 스스로 고민하며 실력을 업그레이드합니다.

🛠️ SEGB 가 작동하는 3 단계 (마치 요리사처럼)

이 시스템은 세 가지 핵심 기술을 조합하여 작동합니다.

1 단계: 정교한 미래 예보관 (LAD - 국소 자기회귀 확산)

비유: 마치 날씨 예보관이 과거의 기온, 습도 데이터를 보고 "내일 오후 2 시에는 비가 올 것이다"라고 정확히 예측하는 것과 같습니다.
기존 방식의 문제: 기존 AI 는 "내일 하루 전체 날씨"를 한 번에 뚝딱 만들어내려다 보니, "아침에는 맑다가 갑자기 밤에 폭풍이"처럼 논리적으로 어색한 예측을 하곤 했습니다. (예: 예산이 시간이 지남에 따라 늘어날 수는 없는데, AI 가 그렇게 예측함)
SEGB 의 해결책: LAD는 한 번에 하루 전체를 예측하는 게 아니라, "지금 이 순간"을 기준으로 "다음 1 분 뒤"를 하나씩 순서대로 예측합니다. 이렇게 하면 예산이 줄어드는 등 현실적인 규칙 (인과관계) 을 지키면서 미래 상태를 아주 정확하게 그려냅니다.

2 단계: 미래를 보고 행동하는 운전수 (Next-State-Aware DT)

비유: 이제 운전수가 됩니다. 보통 운전수는 "어제 이 길로 갔더니 잘됐으니 오늘도 가자"라고 반응합니다. 하지만 SEGB 의 운전수는 예보관 (LAD) 이 준 미래 정보를 받습니다.
작동 원리: "다음 1 분 뒤에는 예산이 바닥날 것 같아. 그러니까 지금 당장 입찰가를 조금 낮춰야겠다"라고 미리 계획을 세웁니다. 과거의 결과만 보고 반응하는 게 아니라, 미래의 목표를 보고 미리 행동하는 것입니다.

3 단계: 시뮬레이션 없이 스스로 실력을 키우는 훈련 (GRPO - 오프라인 정책 진화)

비유: 요리사가 실제 손님 (실제 광고 시장) 을 대접하기 전, 레시피 (과거 데이터) 만 보고 "어떻게 하면 더 맛있게 만들지?"를 스스로 고민하며 레시피를 수정하는 과정입니다.
기존 방식의 문제: 보통 AI 는 실전에서 실수하며 배우거나, 복잡한 시뮬레이터 (가상 게임) 를 만들어야 실력을 키웠습니다. 하지만 광고 시장은 너무 복잡해서 시뮬레이터도 정확하지 않고, 실전에서 실수하면 돈이 날아갑니다.
SEGB 의 해결책: GRPO라는 기술을 써서, 과거의 데이터만 가지고도 "이런 상황에서 이렇게 했다면 더 좋았을 텐데"라고 가상의 시나리오를 만들어내며 스스로 실력을 높입니다. 마치 체스 고수가 과거 명대국 데이터만 보고 스스로 새로운 전략을 개발하는 것과 같습니다.

📈 실제 성과: "돈을 더 잘 벌게 해준 AI"

이 기술이 실제로 JD.com(징둥닷컴) 에서 테스트되었을 때 어떤 결과가 나왔을까요?

오프라인 테스트: 유명한 입찰 데이터셋에서 기존 최고 기술들보다 압도적으로 좋은 점수를 받았습니다. 특히, 광고 전환 횟수가 적은 (데이터가 부족한) 상황에서도 미래 예측 능력이 빛을 발하며 크게 이겼습니다.
실제 온라인 테스트 (A/B 테스트): 수백억 건의 광고 요청이 들어오는 실제 환경에서 테스트했습니다.
- 결과: 목표 비용 대비 성과가 약 10.19% 증가했습니다.
- 의미: 같은 예산을 썼는데, 더 많은 고객에게 광고가 도달하거나 더 좋은 효과를 냈다는 뜻입니다.
- 속도: 이 복잡한 계산이 0.0375 초 안에 끝났습니다. (100ms 이내로 요구되는 실시간 입찰 조건을 여유롭게 통과)

💡 한 줄 요약

SEGB는 **"과거 데이터를 바탕으로 미래를 정확히 예측하고, 그 예측을 바탕으로 스스로 실력을 갈고닦아, 실제 광고 경매에서 더 많은 돈을 벌어주는 똑똑한 AI 입찰사"**입니다.

이 기술은 광고주에게는 더 효율적인 마케팅을, 플랫폼에게는 더 큰 수익을 가져다주는 혁신적인 솔루션입니다.

Each language version is independently generated for its own context, not a direct translation.

1. 문제 정의 (Problem Statement)

온라인 광고 자동 입찰 (Auto-bidding) 은 실시간 경매 환경에서 광고주의 예산과 KPI(예: CPA, ROI) 제약을 만족하면서 전환 가치를 극대화하는 장기적 순차 의사결정 문제입니다. 기존 연구들은 다음과 같은 한계를 가지고 있었습니다:

동적 시장 예측 부재: 기존 오프라인 학습 기반 생성 정책 (Generative Policies) 은 단기적인 미래 상태에 대한 통찰력 (Foresight) 이 부족하여 급변하는 시장 상황에 대응하기 어렵습니다.
외부 의존성: 정책 개선을 위해 시뮬레이터나 외부 전문가의 개입이 필요하며, 이는 실제 배포 환경에서의 적용을 어렵게 만듭니다.
오프라인 RL 의 한계: 정적 데이터셋의 상태 - 행동 커버리지 부족과 탐험 (Exploration) 의 제한으로 인해 데이터셋을 넘어선 더 나은 전략을 발견하기 어렵습니다.
인과성 위반: 전역적 (Global) 으로 경로를 생성하는 기존 확산 모델 (Diffusion Models) 은 예산 감소와 같은 시간적/인과적 제약 (Causal Constraints) 을 위반할 수 있습니다.

2. 제안 방법론: SEGB (Self-Evolved Generative Bidding)

저자들은 위 한계를 해결하기 위해 SEGB라는 새로운 오프라인 학습 프레임워크를 제안했습니다. SEGB 는 외부 개입 없이 정적 데이터만으로 정책을 스스로 진화시키는 세 가지 핵심 단계를 통합합니다.

A. 고충실도 상태 계획 (High-Fidelity State Planning): Local Autoregressive Diffusion (LAD)

목적: 미래 상태의 정확한 예측을 통해 에이전트에게 '선제적 통찰력'을 제공합니다.
기술적 특징:
- 기존 확산 모델이 전체 시퀀스를 한 번에 생성하여 인과 관계를 위반할 수 있는 문제를 해결하기 위해, 국소적 자기회귀 (Local Autoregressive) 방식을 도입했습니다.
- 각 미래 상태 ( $s_{t+1}$ ) 를 과거 컨텍스트 ( $s_{<t}$ ) 에 조건부로 순차적으로 생성합니다.
- 이를 통해 예산 감소, 시간 경과 등 실제 경매 환경의 물리적/인과적 제약을 위반하지 않는 고충실도 (High-fidelity) 궤적을 생성합니다.

B. 통찰력 기반 행동 생성 (Foresight-driven Action Generation): Next-State-Aware Decision Transformer

목적: 생성된 미래 상태 정보를 활용하여 능동적인 의사결정을 수행합니다.
기술적 특징:
- 기존 Decision Transformer (DT) 는 과거 상태와 최종 목표 (Return-to-Go, RTG) 만을 기반으로 반응형 (Reactive) 으로 행동합니다.
- SEGB 는 LAD 가 예측한 다음 상태 ( $\hat{s}_{t+1}$ ) 를 DT 의 입력 컨텍스트에 명시적으로 포함시킵니다.
- 이중 신호 가이드: 장기적 전략 목표 (RTG) 와 단기적 전술적 목표 (예측된 다음 상태) 를 동시에 고려하여, 예산 고갈 등 즉각적인 위협에 선제적으로 대응하는 행동을 학습합니다.

C. 오프라인 정책 진화 (Offline Policy Evolution): GRPO 기반 미세 조정

목적: 정적 데이터셋의 한계를 넘어 더 우수한 전략을 스스로 발견합니다.
기술적 특징:
- IQL (Implicit Q-Learning) Critic: 오프라인 데이터에서 분포 외 (OOD) 행동을 평가하지 않고 안정적으로 가치 함수 (Q-function) 를 학습합니다.
- GRPO (Group Relative Policy Optimization): 학습된 Critic 을 가이드로 사용하여 정책을 미세 조정합니다.
- 하이브리드 접근법: 시뮬레이터나 온라인 상호작용 없이, IQL 의 안정적 가치 추정과 GRPO 의 정책 최적화를 결합하여 데이터셋에 존재하지 않는 더 나은 입찰 전략을 '진화'시킵니다.

3. 주요 기여 (Key Contributions)

종단 간 자기 진화 프레임워크: LAD(계획) 와 미래 상태 인식 강화학습(의사결정) 을 시너지 있게 결합하여, 외부 개입 없이 오프라인 데이터만으로 고충실도 계획과 능동적 의사결정을 가능하게 했습니다.
GRPO 를 활용한 오프라인 정책 진화: 시뮬레이터나 온라인 탐색 없이 GRPO 를 통해 정책이 데이터셋의 한계를 초월하여 우수한 전략을 발견하도록 설계했습니다. 이는 분포 이동 (Distributional Shift) 문제를 완화합니다.
실제 대규모 배포 검증: 오프라인 벤치마크뿐만 아니라, JD.com 의 대규모 온라인 A/B 테스트를 통해 실제 비즈니스 가치 증대를 입증했습니다.

4. 실험 결과 (Results)

오프라인 벤치마크 (AuctionNet)

성능: SEGB 는 AuctionNet 및 AuctionNet-Sparse(희소 보상) 데이터셋에서 기존 최첨단 (SOTA) 모델 (IQL, CQL, DiffBid, DT 등) 을 모두 능가했습니다.
- 100% 예산 설정에서 355.99 점을 기록하여, 기존 DT(335.34) 대비 약 6.1% 향상, IQL(325.89) 대비 약 9.2% 향상.
- 희소 보상 환경 (AuctionNet-Sparse) 에서 LAD 의 예측이 특히 효과적이었으며, 기존 DiffBid(전체 경로 생성) 는 인과성 위반으로 성능이 저하됨.
성분 분석 (Ablation Study):
- LAD 제거: 성능 -14.5 점 (인과적 계획의 중요성 입증).
- 미래 상태 정보 제거: 성능 -10.5 점 (선제적 통찰의 중요성 입증).
- GRPO 제거: 성능 -9.6 점 (데이터셋을 넘어선 진화의 중요성 입증).

온라인 A/B 테스트 (JD.com)

배경: JD.com 광고 플랫폼에서 기존 BC(행동 모방) 기반 생산 모델을 베이스라인으로 비교.
결과:
- 목표 비용 (Target Cost) 10.19% 증가: 광고 효율성 및 수익성 측면에서 유의미한 개선을 달성.
- 냉간 시작 (Cold-start) 캠페인: 과거 데이터가 없는 신규 캠페인에서도 목표 비용 18.03% 증가를 기록하여 강력한 일반화 능력을 입증.
- 지연 시간 (Latency): LAD 계획 단계가 추가되었음에도 P99 지연 시간이 0.0375 초로, 플랫폼의 100ms 제약 조건을 충족.

5. 의의 및 결론 (Significance)

이 논문은 온라인 광고 자동 입찰 분야에서 오프라인 학습과 온라인 배포 간의 간극 (Offline-to-Online Gap) 을 성공적으로 해소한 사례입니다.

계획과 진화의 통합: 단순히 과거 데이터를 모방하는 것을 넘어, 생성 모델 (LAD) 을 통한 미래 예측과 강화학습 (GRPO) 을 통한 정책 진화를 결합하여 능동적 (Proactive) 인 에이전트를 구현했습니다.
실용성 입증: 복잡한 경매 환경과 제약 조건 하에서도 인과성을 유지하며, 대규모 온라인 환경에서 검증된 비즈니스 가치를 창출했습니다.
미래 지향성: SEGB 는 단순한 입찰 알고리즘을 넘어, 복잡한 순차 의사결정 문제 (Sequential Decision Making) 에 대해 '계획 (Planning)', '예측 (Foresight)', '진화 (Evolution)'를 통합하는 새로운 패러다임을 제시합니다.

요약하자면, SEGB 는 정적 데이터만으로도 동적인 시장 변화에 적응하고, 데이터셋을 넘어선 최적의 입찰 전략을 스스로 발견하여 실제 비즈니스 성과를 극대화하는 혁신적인 프레임워크입니다.