🤖 machine learning

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

이 논문은 전략적 추론, 수치적 정밀도, 그리고 경험 기반 루프를 통한 자율적 최적화를 강화함으로써 기존의 AI 생성 입찰 방식의 한계를 극복하기 위해, 플래너-실행자(planner-executor) 아키텍처를 갖춘 대규모 언어 모델과 새로운 분리형 그룹 상대 정책 최적화(Decoupled Group Relative Policy Optimization, D-GRPO) 알고리즘을 활용하는 계층적 자기 진화형 자동 입찰 프레임워크인 AIGB-R1을 소개한다.

원저자: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

게시일 2026-07-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 스마트폰을 스크롤할 때마다, 보이지 않는 초고속 경매가 벌어지는 세상을 상상해 보세요. 광고주들은 당신의 관심을 끌기 위해 화면에 디지털 자금을 쏟아부으며 경쟁하고 있습니다. 이것은 온라인 광고의 거친 개척지로, 눈 깜짝할 사이에 수십억 개의 기회가 스쳐 지나가는 곳입니다. 이 전투에서 승리하기 위해 기업들은 과거에 사람이 직접 입찰가를 조정하곤 했지만, 이는 마치 스파게티로 만든 그물로 날아가는 총알을 잡으려는 것과 같습니다. 너무 느리고 엉망이었기 때문입니다. 그래서 그들은 컴퓨터로 눈을 돌렸습니다. 처음에는 알고리즘이 최적의 거래를 위해 가격을 자동으로 조정하는 "자동 입찰(Auto-bidding)"이 등장했습니다. 그다음에는 과거의 경매를 학습하여 완벽한 수를 예측하려는 "생성형 AI(Generative AI)"가 등장했습니다. 하지만 여기에는 함정이 있습니다. 이 AI 모델들은 단 한 권의 낡은 교과서로만 공부한 학생과 같습니다. 세상이 변하면 혼란에 빠지며, 수학 계산에 어려움을 겪어 때로는 말이 안 되는 숫자를 "환각(hallucinating)"하기도 합니다.

새로운 주인공인 대규모 언어 모델(LLM)이 등장합니다. 여러분은 아마 시를 쓰거나 수수께 수를 풀 수 있는 챗봇으로 이들을 알고 있을 것입니다. 이들은 맥락을 이해하고 계획을 세우는 데는 매우 똑똑하지만, 빠르고 정밀한 수학 계산에는 젬병이며 실시간 경매를 수행하기에는 너무 느립니다. 과학자들이 던지는 핵심 질문은 이것입니다. "우리는 똑똑한 기획자의 두뇌와 빠른 계산기의 속도를 결합하여 이 디지털 경매에서 승리할 수 있을까?" 이것이 바로 연구진이 해결하고자 하는 과제이며, 단순히 추측하는 것이 아니라 실제로 '생각'하여 승리로 향하는 AI를 구축하는 것을 목표로 합니다.

두뇌와 근육: AIGB-R1

연구진은 AIGB-R1이라는 새로운 시스템을 제안합니다. 이를 역할이 완벽하게 나뉜 고위험 거래 팀이라고 생각해보세요. 과거에는 하나의 거대한 AI가 생각하고, 계산하고, 행동하는 모든 것을 다 하려고 했습니다. 하지만 저자들은 AI가 정밀한 숫자에는 약하고 반응 속도는 느리기 때문에 이것이 나쁜 아이디어라고 주장합니다. 대신, AIGB-R1은 계층적(hierarchical) 접근 방식을 사용하여 업무를 **기획자(Planner)**와 **실행자(Executor)**라는 두 개의 뚜렷한 부분으로 나눕니다.

기획자는 "거대한 두뇌"입니다. 이는 노련한 장군이나 체스 그랜드마스터처럼 행동하는 강력한 대규모 언어 모델입니다. 경매가 시작되기도 전에, 이 장군은 광고주의 예산, 목표, 그리고 과거 성과를 살펴봅니다. 다음 1초의 세세한 디테일에 신경 쓰는 대신, 거시적 수준의 전략을 수립합니다. 예를 들어, "오늘은 공격적으로 빠르게 지출한다"라거나 "보수적으로 운영하며 돈을 아낀다"라고 말할 수 있습니다. 그리고 이 전략을 명확하고 구조화된 프롬프트로 작성합니다.

실행자는 "근육"입니다. 이는 가볍고 매우 빠른 AI 모델(구체적으로는 프롬프트 디시전 트랜스포머, Prompt Decision Transformer)로, 실제 입찰을 수행합니다. 실행자는 장군의 전략 프롬프트를 전달받아 즉시 현재의 순간에 집중합니다. 경매의 현재 상태, 남은 예산, 그리고 경쟁 상황을 살펴보고 즉각적으로 정확한 입찰 금액을 계산합니다. 실행자는 특화된 수학 모델이기 때문에 숫자를 환각하지 않으며, 밀리초 단위로 반응합니다. 기획자가 '무엇을' 할지와 '왜' 하는지를 알려준다면, 실행자는 '어떻게'와 '언제'를 처리합니다.

책이 아닌 경험으로부터의 학습

또한 이 논문은 이 시스템이 시간이 지남에 따라 어떻게 더 똑똑해질 수 있는지에 대한 영리한 방법인 **자기 진화 루프(self-evolving loop)**를 소개합니다. 대부분의 AI 시스템은 10년 된 교과서로 시험 공부를 하는 것처럼 오래되고 정적인 데이터로 훈련됩니다. 시장이 변하면 AI는 혼란에 빠집니다. 하지만 AIGB-R1은 AuctionNetEnv라고 불리는 시뮬레이션 환경을 구축합니다. AI가 수천 명의 다른 봇들을 상대로 게임을 하며 다양한 전략을 반복해서 시도해 볼 수 있는 비디오 게임을 상상해 보세요.

여기서 정말 멋진 점이 나옵니다. 시스템은 단순히 무작ful하게 추측하지 않습니다. 시스템은 자신의 가장 좋았던 과거의 움직임들을 담은 메모리 뱅크를 유지합니다. 만약 특정 전략이 어제 효과적이었다면, 기획자는 그것을 기억하고 오늘 더 정교하게 다듬습니다. 만약 전략이 실패했다면, 그 실수로부터 배웁니다. 이것이 바로 "자기 진화" 부분입니다. 시스템은 축적된 자신의 경험으로부터 학습하며, 완벽한 입찰에 가까워지기 위해 끊임없이 접근 방식을 미세하게 조정합니다.

비밀 소스: D-GRPO

이 설정에서 가장 큰 도전 중 하나는 팀이 이기거나 졌을 때 누구에게 공로(또는 책임)를 돌릴 것인가를 결정하는 것입니다. 기획자가 나쁜 명령을 내린 것일까요, 아니면 실행자가 명령을 따르지 못한 것일까요? 이를 해결하기 위해 저자들은 **분리된 그룹 상대 정책 최적화(Decoupled Group Relative Policy Optimization, D-GRPO)**라는 새로운 수학적 기법을 발명했습니다.

코치가 계주 경기를 지켜보고 있다고 상상해 보세요. 팀이 졌을 때, 코치는 첫 번째 주자가 느렸던 것인지 아니면 두 번째 주자가 바톤을 놓친 것인지 알아내야 합니다. D-GRPO는 기획자의 성과와 실행자의 성과를 분리할 수 있는 매우 똑똑한 코치 역할을 합니다. 결과가 나오면 "전략은 좋았지만 실행이 잘못되었다"라거나 "실행은 완벽했지만 전략이 틀렸다"라고 판단합니다. 이 두 가지 신호를 분리함으로써, 시스템은 서로 혼동되지 않고 두 부분을 동시에 훈련할 수 있으며, 이는 훨씬 더 안정적이고 효과적인 학습 과정으로 이어집니다.

연구 결과

연구진은 알리바바(Alibaba)의 약 480,000개 입찰 궤적을 포함한 방대한 실제 데이터셋을 통해 AIGB-R1을 테스트했습니다. 그들은 강화 학습 및 다른 생성형 모델에 기반한 여러 최상위 AI 방법들과 비교했습니다.

결과는 명확했습니다: AIGB-R1의 승리였습니다. AIGB-R1은 표준 및 까다로운 "희소(sparse)" 경매 시나리오 모두에서 가장 높은 점수를 기록하며 다른 모든 방법보다 일관되게 우수한 성능을 보였습니다. 이 논문은 단순히 대규모 언어 모델을 의사 결정자로 사용하는 것만으로는 수학적 한계 때문에 충분하지 않지만, 이를 전략적 기획자로 사용하고 특화된 모델이 숫자를 처리하게 하는 것이 게임 체인저가 된다는 점을 시사합니다.

또한 연구는 시스템의 모든 부분이 필수적임을 보여주었습니다. "자기 진화" 훈련(AI가 자체 시뮬레이션으로부터 학습하게 하는 것)을 제거했을 때 성능이 떨어졌습니다. 기획자를 제거하고 실행자에게 추측하게만 했을 때도 성과가 더 낮았습니다. 그리고 기획자를 고정하여 새로운 경험으로부터 배울 수 없게 만들었을 때도 시스템은 학습이 가능할 때만큼 좋지 않았습니다. 이는 똑똑한 기획자, 빠른 실행자, 그리고 경험으로부터 배우는 루프의 조합이 차세대 자동 입찰을 여는 열쇠라는 것을 증명합니다.

요약하자면, AIGB-R1은 자동 광고의 미래가 하나의 거대하고 전지전능한 로봇을 만드는 것이 아니라는 점을 시사합니다. 그것은 경로를 계획하는 현명한 전략가와 자동차를 운전하는 민첩한 드라이버가 함께 구성된 팀을 만드는 것이며, 두 존재가 이동하는 모든 거리로부터 함께 배워나가는 것입니다.

기술 요약: AIGB-R1

문제 정의

자동 입찰(Auto-bidding)은 온라인 광고에서 매우 중요하며, 에이전트는 예산 및 CPA(Cost-Per-Action)와 같은 제약 조건 하에서 광고주의 목표(예: 전환)를 극대화하기 위해 입찰가를 자동으로 조정해야 합니다. 생성형 모델(예: Decision Transformer)을 사용하여 오프라인 데이터로부터 학습하는 신흥 AI 생성 입찰(AI-Generated Bidding, AIGB) 패러다임은 다음과 같은 세 가지 주요 한계에 직면해 있습니다:

데이터 커버리지: 오프라인 데이터셋의 제한된 모드 커버리지로 인해 분포 외(OOD) 상태에서 성능이 저하됩니다.
상태 이해: 기존 방법들은 특정 작업 상태나 액션 가치를 완전히 이해하지 못한 채 "return-to-go"에만 의존하여 정책을 조건화하므로, 최적의 전략 수립을 방해합니다.
적응성: 학습 시 고정된 선호도 분포를 사용하기 때문에, 비용이 많이 드는 재학 학습 없이 다양한 광고주의 선호도에 적응하기 어렵습니다.

대규모 언어 모델(LLM)은 이러한 격차를 해결할 수 있는 우수한 추론 능력과 세계 지식을 제공하지만, 이를 자동 입찰에 직접 적용하는 데에는 다음과 같은 장애물이 있습니다:

수치 정밀도: LLM은 입찰 파라미터에 필요한 정밀한 연속 수치 제어에 어려움을 겪으며, 종종 환각 현상을 보이거나 정밀도가 부족합니다.
지연 시간(Latency): 온라인 입도는 밀리초 단위의 응답을 요구하지만, 거대 LLM은 결정 품질과 추론 속도 사이의 트레이드오프 문제에 직면합니다.
신용 할당(Credit Assignment): 기존의 계층적 시도들은 고수준의 추론과 저수준의 실행을 엔드투엔드로 최적화하는 데 실패하는 경우가 많으며, 외삽 오류(extrapolation errors)를 겪는 오프라인 가치 함수에 의존합니다.

방법론: AIGB-R1 프레임워크

저자들은 매크로 수준의 전략 계획과 미세한 의사결정을 분리하는 계층적, 자기 진화형 자동 입찰 프레임워크인 AIGB-R1을 제안합니다.

1. 계층적 플래너-익스큐터(Planner-Executor) 구조

고수준 플래너(High-Level Planner): 광고주 컨텍스트와 과거 성과를 기반으로 입찰 기간 동안의 매크로 수준 전략(예: 리스크 선호도, 예산 페이싱)을 추론하기 위해 대규모 LLM을 활용합니다. 이는 열거된 전략 레이블과 의미론적 추론을 포함하는 구조화된 **전략 프롬프트(strategy prompt)**를 출력합니다. 이 계획 과정은 입찰 기간이 시작되기 전에 비동기적으로 수행됩니다.
저수준 익스큐터(Low-Level Executor): 경량화된 인과적 트랜스포머인 **프롬프트 디시전 트랜스포머(Prompt Decision Transformer, PDT)**를 채택합니다. 익스큐터는 플래너의 전략 프롬프트를 조건부 접두사(conditional prefix)로 받아, 관측된 수치 시퀀스(상태, 액션, return-to-go)를 바탕으로 각 타임스텝마다 정밀한 입찰 파라미터를 생성합니다. 이 설계는 LLM의 추론 능력을 활용하면서도, 정밀한 수치 제어와 저지연 실행을 위한 특화된 모델을 사용합니다.

2. 2단계 학습 파이프라인

오프라인 사전 학습: 익스큐터는 오프라인 입찰 궤적(trajectories)에 대해 사전 학습됩니다. 전략 프롬프트는 고급 LLM에 의해 주석(annotation)이 달립니다. 익스터는 프롬프트와 과거 시퀀스 모두에 조건화되어 데이터셋의 가능도(likelihood)를 극대화하도록 로그-노멀 분포(log-normal distribution)로 모델링된 확률적 정책을 학습합니다.
사후 학습 정렬(자기 진화 루프): 오프라인 데이터의 한계를 극복하기 위해, 프레임워크는 온라인 전략 롤아웃을 위한 대화형 입찰 시뮬레이션 환경(AuctionNetEnv)을 사용합니다.
- 경험 가이드 롤아웃(Experience-Guided Rollout): 각 작업에 대해 플래너는 $M$ 개의 다양한 전략 프롬프트를 생성합니다. 각 프롬프트에 대해 익스큐터는 시뮬레이션 내에서 $K$ 번의 롤아웃을 수행합니다.
- 경험 버퍼(Experience Buffer): 버퍼는 각 작업에 대해 "최적 전략 앵커(best-strategy anchor)"와 최근 궤적의 슬라이딩 메모리 윈도우를 유지하여, 플래너가 무작위 샘플링이 아닌 축적된 경험을 바탕으로 전략을 정교화할 수 있도록 합니다.

3. 분리된 그룹 상대 정책 최적화(Decoupled Group Relative Policy Optimization, D-GRPO)

플래너와 익스큐터를 엔드투엔드로 최적화하기 위해 저자들은 D-GRPO를 제안합니다. 표준 GRPO는 보상 신호가 두 모듈의 기여도를 결합시키기 때문에 여기서 작동하지 않습니다. D-GR로은 **이득 분리(advantage decoupling)**를 통해 이를 해결합니다:

보상 행렬( $M$ $M$ 전략 $\times$ $\times$ $K$ $K$ 롤아웃)은 두 개의 직교하는 구성 요소로 분해됩니다:
- 그룹 간 구성 요소(Inter-group component): 전략의 평균 보상이 전체 평균에서 벗어난 정도입니다. 이 신호는 전략 선택의 품질을 반영하여 플래너를 업데이트하는 데 사용됩니다.
- 그룹 내 구성 요소(Intra-group component): 특정 궤적의 보상이 해당 전략의 평균에서 벗어난 정도입니다. 이 신호는 고정된 전략 하에서의 의사결정 성능을 반영하여 익스큐터를 업데이트하는 데 사용됩니다.
이러한 분해를 통해 계층 간 보상 오귀속 없이 안정적인 엔드투엔드 신용 할당이 가능해집니다.

주요 기여

AIGB-R1 프레임워크: LLM의 추론 능력을 최대한 활용하면서도 전용 PDT 익스큐터를 통해 수치 및 지연 시간 문제를 우회하는 계층적 구조를 제공합니다.
경험 기반 자기 진화 루프: 단순한 무작위 샘플링을 넘어, 축적된 롤아웃 경험으로부터 자율적인 전략 탐색 및 최적화를 가능하게 하는 메커니즘을 제공합니다.
D-GRPO 알고리즘: 이득 분리를 통해 계층 간 신용 할당을 달opher하여, 계층적 시스템의 안정적인 엔드투엔드 학습을 가능하게 하는 새로운 최적화 방법을 제시합니다.
대화형 시뮬레이션 환경: 신뢰할 수 있는 온라인 전략 롤아웃을 촉진하고 오프라인 외삽 오류를 완화하기 위한 AuctionNetEnv를 구축했습니다.

실험 결과

프레임워크는 약 480K 개의 입찰 궤적을 포함하는 대규모 공개 데이터셋(AuctionNet 및 AuctionNet-Sparse)에서 평가되었습니다.

성능: AIGB-R1은 RL 방식(USCB, CQL, IQL), 생성형 모델(Decision Transformers, Diffusion models), 그리고 다른 LLM 기반 접근 방식(LBM)을 포함한 최신 베이스라인들을 크게 상회했습니다.
- AuctionNet에서 AIGB-R1은 385점을 기록하여, 차순위 베이스라인인 GAS(359점)를 앞질렀습니다.
- AuctionNet-Sparse에서 39.0점을 기록하여, 차순위인 GAVE(37.2점)보다 높은 성능을 보였습니다.
일반화: 모델은 다양한 예산 설정(베이스라인의 50% ~ 150%)에 걸쳐 견고한 성능을 보여주었으며, 고급 생성형 베이스라인들을 일관되게 능가했습니다.
절제 연구(Ablation Studies):
- 플래너 또는 사후 학습 단계를 제거했을 때 성능이 크게 하락하여, 두 구성 요소의 필요성을 확인했습니다.
- D-GRPO를 통한 엔드투엔드 최적화(플래너와 익스큐터 모두 업데이트)가 플래너를 고정했을 때보다 더 우수한 결과를 낳아, 공동 학습의 중요성을 검증했습니다.

의의

본 논문은 AIGB-R1이 LLM의 추론 능력과 실시간 입찰 시스템의 정밀도/지연 시간 요구 사항 사이의 간극을 효과적으로 메움으로써, LLM 기반 자동 입찰을 위한 유망한 솔루션을 제공한다고 주장합니다. 자기 진화 루프와 분리된 최적화 알고리즘을 도입함으로써, 이 프레임워크는 오프라인 데이터 커버리지, 수치 정밀도, 그리고 계층적 의사결정에서의 신용 할당이라는 핵심 병목 현상을 해결합니다. 결과는 전략 계획과 실행을 분리하고 경험 기반의 자기 개선을 결론짓는 것이 더 적응력 있고 최적화된 자동 입찰 시스템을 향한 실행 가능한 경로임을 시사합니다.