🤖 AI

HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising

본 논문은 적응형 하이퍼파라미터 튜닝을 위한 대규모 언어 모델, 동적 전문가 모델 선택을 위한 편향 수정 SARSA 에이전트, 그리고 입찰 실행을 위한 다양한 전문가 풀을 통합하여, 오프라인 학습 기반 입찰 시스템의 한계를 극복하고 상당한 온라인 적응성과 대규모 배포에서의 입증된 비즈니스 가치를 제공하는 계층적 강화 학습 프레임워크인 HOBA를 제안한다.

원저자: Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수백만 명의 사람들이 매초마다 아주 작은 주의력(attention)의 조각들을 사기 위해 경쟁하는 거대하고 빠른 경매장을 상상해 보십시오. 이것이 바로 온라인 광고의 세계입니다. 광고주들은 자신의 예산을 단 1분 만에 모두 써버리지 않으면서도, 적절한 사람들에게 광고를 보여주고 싶어 합니다. 이를 위해 그들은 광고 슬롯에 얼마를 지불할지 결정하는 컴퓨터 프로그램인 '비딩 에이전트(bidding agents)'를 사용합니다. 이 에이전트들을 레이싱 카 드라이버라고 생각해 봅시다. 어떤 드라이버는 매우 신중하며 엄격한 규칙 책(예: PID 제어기)을 따르는 반면, 다른 드라이버들은 최선의 움직임을 배우기 위해 수천 번의 지난 경주를 연구한 그랜드마스터(예: 오프라인 강화 학습)와 같습니다.

문제는 레이스 트랙이 끊임없이 변한다는 점입니다. 날씨가 바뀌고, 다른 드라이버들이 더 빨라지며, 도로의 규칙이 진화합니다. 정적인 규칙 책만을 따르는 드라이버는 트랙이 미끄러워지면 충돌할 수 있습니다. 또한 시속 200마일로 질주하는 동안 새로운 기술을 배우려고 시도하는 드라이버는 통제력을 잃고 몇 초 만에 연료(예산)를 다 써버릴 수도 있습니다. 과학자들은 안전하면서도 실시간으로 적응할 수 있는 드라이버를 구축하기 위해 노력해 왔지만, 이는 매우 까다로운 균형 잡기입니다. 컴퓨터가 너무 자유롭게 학습하도록 내버려 두면 처참한 실수를 저지를 수 있고, 학습을 전혀 하지 못하게 하면 시장이 변할 때 뒤처지게 됩니다.

여기서 "HOBA: 계층적 온폴리시(On-Policy) 적응형 온라인 광고 비딩 에이전트"라는 논문이 등장합니다. Kuaishou Technology의 연구진은 이 레이싱 드라이버들을 관리하는 새로운 방법인 HOBA를 제안합니다. 하나의 단일 드라이버에게 모든 것을 가르치는 대신, 그들은 피트 크루(pit crew), 전략가(strategist), 그리고 드라이버가 함께 협력하는 3단계 팀을 구축했습니다.

팀의 최상위에는 거대 언어 모델(LLM)로 구동되는 '전략가(Strategist)'가 있습니다. 이것을 한 시간마다 한 번씩 큰 그림을 보는 현명한 코치라고 상상해 보십시오. 이 코치는 모든 코너에서 정확한 속도를 결정하는 것이 아니라, 날씨, 연료 잔량, 경쟁 상황을 살펴본 뒤 팀을 위한 새로운 지침 세트를 작성합니다. 그들은 "오늘은 조금 더 공격적으로 임하라"라거나 "지출을 느리고 꾸준하게 유지하라"라고 말할 수 있습니다. 이 코치는 과거의 경주 기록이 담긴 메모리 뱅크를 사용하여 시간이 지남에 따라 점점 더 똑똑해집니다.

중간 단계에는 2분마다 체크하는 스마트 에이전트인 '전술 매니저(Tactical Manager)'가 있습니다. 이 매니저의 역할은 사전 훈련된 전문가들이 모여 있는 차고에서 가장 적합한 '드라이버'를 선택하는 것입니다. 차고에는 다양한 유형의 드라이버가 있습니다. 빠른 교정에 능숙한 드라이버(PID), 장기 계획에 능숙한 드라이버(MPC), 그리고 방대한 데이터셋으로부터 학습한 전문가(IQL 또는 Decision Transformer와 같은) 등이 있습니다. 전술 매니저는 무작위로 추측하지 않습니다. 대신, 운에 속지 않기 위해 특별한 '인과적 조정(causal adjustment)' 도구를 사용합니다. 예를 들어, 어떤 드라이버가 날씨가 완벽했기 때문에 우연히 경주에서 이겼다면, 매니저는 그 승리 때문에 드라이버를 칭찬하거나 비난하지 않도록 조절합니다. 매니저는 현재 순간에 진정으로 가장 적합한 드라이버를 선택합니다.

최하위에는 '드라이버(Drivers)'들이 있습니다. 이들은 밀리초 단위로 발생하는 모든 광고 경매에 실제로 입찰을 넣는 전문가들입니다. 이들은 전략가가 설정한 규칙과 전술 매니저가 내린 선택을 따릅니다. 결정적으로, 이 드라이버들은 경주하는 동안 자신의 뇌를 바꾸지 않습니다. 그들은 안전하고 사전 테스트를 마친 도구들입니다. '학습'은 오직 중간 계층, 즉 팀이 어떤 드라이버를 사용할지 결정하는 단계에서만 일어납니다. 이는 시스템이 예산을 탕진하는 처참한 실수를 저지르는 것을 방지하면서도, 변화하는 시장에 빠르게 적응할 수 있게 해줍니다.

연구진은 두 가지 방식으로 이 시스템을 테스트했습니다. 첫째, 광고 시장의 비디오 게임 버전인 AuctionNet이라는 시뮬레이션 환경에서 실행했습니다. 이 테스트에서 HOBA는 기존의 가장 뛰어난 방법들을 지속적으로 압도하며, 예측 불가능한 어려운 시나리오에서 최대 12%의 성능 향상을 보여주었습니다. 둘째, 가장 중요한 단계로, 실제 환경에서 테스트했습니다. 수천 개의 캠페인과 수백만 달러의 예산이 투입되는 실제 광고 플랫폼에서 대규모 테스트를 진행했습니다.

결과는 인상적이었습니다. 실제 테스트에서 HOBA는 광고주들이 기존 시스템보다 목표 비용을 3.6% 더 자주 달성할 수 있도록 도왔습니다. 이는 광고주들이 과도한 지출 없이 더 많은 가치를 얻을 수 있음을 의미합니다. 또한 시스템은 총 전환 가치를 8.1% 증가시켰고 투자 수익률(ROI)을 3.3% 개선했습니다. 무엇보다 중요한 것은, 이 모든 과정이 예산을 파괴하거나 혼란을 일으키지 않고 수행되었다는 점입니다. 이 시스템은 전략적 코치, 전술 매니저, 그리고 전문화된 드라이버 팀으로 역할을 분담함으로써, 안전하면서도 놀라울 정도로 적응력이 뛰어난 광고 시스템을 만들 수 있다는 것을 증명했습니다. 이는 때때로 경주에서 이기는 가장 영리한 방법은 단 한 명의 슈퍼 드라이버를 갖는 것이 아니라, 완벽하게 협력하는 팀을 구성하는 것임을 상기시켜 줍니다.

기술 요약: HOBA – 적응형 온라인 광고를 위한 계층적 온-폴리시 비딩 에이전트 (Hierarchical On-Policy Bidding Agents)

1. 문제 정의

온라인 광고 입찰 시스템은 경쟁자 전략, 사용자 행동, 플랫폼 역학이 지속적으로 진화하는 비정상성(non-stationary) 경매 시장에서 작동합니다. 현재의 업계 관행은 오프라인으로 학습된 전문가 모델(예: PID 제어기, 모델 예측 제어(MPC), 오프라인 강화 학습 정책)에 의존하고 있으나, 다음과 같은 두 가지 결정적인 한계에 직면해 있습니다:

온라인 적응성 부족: 전문가 파라미터가 배포 후 고정되어 있어, 비용이 많이 드는 재학습 없이 시장 변화에 대응할 수 없습니다.
수동 하이퍼파라미터 튜닝: 입찰 범위, 예산 페이싱 비율, 탐색 계수 등에 대해 캠페인별로 노동 집약적인 튜닝이 필요합니다.

안전한 온라인 학습을 구현하는 것은 매우 어렵습니다. 온-폴리시(On-policy) 방법(예: PPO, A3C)은 예산을 급격히 소진하는 치명적인 탐색 위험이 있으며, 오프-폴리시(Off-policy) 방법은 훈련 데이터와 다른 환경에 배포될 때 액션 붕괴(action collapse) 및 분포 변화(distributional shift) 문제를 겪습니다. 또한, 기존 방식들은 전략적 계획과 전술적 실행을 혼재하여 다루며, 이로 인해 해석 가능성이 떨어집니다.

2. 방법론: HOBA 프레임워크

저자들은 비딩 문제를 서로 다른 시간 척도에서 작동하는 세 가지 계층적 티어로 분해하는 HOBA (Hierarchical On-Policy Bidding Agents) 프레임워크를 제안합니다. 이 설계는 온라인 학습을 연속적인 입찰 최적화가 아닌 이산적인 전문가 선택으로 제한함으로써, 적응성을 유지하면서도 탐색 위험을 크게 줄입니다.

2.1 상위 계층: 전략적 추론 (시간 단위 사이클)

에이전트: 대규모 언어 모델(LLM) 에이전트.
기능: 캠페인 컨텍스트로부터 최적의 하이퍼파라미터( $\theta_t$ )를 추론합니다 (Think-Act-Observe-Reflect 루프 활용).
메커니즘:
- Think (생각): LLM은 시맨틱 유사성을 사용하여 메모리 뱅크에서 유사한 과거 경험을 검색하고, 구조화된 추론을 수행하여 성능 편차의 근본 원인을 식별합니다.
- Act (행동): 입찰 범위, 응답 모드(보수적/공격적), 제어 목표(CPA, 페이싱 비율), 탐색 보너스를 포함한 하이퍼파라미터를 생성합니다.
- Observe & Reflect (관찰 및 성찰): 1시간의 실행 창구가 지나면, 시스템은 관찰된 데이터를 집계하고 예측과의 편차를 계산하며, LLM은 결정 품질을 평가하여 향후 검색을 위한 구조화된 교훈을 생성합니다.
안전성: 출력값은 사전에 정의된 안전 범위 내로 엄격히 클리핑(clipping)되며, JSON 스키마 강제를 통해 유효한 출력임을 보장합니다.

2.2 중간 계층: 전술적 선택 (2분 단위 사이클)

에이전트: SARSA (State-Action-Reward-State-Action) 에이전트.
기능: 현재 시장 컨텍스트에 따라 검증된 전문가 풀에서 최적의 전문가 모델을 동적으로 선택합니다.
인과적 조정: 과거 데이터의 혼란 편향(confounding bias, 특정 전문가가 유리한 상황에서 우선적으로 선택되었던 경우)을 해결하기 위해, 에이전트는 **이중 강건 추정량(Doubly Robust Estimator)**을 사용합니다. 이는 결과 모델(XGBoost)과 성향 모델(Logistic Regression)을 결 함께 사용하여 특정 전문가 선택의 인과적 효과를 추정함으로써, Q-러닝 과정이 허구적 상관관계(spurious correlations)를 상속받지 않도록 합니다.
탐색: 상위 레벨 LLM의 탐색 보너스에 의해 조절되는 UCB(Upper Confidence Bound) 탐색을 활용합니다.

2.3 하위 계층: 운영 실행 (경매당 단위)

구성 요소: 오프라인으로 학습된 동적 전문가 풀:
- PID: 빠른 오차 수정을 위해 사용.
- MPC: 미래 호라이즌에 대한 명시적인 예산 계획을 위해 사용.
- 오프라인 RL 모델: 로그 데이터로부터 학습하는 CQL (Conservative Q-Learning), IQL (Implicit Q-Learning), DT (Decision Transformer).
기능: 상위 계층에서 부과한 제약 조건 하에 경매당 입찰을 실행합니다.
안전 메커니즘: 입찰은 이중 클리핑을 거칩니다. 첫째는 전략적 경계(LLM 생성)에 대해, 둘째는 변동성 제한(예: 이전 입찰가의 $\pm 20\%$ )에 대해 클리핑됩니다. 이를 통해 선택된 전문가의 행동과 관계없이 모든 입찰이 예산 및 CPA 제약 조건을 충족하도록 보장합니다.
적응: 풀은 성과가 높은 전문가의 미세 조정된 변형 모델로 동적으로 확장되거나 성과가 낮은 모델을 제거하지만, 핵심적인 온라인 학습은 선택 계층에 머물러 있습니다.

3. 주요 기여

계층적 멀티 에이전트 프레임워크: 전략적 추론, 전문가 선택, 입찰 실행을 서로 다른 시간 척도(시간 단위, 분 단위, 경매당 단위)로 분리하고, 각 계층을 공유된 수익 제약 내의 자율적인 에이전트로 취급하는 최초의 프레임워크입니다.
안전한 온라인 적응: 자연어 추론과 인과적으로 조정된 온-폴리시 전문가 선택을 통해 LLM 기반 하이퍼파라미터 최적화를 도입했습니다. 이 접근 방식은 온라인 학습을 연속적인 입찰 최적화가 아닌 이산적이고 안전한 결정(5~10개의 검증된 모델 선택)으로 제한함으로써 안전성을 달성합니다.
인과적 디바이어싱(Debiasing): 중간 계층 에이전트에 이중 강건 인과 조정을 통합하여 과거 데이터의 선택 편향을 제거함으로써, 비정상성 시장에서도 견고한 전문가 선택을 보장합니다.
실증적 검증: 대규모 A/B 테스트를 통해 실질적인 비즈니스 가치 개선을 입증했습니다.

4. 실험 결과

프레임워크는 AuctionNet 벤치마크와 주요 광고 플랫폼에서의 대규모 온라인 A/B 테스트를 통해 평가되었습니다.

4.1 오프라인 벤치마크 (AuctionNet)

성능: HOBA는 표준 및 희소(sparse) 설정 모두에서 SOTA(State-of-the-art) 베이스라인(PID, MPC, BCQ, CQL, IQL, DT, HRL-Bid 포함)을 일관되게 능가했습니다.
개선 수치: 표준 설정(예산 50%)에서는 +3.0%, 희소 설정(예산 100%)에서는 **+12.1%**의 점수 향상을 달성했습니다.
절제 연구(Ablation Studies):
- SARSA 기반의 전문가 선택을 제거했을 때 가장 큰 성능 저하(-10.7%)가 발생하여, 단일 전문가가 모든 시장 조건에서 지배적이지 않음을 확인했습니다.
- 상위 레벨 LLM을 제거했을 때 성능이 7.1% 하락하여, 적응형 하이퍼파라미터 추론의 가치를 입증했습니다.
- SARSA를 오프-폴리시 DQN으로 대체했을 때 6.4%의 손실과 전환 불안정성 증가가 나타나, 비정상성 환경에서 온-폴리시 학습의 안정성을 검증했습니다.
- 인과적 조정을 제거했을 때 4.9%의 손실이 발생하여, 역사적 데이터를 디바이어싱하는 것의 필요성을 보여주었습니다.

4.2 온라인 A/B 테스트

100,000개 이상의 캠페인에 걸쳐 단계적 롤아웃(5% $\to$ 20% $\to$ 100% 트래픽)을 통해 배포된 HOBA는 다음과 같은 결과를 보여주었습니다:

목표 비용 달성: +3.6% 개선 (90.0% $\to$ 93.2%), 이는 광고주의 CPA 목표에 대한 더 나은 준수를 나타냅니다.
전환 가치: +8.1% 증가 (7일간 150만 달러의 추가 가치 창출).
ROI: +3.3% 개선 (2.15 $\to$ 2.22).
예산 소진: +3.8% 개선 (94.2% $\to$ 97.8%), 예산 미집행 낭비를 줄였습니다.
광고주 만족도: 7.6% 상승했습니다.
효율성: 시스템은 P99 레이턴시 38ms를 유지하여(100ms 요구사항 이내) 효율성을 입증했으며, 수동 하이퍼파라미터 튜닝 대비 운영 비용을 96% 절감했습니다.

5. 의의 및 주장

본 논문은 HOBA가 온라인 광고의 근본적인 **안전성-적응성 트레이드오프(safety-adaptability tradeoff)**를 성공적으로 해결했다고 주장합니다. 계층적 구조로 문제를 분해함으로써, 시스템은 위험한 연속적 최적화(입찰 생성) 대신 안전한 이산적 결정(전문가 선택)으로 온라인 학습을 제한합니다.

저자들은 이 설계가 다음과 같은 이점을 제공한다고 강조합니다:

해석 가능성: LLM의 추론 흔적을 통해 전략적 감독이 가능하며, 인과 분석을 통해 전문가의 기여도를 정량화할 수 있습니다.
강건성: 다양한 트래픽 볼륨, 사용자 인구 통계, 경쟁 환경(콜드 스타트 시나리오 포함, ROI 개선율에서 베이스라인 대비 48% 우위)에서도 성능을 유지합니다.
확장성: 매일 수십억 건의 경매를 처리하는 프로덕션 환경에서 검증되었으며, 이는 계층적 멀티 에이전트 비딩이 적응형 온라인 광고를 위한 유효한 패러다임임을 증명합니다.

결론적으로, 본 연구는 향후 방향으로 희귀 캠페인 유형을 위한 메타 학습 및 다중 목적 최적화가 포함될 수 있으나, 현재의 프레임워크는 실제 세계의 비딩 과제에 대해 강력하고 해석 가능하며 매우 효과적인 솔루션을 제공합니다.