기술 요약: LERA - 생성형 챗봇을 위한 광고 경매를 위한 LLM 기반 RAG

문제 제기

대규모 언어 모델 (LLM) 기반 챗봇에 광고를 통합하는 것은 독특한 상업화 과제를 제시합니다. 광고가 미리 정의된 슬롯을 차지하는 전통적인 스폰서드 검색과 달리, 챗봇 광고는 생성된 응답에 광고를 whether (어떤지) 그리고 how (어떻게) 엮어낼지 결정해야 합니다. 이는 세 가지 경쟁 요인을 균형 있게 조절하는 메커니즘을 필요로 합니다:

1. 관련성: 광고는 세밀한 사용자 의도, 상업적 맥락, 그리고 동적 대화 흐름과 일치해야 합니다.
2. 효율성: 경매 및 선정 과정은 채팅 상호작용의 실시간성을 유지하기 위해 최소한의 지연 시간을 발생시켜야 합니다.
3. 진실성: 메커니즘은 인센티브 호환 입찰을 지원하여 광고주들이 클릭당 실제 가치를 입찰하도록 동기를 부여해야 합니다.

기존 접근 방식은 상당한 트레이드오프에 직면해 있습니다. 검색 후 생성 (Retrieve-then-generate) 방식 (예: Hajiaghayi et al. [9]) 은 효율적이지만 텍스트 임베딩 유사성에만 의존하는데, 이는 종종 복잡한 상업적 의도를 포착하지 못해 반복적인 삽입이나 상업적 오해를 초래합니다. 생성 후 검색 (Generate-then-retrieve) 방식은 LLM 의 맥락 이해력을 활용하지만, 쿼리당 여러 번의 추론 패스를 거치거나 모든 광고주를 점수화해야 하므로 prohibitive 한 지연 시간과 추론 비용을 초래합니다. 또한, SGLang 과 같은 고처리량 엔진에서 모든 후보를 순위 매기기 위해 LLM 로짓 (logits) 을 직접 사용하는 것은 대규모 후보 집합에 대한 병렬 프리-필링 (pre-filling) 필요성으로 인해 상당한 병목 현상을 만듭니다.

방법론: LERA 프레임워크

본 논문은 효율성과 의미론적 정교함을 분리하도록 설계된 2 단계 검색 후 생성 경매 프레임워크인 LERA(LLM-Enhanced RAG for Ad Auction) 를 제안합니다.

1. 2 단계 할당 프로세스

핵심 혁신은 비용이 많이 드는 LLM 연산을 작고 사전 필터링된 후보 집합으로 제한하는 하이브리드 점수화 메커니즘입니다.

• 1 단계: 임베딩 기반 거친 필터링

  • 원시 사용자 쿼리를 직접 사용하는 대신, LLM 이 사용자의 근본적인 필요를 요약한 간결한 의도 키워드 집합 ($w$) 을 먼저 생성합니다.
  • 이러한 키워드는 임베딩되어 정규화된 코사인 유사도를 사용하여 광고주 설명 ($d_i$) 과 비교됩니다.
  • 관련성 점수는 광고주의 입찰가 ($b_i$) 로 가중치가 부여됩니다: $Score^{(1)}_i = \text{Norm}(\text{Similarity}(\text{Emb}(w), \text{Emb}(d_i))) \cdot b_i$.
  • 상위 $K$개 광고주 ($K \ll N$) 가 후보 집합 $S$를 형성합니다. 이 단계는 경량 임베딩 연산을 사용하여 대부분의 관련 없는 광고주를 필터링함으로써 높은 처리량을 보장합니다.

• 2 단계: LLM-Logit 정밀 순위 매기기

  • 원본 쿼리 $x$, 후보 집합 $S$, 그리고 "삽입 없음" 옵션 ($\phi$) 이 LLM 에게 제시됩니다.
  • LLM 은 가장 적합한 광고를 식별하도록 프롬프트됩니다. 텍스트를 생성하는 대신, 시스템은 후보 레이블 (삽입 없음 옵션 포함) 에 대한 로짓 (logits) 을 추출합니다.
  • 이러한 로짓은 softmax 를 통해 정규화되어 정제된 유기적 관련성 점수 ($s^{(2)}_j$) 를 생성합니다.
  • 최종 경매 점수는 $Score^{(2)}_j = s^{(2)}_j \cdot b_j$입니다. 승자는 가장 높은 점수를 가진 후보입니다. 만약 '삽입 없음' 옵션이 승리하면 광고가 표시되지 않습니다.

2. 지불 규칙 및 인센티브 호환성

진실성을 보장하기 위해 LERA 는 임계값 지불 규칙 (Critical-Value Payment Rule) 을 사용합니다. 표준 2 차 가격 경매와 달리, 승자는 1 단계 상위 $K$개 집합에 진입하고 2 단계 순위에서 승리하는 두 가지 조건을 충족해야 합니다.

승자 광고주 $i^*$에 대한 지불 $p_{i^*}$는 다음과 같이 정의됩니다:
$$p_{i^*} = \max \left( \frac{Score^{(1)}_{(K+1)}}{s^{(1)}_{i^*}}, \frac{Score^{(2)}_{(2)}}{s^{(2)}_{i^*}} \right)$$
여기서:

• $Score^{(1)}_{(K+1)}$는 후보 집합에 진입하는 데 필요한 임계 점수입니다.
• $Score^{(2)}_{(2)}$는 최종 순위에서 두 번째로 높은 점수입니다.
• 지불은 두 단계를 통과하는 데 필요한 임계값 중 최대값입니다.

본 논문은 클릭 결과와 실현된 가치 간의 독립성 및 편향되지 않은 사전 추정치라는 가정 하에, 이 메커니즘이 효용 극대화 광고주에게 인센티브 호환적임을 증명합니다 (Proposition 4.1).

3. 다중 광고 삽입으로의 확장

이 프레임워크는 응답을 세그먼트로 나누어 동적 대화 흐름으로 확장됩니다. 각 세그먼트에 대해 경매는 쿼리와 응답 접두사에 조건부로 수행됩니다. 시스템은 광고를 삽입할지 여부와 어떤 광고를 선택할지 재평가하여 다양성을 보장하고 반복적인 카테고리 삽입을 방지합니다.

주요 기여

1. LERA 프레임워크: 챗봇 광고 삽입의 제약 사항에 맞게 특별히 설계된 임베딩 기반 검색의 효율성과 LLM 기반 정밀 순위 매기기의 의미론적 깊이를 결합한 새로운 2 단계 경매 메커니즘.
2. 임계값 지불 규칙: 후보 집합 진입 임계값과 최종 단계 경쟁을 모두 고려하여 진실성을 보장하도록 명시적으로 설계된 2 단계 선정 프로세스를 위한 지불 메커니즘.
3. 실증적 검증: 선택 정확도와 삽입 다양성 측면에서 임베딩 전용 및 LLM 전용 베이스라인을 능가하면서도 제어 가능한 지연 시간을 유지함을 보여주는 포괄적인 실험.

실험 결과

실험은 8 개 카테고리의 100 개 광고주로 구성된 합성 벤치마크에서 수행되었으며, 고처리량 추론을 위해 Qwen 모델 (4B, 30B, 235B) 과 SGLang 을 사용했습니다.

• 선택 정확도: 복잡한 의도 분석, 자연스러운 의도 전환, 부정적 제품 정제가 포함된 단일 광고 삽입 작업에서 LERA 는 일관되게 임베딩 전용 베이스라인을 능가했습니다. 예를 들어, 30B 모델을 사용한 경우 LERA 는 **98.73%**의 전체 정확도를 달성한 반면, 임베딩 전용 베이스라인은 **56.3%**에 그쳤습니다.
• 다중 광고 다양성: 동적 다중 광고 시나리오에서 LERA 는 "쿼리 만족도" (요청된 카테고리 충족 비율) 를 크게 개선했습니다. LERA 는 235B 모델로 **80.67%**의 만족도를 달성한 반면, 임베딩 전용 베이스라인은 **45.33%**로 어려움을 겪었습니다.
• 효율성 vs 정확도 트레이드오프:
  • 모든 광고주를 LLM 로짓으로 점수화하는 LERA (LLM-only) 는 높은 정확도를 달성했지만 병렬 프리-필링 요구 사항으로 인해 심각한 처리량 병목 현상을 겪었습니다.
  • LERA는 임베딩 전용 베이스라인에 비해 제어 가능한 지연 시간 오버헤드만 발생시키면서 높은 정확도를 유지했으며, 특히 낮은 동시성 수준에서 두드러졌습니다.
  • 제거 분석 (Ablation studies) 은 거친 필터링 단계 (1 단계) 가 속도뿐만 아니라 LLM 을 위한 노이즈를 줄여 정밀 순위 매기기 작업을 개선하는 데에도 중요함을 보여주었습니다.

중요성 및 주장

본 논문은 LLM 기반 챗봇에서 경매 기반 광고 삽입을 배포하기 위한 실질적인 단계로서 LERA 를 위치시킵니다. 그 중요성은 의미론적 관련성과 시스템 처리량 사이의 긴장을 해소하는 데 있습니다.

• 실용성: 처리량 인식 2 단계 메커니즘 내에서 LLM 점수화를 통합함으로써, LERA 는 모든 후보를 점수화하는 prohibitive 한 비용을 피하면서 실시간 애플리케이션에서 순위 매기기를 위한 LLM 로짓 사용을 가능하게 합니다.
• 상업적 타당성: 이 프레임워크는 반복적인 삽입을 피하고 부정적 제약 (예: "X 는 원하지 않음") 을 처리하는 등 생성형 광고의 특정 과제를 해결하며, 이는 종종 임베딩 모델이 놓치는 부분입니다.
• 이론적 기반: 제안된 지불 규칙은 외부성 인식 경매 설계를 생성형 설정으로 확장하여, 광고의 가치가 생성된 응답의 동적 맥락에 의존할 때도 메커니즘이 진실성을 유지하도록 보장합니다.

저자들은 결과가 합성 데이터셋과 클릭 확률과 실현된 가치 간의 독립성에 관한 이론적 가정에 의존한다는 한계를 인정합니다. 그러나 그들은 LERA 가 생성형 AI 의 신흥 환경에서 상업적 목표와 사용자 경험을 균형 있게 맞추기 위한 실현 가능한 아키텍처를 대표한다고 주장합니다.