GEM-Bench: A Benchmark for Ad-Injected Response Generation within Generative Engine Marketing

기술 요약: GEM-Bench

문제 정의
생성형 엔진 마케팅(Generative Engine Marketing, GEM)은 전통적인 검색 엔진 마케팅(SEM)에서 대화형 응답에 광고를 직접 통합함으로써 대규모 언어 모델(LLM)을 수익화하는 방향으로의 전환을 의미합니다. 이 연구에서 다루는 핵심 과제는 광고 주입형 응답(Ad-Injected Response, AIR) 생성입니다. 즉, 사용자 쿼리, LLM, 그리고 광고 데이터베이스가 주어졌을 때, 시스템이 관련 광고 설명을 생성된 응답 속에 자연스럽게 통합해야 합니다.

기존의 벤치마크와 평가 방법들은 이 특정 과제를 수행하기에 불충분합니다. 표준 LLM 벤치마크(예: MT-Bench)는 광고에 부적합한 도메인(예: 수학, 코딩)을 포함하고 있습니다. 또한, 전통적인 텍스트 품질 지표(ROUGE, BLEU)는 광고가 삽입되어 수정된 응답을 평가할 때 편향을 초래합니다. 기존의 "LLM-as-a-Judge" 접근 방식은 신뢰도나 침입적인 광고로 인한 "튀는 느낌(jump-out feeling)"과 같은 미묘한 사용자 경험 요소를 포착하지 못합니다. 시스템 프롬프트를 통해 광고를 주입하는 Ad-Chat과 같은 기존 솔루션은 광범ening한 성능 평가가 부족하며, 종종 참여도를 높이기 위해 응답 품질을 저해하기도 합니다.

방법론: GEM-Bench
이러한 격차를 해소하기 위해, 저자들은 AIR 생성을 위한 최초의 종합 벤치마크인 GEM-Bench를 제안합니다. 이는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 큐레이션된 데이터셋: 벤치마크는 챗봇 및 검색 엔진 시나리오를 다루는 세 가지 데이터셋을 포함합니다:

   • MT-Human: MT-Bench의 인문학 카테고리에서 광고 적합성이 수동으로 검증된 10개의 1차 턴 쿼리.
   • LM-Market: 여행, 레시피, 소프트웨어 도구로 필터링 및 클러스터링된 LMSYS-Chat-1M의 1,701개 단일 턴 영어 쿼리.
   • CA-Prod: 검색 엔진의 AI 개요 기능을 시뮬레이션하기 위해 상업용 쿼리-광고 데이터셋에서 파생된 120개의 쿼리.
   • 모든 데이터셋은 6,556개의 검증된 제품 및 브랜드가 포함된 공유 AdDB를 활용합니다.

2. 측정 온톨로지(Measurement Ontology): 저자들은 다차원적 평가 프레임워크를 정의합니다:

   • 정량적 지표: 응답 흐름(Response Flow) 및 응답 일관성(Response Coherence) (전역적 의미론적 연속성), 광고 흐름(Ad Flow) 및 광고 일관성(Ad Coherence) (광고 주변의 지역적 의미론적 전이), 주입율(Injection Rate), 그리고 *클릭률(CTR)*을 포함합니다.
   • 정성적 지표: 통합 루브릭을 통해 평가되는 6가지 "LLM-as-a-Judge" 차원: 정확성(Accuracy) (사실적 정확성), 자연스러움(Naturalness) (대화의 흐름), 개성(Personality) (사용자 중심 vs 판매 중심), 신뢰도(Trust) (신뢰성), 인지도(Notice) (제품 인지), 클릭(Click) (링크 참여).

3. Ad-LLM 프레임워크: 네 가지 에이전트로 구성된 모듈형 멀티 에이전트 워크플로우로, AIR 생성을 위해 설계되었습니다:

   • 광고 없는 응답 생성기(Ad-free Response Generator): 광고가 없는 초기 응답을 생성합니다.
   • 광고 검색기(Ad Retriever): 쿼리 또는 생성된 응답과의 의미적 유사성을 기반으로 관련 광고를 선택합니다.
   • 광고 주입기(Ad Injector): 코사인 유사도 기반의 목적 함수를 사용하여 의미론적 흐름 방해를 최소화함으로써 최적의 삽입 지점을 결정합니다.
   • 응답 재작성기(Response Rewriter): 매끄러운 통합을 보장하기 위해 주입된 응답을 정교화합니다.
   • 이 프레임워크는 여러 광고($k > 1$)의 반복적 삽입을 지원합니다.

실험 결과
저자들은 네 가지 솔루션인 기존의 Ad-Chat과 세 가지 변형의 Ad-LLM (GI-R, GIR-R, GIR-P)을 세 가지 데이터셋에 대해 평가했습니다.

• 효과성 (RQ1): Ad-LLM 변형들은 사용자 만족도와 참여도 측면에서 Ad-Chat보다 일관되게 우수한 성능을 보였습니다. 구체적으로, 가장 우수한 Ad-LLM 인스턴스(GIR-R)는 모든 데이터셋에서 전반적인 정성적 점수를 14.8%에서 15.6%까지 향상시켰습니다. 특히, Ad-LLM은 Ad-Chat 대비 **정확도에서 최대 39.8%, 개성에서 89.3%, 신뢰도에서 62.9%**의 상대적 이득을 달랐습니다. Ad-Chat은 검색 엔진 시나리오에서 더 높은 CTR(6.5% 높음)을 달성했지만, 정확도와 신뢰도가 현저히 낮았으며, 종종 응답 품질을 저하시키는 "판매원 같은" 페르소나를 채택했습니다.
• 인간 vs. LLM 정렬 (RQ2): 118명의 참가자로부터 얻은 3,140개의 평점(사용자 스터디)은 높은 내부 일관성($\rho_{hh} = 0.84$)과 LLM 심사위원과의 상당한 일치성($\rho_{hl} = 0.73$)을 보여주었습니다. 인간과 LLM 모두 Ad-Chat보다 Ad-LLM 솔루션을 일관되게 선호했습니다.
• 절제 연구 (Ablation Study, RQ3):
  • 정교화(Refinement): "응답 재작성기"(GIR-R/P)를 포함하는 것은 정교화되지 않은 GI-R에 비해 정성적 지표(자연스러움, 신뢰도)를 크게 개선했지만, 정량적 흐름 지표에서는 GI-R이 약간 더 나은 성능을 보였습니다.
  • 검색 전략: 응답 기반 검색(GIR-R)은 챗봇 시나리오에서 더 우수했던 반면, 프롬프트 기반 검색(GIR-P)은 키워드 중심의 검색 엔진 쿼리에서 더 나은 성능을 보였습니다.
  • 임베딩 모델: 더 강력한 임베딩 모델(text-embedding-3-small)은 챗봇 시나리오에서 더 나은 결과를 냈으나, 검색 엔진 시나리오에서는 차이가 미미했습니다.
• 비용 분석 (RQ4): Ad-LLM 솔루션은 멀티 에이전트 워크플로우로 인해 입력 토큰 측면에서 Ad-Chat보다 더 높은 계산 오버헤드를 발생시키지만, Ad-Chat은 내부 LLM 기반의 주제 및 제품 선택 단계로 인해 검색 시나리오에서 놀랍게도 5~25배 더 많은 입력 토큰을 소비했습니다. Ad-LLM 변형들은 단순 프롬프트 기반 방법보다 약 2배 더 많은 출력 토큰을 필요로 했습니다.

의의 및 주장
본 논문은 GEM의 광고 주입형 응답 생성을 평가하기 위해 특별히 설계된 최초의 종합 벤치마크를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 표준 확립: 단순한 참여 지표를 넘어 신뢰도 및 자연스러움과 같은 사용자 만족도 차원을 포함하는 큐레이션된 데이터셋과 다각적인 온톨로지를 제공합니다.
2. 트레이드오프 입증: 단순 프롬프트 기반 주입(높은 참여도, 낮은 만족도)과 구조화된 생성-주입 파이프라인(높은 만족도, 높은 오버헤드) 사이의 결정적인 트레이드오프를 강조합니다.
3. 연구 가능성 제공: 효과적이고 효율적인 AIR 생성 전략에 대한 향후 연구를 촉진하기 위해 확장 가능한 멀티 에이전트 프레임워크(Ad-LLM)와 베이스라인 구현을 제공합니다.

저자들은 예비 결과가 유망함을 보여주지만, GEM-Bench가 현재 데이터셋 규모와 인간 평가 범위 면에서 제한적임을 명시하며, 업데이트된 버전을 출시할 계획이라고 밝혔습니다. 그들은 이 작업을 상업적 광고 시스템을 위한 직접적인 최적화 도구가 아니라, 책임 있는 배포와 기만적인 광고에 대한 방어책을 장려하기 위한 진단 도구로 포지셔닝합니다.