💬 NLP

Interactor: Agentic RL oriented Iterative Creation for Ad Description Generation in Sponsored Search

이 논문은 생성형 보상 모델과의 다회차 상호작용을 통해 스폰서 검색의 광고 설명을 반복적으로 개선함으로써 지식의 풍부함과 랜딩 페이지 일관성을 크게 향상시키고 성공적인 온라인 배포를 달성한 에이전트 기반 강화 학습 프레임워크인 Interactor를 소개한다.

원저자: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Penghui Wei, Jiayu Wu, Chao Ye, Zhi Guo, Shuanglong Li, Lin Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 레모네이드 가판대를 운영하고 있다고 상상해 보세요. 단순히 "레모네이드!"라고 외치는 것(이것은 광고 제목과 같습니다) 대신, 당신의 레모네이드가 왜 특별한지 설명할 수 있는 길고 상세한 메뉴판을 가지고 있는 상황입니다.

이 논문은 검색 광고를 위한 저 길고 상세한 설명글을 작성하기 위해, 똑똑하고 스스로 교정 가능한 마케팅 비서 역할을 하는 INTERACTOR라는 새로운 시스템을 소개합니다.

작동 방식은 다음과 같이 간단한 개념으로 나누어 설명할 수 있습니다.

1. 문제점: "원샷(One-Shot)"의 실수

현재 대부분의 AI 도구는 연습장도 없이 시험을 치르는 학생처럼, 단 한 번의 시도로 광고 설명을 쓰려고 합니다. 가끔은 맞히기도 하지만, 종종 두 가지 큰 실수를 저지릅니다:

내용을 지어냅니다: 공급업체는 일반 레몬만 판매하는데, AI가 "유기농 레몬"을 사용한다고 말할 수 있습니다 (이를 랜딩 페이지에 대해 **불충실(unfaithful)**하다고 합니다).
너무 모호합니다: 레몬을 새벽에 직접 손으로 골랐다는 점을 설명하는 대신, 그저 "맛이 좋다"라고만 말할 수 있습니다 (이것은 **세계 지식(world knowledge)**을 놓친 것입니다).

AI는 사용자의 반응을 즉각적으로 "볼" 수 없기 때문에, 같은 실수를 반복하게 됩니다.

2. 해결책: "코치와 선수"의 루프

INTERACTOR는 게임의 판도를 바꿉니다. 원샷 테스트 대신, 선수(광고를 쓰는 AI)와 코치(특화된 AI 심판들) 사이의 **다회차 대화(multi-turn conversation)**로 광고 작성을 전환합니다.

단계별 루프는 다음과 같습니다:

선수가 초안을 작성합니다: AI가 광고의 첫 번째 버전을 씁니다.
코치가 검토합니다: 코치는 단순히 점수(예: "10점 만점에 8점")만 주는 것이 아닙니다. 코치는 빨간 펜을 든 엄격한 편집자처럼 행동합니다. 코치는 이렇게 말합니다:
- "당신은 '무료 배송'이라고 주장했지만, 웹사이트에는 '배송비 발생'이라고 되어 있습니다. 이건 거짓말입니다. 수정하세요."
- "사용자가 실제로 궁금해하는 것은 흑임이 탈모 건강에 도움이 된다는 점인데, 그 내용을 언급하지 않았습니다. 추가하세요."
선수가 다듬습니다: AI는 코치의 노트를 읽고, 생각하고, 특정 오류를 수정하기 위해 광고를 다시 씁니다.
반복: 광고가 완벽해질 때까지 이 과정이 여러 번 반복됩니다.

3. 핵심 비결: "에이전틱 RL (Agentic RL)"

논문에서는 이를 **에이전틱 강화 학습(Agentic Reinforcement Learning)**이라고 부릅니다. 이것은 똑똑한 강아지를 훈련시키는 것과 같습니다. 강아지가 왜 간식을 받았는지 혹은 왜 지적을 받았는지 그 이유를 이해할 수 있는 수준의 훈련입니다.

전통적인 RL: AI는 "잘했어!" 또는 "못했어!"라는 신호만 받습니다. 그래서 다음에 무엇을 해야 할지 추측해야 합니다.
INTERACTOR (Agentic RL): AI는 **추론 피드백(reasoning feedback)**을 받습니다. 어떤 문장이 왜 틀렸는지 정확히 알게 됩니다. 이를 통해 훨씬 더 빠르게 학습하고 훨씬 더 나은 설명을 쓸 수 있습니다.

4. 결과: "미사여구"에서 "사실"로

이 논문은 실제 바이두(Baidu) 검색 엔진의 데이터를 바탕으로 테스트를 진행했습니다.

이전: AI 광고는 종종 "미사여구(fluffy)"가 많거나(빈말이 가득함), "환각(hallucinated)" 현상(사실을 지어냄)을 보였습니다.
이후: INTERACTOR 시스템은 다음과 같은 광고를 만들어냈습니다:
- 지식 풍부(Knowledge-Rich): 실제 사실을 바탕으로 사용자의 질문에 제대로 답변합니다.
- 충실함(Faithful): 광고주 웹사이트에서 실제로 제공하는 내용에 엄격하게 충실합니다.
- 클릭률 증가: 광고가 더 좋아졌기 때문에, 더 많은 사람이 클릭했고 회사는 더 많은 수익을 올렸습니다.

5. 현실 세계의 영향

논문에 따르면, 이 시스템은 2026년 5월부터 주요 검색 엔진에서 실제로 운영되고 있습니다. 이는 단순한 이론이 아닙니다. 현재 광고주들이 더 나은 광고를 쓰도록 돕고, 사용자들이 더 관련성 높은 정보를 찾을 수 있도록 도우며, 동시에 검색 엔진의 수익을 높이고 있습니다.

요약하자면: INTERACTOR는 AI 작가에게 단순히 성적을 매기는 것을 넘어, 광고가 완벽해질 때까지 모든 실수를 고칠 수 있도록 옆에서 도와주는 전문가 편집자 팀을 붙여주는 것과 같습니다.

<thought> 태그는 문맥을 이해하고 계획을 세우는 데 사용됩니다.

응답(Response): 실제 행동을 나타내는 특정 태그 내에 포함됩니다:
- <retrieve>: 검색 엔진에 관련 세계 지식(world knowledge)을 주입하도록 요청합니다.
- <create>: 광고 설명을 생성하거나 정교화합니다.
- <reward>: 보상 모델로부터 평가를 요청합니다.

2. 커스텀 환경 (Customized Environment)

환경은 두 가지 주요 구성 요소를 통해 관측값과 보상을 제공합니다:

생성형 보상 모델 (GenRMs): 스칼라 보상 모델과 달리, 이들은 특정 품질 차원을 평가하는 루브릭 기반 모델(프런티어 블랙박스 LLM으로 구현됨)입니다:
- 지식 용량 (Knowledge Capacity): 설명이 사용자의 의도와 관련된 세계 지식을 포함하고 있는지 확인합니다.
- 랜딩 페이지 일관성 (Landing Page Consistency): 모든 셀링 포인트가 랜딩 페이지 정보에 의해 엄격하게 함의(entailed)되는지 검증하여, 불충실한 과장을 방지합니다.
- 출력: GenRM은 이진 신호(pass/fail)와 세밀한 추론 피드백(예: 특정 문구가 왜 불충실한지 또는 어떤 지식이 누락되었는지에 대한 설명)을 모두 제공합니다.
검색 엔진: 방대한 백과사전적 웹 페이지 코퍼스로부터 관련 지식을 검색하여 컨텍스트를 증강함으로써, 생성된 텍스트가 외부 지식에 근거하도록 보장합니다.

3. 에이전트 기반 RL 최적화 (Agentic RL Optimization)

이 프레임워크는 비평가(critic-free) 방식인 **그룹 시퀀스 정책 최적화 (GSPO)**를 사용하여 정책을 최적화합니다.

롤아웃 (Rollouts): 각 에피소드는 멀티 턴 롤아웃 시퀀스 $\tau$ 입니다.
보상 신호: 총 보상 $r_t$ 는 GenRM의 이진 품질 신호(지식 용량 및 랜딩 페이지 일관성)와 역사적 사용자 피드백 로그를 통해 학습된 모델에서 도출된 예측 CTR 점수의 가중 합계입니다.
정책 업데이트: 어드밴티지는 프롬프트당 여러 번의 롤아웃에 대한 그룹 기반 정규화를 사용하여 추정됩니다. 그래디언트 계산 중에 환경이 제공한 토큰(관측값)과 태스크 입력은 마스킹되는 반면, 정책에 의해 생성된 토큰만 업데이트됩니다.

주요 기여 (Key Contributions)

초점의 전환: 본 논문은 CTR 중심의 타이틀 생성에서 정보 중심의 설명 생성으로의 전환이라는 산업적 필요성을 식별하며, 사용자 의도를 충족하기 위한 명시적인 세계 지식 모델링의 중요성을 강조합니다.
반복적 프레임워크: LLM 정책이 에이전트 기반 RL을 통해 최적화되는 멀티 턴 프레임워크인 INTERACTOR를 제안합니다. 이를 통해 단순한 스칼라 신호만이 아닌, 상세한 추론 기반 피드백을 통해 지식 용량과 랜딩 페이지 일관성을 지속적으로 개선할 수 있습니다.
실증적 검증: 대규모 산업 데이터셋에 대한 실험을 통해, INTERACTOR가 지식 풍부하고 충실한 설명을 생성하는 데 있어 기존의 SOTA 싱글 턴 방식들을 유의미하게 능가함을 입증했습니다.

실험 결과 (Experimental Results)

본 프레임워크는 선도적인 중국 검색 엔진의 100만 개 사용자-광고 쌍이 포함된 독점 데이터셋을 통해 평가되었습니다.

오프라인 지표: INTERACTOR는 모든 차원에서 베이스라인(CTOP, DIVER 및 싱글 턴 RL 프로덕션 모델 포함)을 능가했습니다:
- 충실도 (Faithfulness): 0.872를 달성하여, 싱글 턴 RL 베이스라인(0.726) 및 기타 경쟁 모델보다 현저히 높았습니다.
- 정보성 (Informativeness): 0.715를 기록하여, 싱글 턴 RL 베이스라인(0.693)을 넘어섰습니다.
- 매력도 (예측 CTR): 12.4%를 달성하여, 싱글 턴 베이스라인(12.3%)을 소폭 상회했습니다.
어블레이션 연구 (Ablation Studies):
- GenRM에서 추론 피드백을 제거했을 경우("w/o reasoning") 성능이 급격히 저하되었으며, 이는 세밀한 피드백이 반복적 프로세스의 핵심 요소임을 확인시켜 줍니다.
- 반복의 최종 턴은 일관되게 직전 턴보다 우수한 성능을 보였으며, 이는 지속적인 개선 능력을 입증합니다.
온라인 A/B 테스트: 2026년 5월부터 140,000명 이상의 광고주를 대상으로 하는 선도적인 검색 광고 시스템에 배포되었습니다. 결과는 광고 매출 0.74% 증가와 인간 평가 기준 전체 콘텐츠 품질의 최상급 등급 비율 7%포인트 상승을 보여주었습니다.

의의 및 주장 (Significance and Claims)

본 논문은 INTERACTOR 프레임워크가 스칼라 보상 기반의 싱글 패스 생성의 한계를 넘어 광고 텍스트 생성의 중요한 진전을 이루었다고 주장합니다. 멀티 턴 반복과 생성형 보상 모델을 갖춘 에이전트 기반 RL을 활용함으로써, 시스템은 정보가 풍부한 세계 지식의 필요성과 랜딩 페이지 사실에 대한 엄격한 준수 사이의 균형을 맞추며 롱폼(long-form) 광고 설명의 복잡한 제약 조건을 효과적으로 처리합니다. 성공적인 온라인 배포는 실제 스폰서 검색 시스템에서 광고주 수익과 사용자 경험을 모두 개선하는 데 있어 이 접근 방식의 실질적인 실행 가능성을 입증합니다.