🤖 AI

Fine-Tuned LLM as a Complementary Predictor Improving Ads System

본 논문은 사용자 프로필로부터 잠재 광고주를 예측하기 위해 미세 조정된 오픈소스 LLM 을 보조 예측기로 통합하여 생산 규모의 광고 시스템을 소개함으로써, 후보 생성을 강화하고 하위 순위 결정에 대한 정보적 사전 확률을 제공하여 오프라인 및 온라인 비즈니스 성과를 크게 개선하는 방법을 제시한다.

원저자: Hui Yang, Daiwei He, Kevin Jiang, Taejin Park, Kungang Li, Jiajun Luo, Yuying Chen, Xinyi Zhang, Sihan Wang, Haoyu He, Yu Liu, Lakshmi Manoharan, David Xue, Shubham Barhate, Runze Su, Duna Zhan, Ling

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hui Yang, Daiwei He, Kevin Jiang, Taejin Park, Kungang Li, Jiajun Luo, Yuying Chen, Xinyi Zhang, Sihan Wang, Haoyu He, Yu Liu, Lakshmi Manoharan, David Xue, Shubham Barhate, Runze Su, Duna Zhan, Ling Leng, Siping Ji, Jinfeng Zhuang, Alice Wu, Leo Lu, Han Sun, Zhifang Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 디지털 마켓플레이스 (핀터레스트와 같은) 를 운영한다고 상상해 보세요. 수백만 명의 방문자가 있고, 당신의 임무는 그들이 실제로 구매하고 싶어 하는 제품에 대한 완벽한 광고를 보여주는 것입니다.

전통적으로 당신의 시스템은 거대하고 효율적인 사서처럼 작동합니다. 그것은 어제 한 사람이 클릭한 것을 보고 선반에서 비슷한 책 (광고) 을 찾아냅니다. 이는 빠르고 "더 많은 같은 것"을 찾는 데 탁월합니다. 하지만 때로는 그 사람의 깊은 욕망이나 탐색 습관과 특정 브랜드 사이의 미묘한 연결고리를 제대로 이해하지 못해 목표를 빗나가기도 합니다.

이 논문은 새로운 도구를 소개합니다: 사서를 대체하지는 않지만 그와 함께 일하여 더 나은 추측을 하는 **똑똑하고 잘 읽은 조력자 (파인튜닝된 대규모 언어 모델, 즉 LLM)**입니다.

다음은 시스템을 단순한 단계로 분해한 작동 방식입니다:

1. 문제: 사서가 힌트가 필요합니다

전통적인 시스템은 수학에는 뛰어나지만 "세상 지식"에는 어려움을 겪습니다. 사용자가 등산화 클릭을 했다는 것은 알지만, 이전에 그 정확한 조합을 본 적이 없다면 등산화와 특정 브랜드의 에너지 바나 지역 아웃도어 용품점 사이의 직관적인 연결고리를 찾지 못할 수 있습니다.

2. 해결책: "광고 예측" 조력자

AI 에게 전체 광고를 작성하거나 모든 항목을 순위 매기도록 요청하는 대신 (이는 너무 느리고 비쌉니다), 팀은 AI 에게 매우 구체적인 질문을 했습니다:

"이 사람의 프로필과 그들이 살펴본 내용을 바탕으로, 다음에 특정 광고주 중 누구로부터 구매할 가능성이 가장 높을까요?"

이 AI 를 브랜드를 위한 점술가라고 생각하세요. 그것은 사용자의 기록 (검색, 클릭, 오프사이트 쇼핑) 을 읽고 이 사용자가 참여할 준비가 된 20 개의 특정 회사 (예: "나이키", "세포라", "홈디포") 의 짧은 목록을 예측합니다.

3. 조력자를 어떻게 훈련시켰나요

일반적인 AI 에게 이를 요청할 수는 없습니다. 마켓플레이스의 특정 규칙을 배워야 합니다.

숙제 (SFT): 먼저, AI 에게 사용자의 기록을 보고 그들이 구매할 수 있는 하나의 브랜드만 추측하도록 가르쳤습니다. 이는 학생에게 단일 수학 문제를 올바르게 풀도록 가르치는 것과 같습니다.
시행착오 (GRPO): 그다음, 더 어렵게 만들었습니다. AI 에게 20 개의 브랜드와 5 가지 사용자 관심사를 나열하도록 요청했지만, "점수판"을 주었습니다. AI 가 올바른 브랜드를 추측하고 목록 상단에 배치하면 높은 점수를 받았습니다. 잘못 추측하거나 너무 많은 항목을 나열하면 페널티를 받았습니다. 이는 AI 에게 정밀하게 행동하고 규칙을 따르도록 가르쳤습니다.
비밀 코드 (의미적 ID): 더 날카롭게 만들기 위해, AI 에게 이미지와 제품을 나타내는 특별한 "약어" 언어 (의미적 ID) 를 가르쳤습니다. 이는 조력자가 "빨간 원피스"라는 단어뿐만 아니라 다른 빨간 원피스와 패션 트렌드와 연결된 고유한 코드로 빨간 원피스 사진을 인식하도록 가르치는 것과 같습니다.

4. 실전 적용: 두 가지 도움 방법

AI 가 훈련된 후, 그들이 전체 쇼를 주도하도록 내버려 두지 않았습니다. 대신, 그 예측을 두 가지 구체적인 방법으로 사용했습니다:

방법 A: 필터 (검색)
사서가 수십억 개의 항목이 있는 창고를 검색한다고 상상해 보세요. AI 가 말합니다, "이 사용자에게는 이 20 개의 특정 브랜드에 속한 통로만 검색하세요." 이는 검색을 즉시 좁혀 시스템이 관련 없는 광고를 보여주는 시간을 낭비하지 않도록 합니다. 사서에게 먼저 확인할 VIP 매장 목록을 주는 것과 같습니다.
방법 B: 단서 (순위 매기기)
시스템이 어떤 광고를 먼저 보여줄지 결정할 때, AI 의 예측을 최종 결정권자에게 전달합니다. 판사에게 속삭이는 것과 같습니다, "이 사용자는 X 브랜드를 정말 좋아하므로 이 광고에 더 높은 점수를 주세요."

5. 결과: 효과가 있었나요?

팀은 이를 실제 세계 (핀터레스트의 실제 트래픽) 에서 테스트했습니다.

오프라인 테스트: AI 는 기존 시스템이나 이 특정 작업에 훈련되지 않은 "제로샷" AI 보다 올바른 브랜드를 추측하는 데 훨씬 더 나아졌습니다.
온라인 테스트: 실제 사용자에게 이를 켰을 때, 결과는 명확했습니다. 보여진 광고가 더 관련성이 높았고, **광고 지출 대비 수익 (RoAS)**이 거의 5% 에서 6% 증가했습니다. 이는 광고가 실제로 관심 있는 사람들에게 보여졌기 때문에 광고주들이 그들의 돈에 대해 더 많은 가치를 얻었음을 의미합니다.

핵심 교훈

이 논문은 거대하고 느린 AI 로 전체 추천 시스템을 대체할 필요가 없다고 주장합니다. 대신, 보조 예측기로 전문적으로 파인튜닝된 AI를 사용할 수 있습니다.

스포츠 팀처럼 생각하세요: 빠르고 신뢰할 수 있는 전통적인 알고리즘이라는 스타 플레이어가 있습니다. 이제, 상대의 기록을 연구하고 선수들에게 "이 특정 전략에 집중하세요"라고 말하는 **전술 코치 (LLM)**를 추가했습니다. 코치는 경기를 뛰지는 않지만, 그들의 조언은 팀이 더 자주 승리하도록 돕습니다.

간단히 말해: 그들은 사용어가 좋아하는 어떤 브랜드인지 예측하기 위해 똑똑한 AI 를 사용했고, 그 예측을 사용하여 광고를 필터링하고 순위 매기며, 성공적으로 광고주가 벌어들인 금액을 증가시켰습니다.

기술 요약: 광고 시스템을 개선하는 보조 예측기로 정밀 조정된 LLM

문제 정의

대규모 언어 모델 (LLM) 이 빠르게 발전하고 있음에도 불구하고, 특히 광고를 위한 생산 규모 추천 시스템 (RecSys) 에의 직접적인 통합은 여전히 어렵습니다. 산업용 광고 시스템은 사용자 ID, 광고주 ID 와 같은 희소하고 ID 중심의 특징에 크게 의존하는데, 이는 토큰 기반 의미 표현과 자연스럽게 정렬되지 않습니다. furthermore, 기존 RecSys 의 LLM 응용은 일반적으로 생성형 검색, 후기 단계 재순위화, 또는 보조 신호 보강의 세 가지 범주로 분류됩니다. 그러나 이러한 접근 방식은 광고 시스템의 특정 제약 조건, 즉 엄격한 지연 시간 예산, 희소 특징의 우세, 복잡한 타겟팅 제약과 전환 이력을 모델링해야 할 필요성으로 인해 종종 어려움을 겪습니다. 해결된 핵심 문제는 기존에 최적화된 산업 스택을 대체하거나 막대한 추론 비용을 발생시키지 않고도 LLM 의 세계 지식과 예측 능력을 활용하여 광고 검색 및 순위 결정을 개선하는 방법입니다.

방법론

저자들은 정밀 조정된 오픈 소스 LLM 을 직접적인 순위 결정기가 아닌 광고 특화 보조 예측기로 작용하는 보완적 패러다임을 제안합니다. 이 시스템은 구조화된 사용자 프로필과 전환 이력을 조건으로 잠재적 광고주와 사용자 관심을 예측합니다. 이러한 예측은 하위 검색 및 순위 결정 단계에 대한 정보적 사전 확률로 활용됩니다.

시스템 아키텍처

파이프라인은 네 단계로 구성됩니다:

사용자 선정: 지연 시간과 비용을 관리하기 위해 추론은 고가치 세그먼트 (최근 전환이 있는 활성 미국 사용자) 로 제한됩니다.
특징 컴파일: 이질적인 데이터 (온사이트/오프사이트 검색, 귀속/매칭된 전환, URL, 인구 통계) 가 컴팩트한 텍스트 표현으로 컴파일됩니다.
프롬프트 기반 광고주 예측: LLM 은 구조화된 프롬프트를 기반으로 순위가 매겨진 광고주 및 사용자 관심사 목록을 예측하도록 사후 훈련됩니다.
하위 소비: 예측된 광고주는 검색 단계 (후보 생성) 에서 타겟팅 필터로, 그리고 전환 모델 (순위 결정) 에서 특징으로 사용됩니다.

사후 훈련 전략

본 논문은 두 가지 주요 사후 훈련 접근 방식을 탐구합니다:

지도 정밀 조정 (SFT): 모델은 사용자 프로필, 과거 전환, 사전 설정된 광고주 풀을 포함하는 구조화된 프롬프트를 기반으로 단일 "다음 광고주"를 예측하도록 훈련됩니다.
GRPO (그룹 상대 정책 최적화): SFT 이후 모델은 강화 학습을 통해 최적화됩니다. 프롬프트는 20 개의 광고주와 5 개의 사용자 관심사에 대한 순위 목록을 요청합니다. 보상 함수 ( $R_{total}$ ) 는 정답 광고주와 일치하는 것 (상위 순위 위치에 대한 보너스 포함) 을 요구된 출력 형식 (20 개 광고주, 5 개 관심사) 에서 벗어난 길이에 대한 패널티와 균형을 맞춥니다. 이는 정확성과 생산 통합에 필요한 구조화된 XML 출력 형식에 대한 엄격한 준수를 모두 장려합니다.

시맨틱 ID(SID) 강화

텍스트 의미와 ID 기반 광고 시스템 간의 격차를 해소하기 위해 저자들은 RQ-VAE 를 통해 멀티모달 임베딩 (PinCLIP) 에서 파생된 **시맨틱 ID(SID)**를 통합합니다. 치명적인 망각을 방지하기 위해 다단계 훈련 접근법이 사용됩니다:

1 단계: 모델의 나머지 부분을 고정하고 SID 임베딩만 업데이트하여 SID 토큰을 텍스트 공간에 정렬합니다.
2 단계: 일반 도메인 데이터를 혼합하면서 추천 지식을 통합하기 위한 전체 매개변수 사전 훈련.
3 단계: 프롬프트에 텍스트 특징과 최근 SID 시퀀스를 모두 포함하는 작업별 정밀 조정 (SFT/GRPO).

하위 통합

검색: LLM 이 예측한 광고주는 보완적 후보 생성기 (CG) 로 작용하여 검색 공간을 필터링하고 높은 전환 의도를 가진 광고주를 우선시합니다. 이는 기존 신호 커버리지가 약한 사용자에게 특히 효과적입니다.
순위 결정: 예측된 광고주와 관심사는 특징화되어 하위 전환 모델 (ctcvr, vtcvr) 에 입력됩니다.

주요 결과

오프라인 성능

예측 품질: V1 데이터셋 (생산 트래픽과 정렬됨) 에서 1 개 광고주 프롬프트를 사용한 SFT 후 GRPO 를 결합한 방식은 제로샷 프롬프팅을 크게 능가했습니다. 시맨틱 ID 포함은 텍스트 전용 모델 대비 Recall@1, Recall@5, Recall@20 을 10% 이상 향상시켜 상당한 이득을 제공했습니다.
특징 제거 분석: 가장 중요한 입력 특징은 "과거 전환이 있는 활성 광고주"였습니다. 오프사이트 URL 과 오프사이트 검색이 그 다음으로 영향력이 큰 특징이었습니다. 흥미롭게도 명시적 추론 체인은 특정 의도 집계 작업에 있어 직접적인 SFT 스타일 훈련보다 덜 유용한 것으로 나타났습니다.
전환 모델: LLM 에서 파생된 광고주 특징을 전환 모델에 추가한 결과, 희소 전환 설정에서 특히 중요한 PR-AUC(정밀도 - 재현율 AUC) 를 포함한 측정 가능한 오프라인 개선이 이루어졌습니다.

온라인 비즈니스 영향

검색: 미국 쇼핑 광고에 대한 A/B 테스트 결과, LLM 기반 후보 생성기는 일반 처리 슬라이스에서 광고 지출 대비 수익 (RoAS) 을 4.94% 증가시켰고, 옵트인 슬라이스에서는 6.69% 증가시켰습니다.
메커니즘: 이러한 이득은 기존 협업 필터링 채널에서 이전에 충분히 커버되지 않았던 높은 전환 의도를 가진 광고주의 트래픽을 시스템이 노출함으로써 발생했습니다.
운영 제약: 연구는 깔때기 생존과 참여를 균형 있게 맞추기 위해 후보 생성기의 할당량과 훈련 목표 (원시 노출 또는 희소 전환 대신 지속 시간 기반 가중치를 적용한 클릭 사용) 를 신중하게 조정하는 것이 필수적임을 강조했습니다.

중요성과 주장

본 논문은 산업용 광고 시스템에서 LLM 의 역할을 재정의함으로써 규모에 따른 LLM 강화 추천을 위한 실용적 경로를 제시한다고 주장합니다. 기존 다단계 검색 및 순위 결정 스택을 대체하거나 LLM 을 고비용 재순위 결정기로만 사용하는 대신, 저자들은 정밀 조정된 LLM 이 보조 예측기로 작용할 수 있음을 보여줍니다.

주요 기여점은 다음과 같습니다:

패러다임 전환: 텍스트 의미와 광고의 희소 ID 특징 간의 격차를 해소하기 위해 LLM 의 세계 지식을 활용하는 광고주 예측 작업을 성공적으로 수립함.
실용적 레시피: 데이터 컴파일, 프롬프트 설계 (SID 통합 포함), 정밀 조정 (SFT + GRPO) 을 위한 검증된 워크플로우를 제공하여 전체 광고 파이프라인에서 사용할 수 있는 안정적이고 저지연 신호를 산출함.
엔드투엔드 검증: 이러한 LLM 에서 파생된 신호가 핵심 인프라를 방해하지 않고 검색 커버리지와 순위 결정 정밀도를 모두 개선함으로써 측정 가능한 비즈니스 가치 (RoAS 개선) 를 실현할 수 있음을 입증함.

저자들은 멀티모달 SID 확장이 강력한 오프라인 결과를 보였음에도 불구하고 아직 온라인 생산 환경에서 완전히 검증되지 않았으므로 주요 경험적 주장에서 제외되었다고 겸손하게 언급합니다. 이 작업은 이 접근법의 성공이 보조 예측 작업의 특정 설계와 기존 산업 제약 조건과의 긴밀한 통합에 달려 있음을 강조합니다.