💬 NLP

PILA: Plug-and-Play Insertion for LLM-native Advertising

이 논문은 베이스 모델을 수정하거나 응답 품질을 저해하지 않으면서도 고품질의 제어 가능한 LLM 네이티브 광고를 가능하게 하기 위해, 광고 삽입을 콘텐츠 생성으로부터 분리하는 모델 불가지론적이고 플러그 앤 플레이 방식인 사이드카 모듈인 PILA를 소개한다.

원저자: Zhaowei Zhang, Yuhan Fu, Yihang Zhang, Xiaohan Liu, Ceyao Zhang, Xiaoyuan Zhang, Yipeng Kang, Tonghan Wang, Yaodong Yang

게시일 2026-07-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaowei Zhang, Yuhan Fu, Yihang Zhang, Xiaohan Liu, Ceyao Zhang, Xiaoyuan Zhang, Yipeng Kang, Tonghan Wang, Yaodong Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도서관이라고 상상해 보세요. 이제 사서들은 더 이상 인간이 아니라, 거대 언어 모델(LLM)이라 불리는 믿기지 않을 정도로 똑똑한 로봇들입니다. 이 로봇들은 이야기를 쓰고, 수학 문제를 풀고, 하늘은 왜 파란지에 대한 당신의 가장 깊은 질문에 답할 수 있습니다. 하지만 여기에 까다로운 문제가 있습니다. 이 로봇들에게 어떻게 비용을 지불할 것인가 하는 점입니다. 옛날에는 도서관에 광고판을 세우거나 문 앞에서 전단지를 나눠주곤 했습니다. 하지만 말하는 로봇들이 있는 이 새로운 세상에서, 로봇의 답변 한복판에 크고 투박한 광고판을 붙이는 것은 누군가 시를 읽으려고 하는데 "이것을 사세요!"라고 외치는 것과 같습니다. 그것은 마법을 망쳐버립니다. 과학자들이 던지는 큰 질문은 이것입니다. 광고를 로봇의 이야기 속에 아주 자연스럽게 스며들게 하여, 그것이 방해가 아니라 마치 이야기의 일부처럼 느껴지게 할 수 있을까?

여기서 'LLM 네이티브 광고'라는 새로운 아이디어가 등장합니다. 이는 제품 언급을 로봇의 답변 속에 너무나 자연스럽게 엮어 넣어, 그것이 전혀 광고처럼 느껴지지 않게 만드는 꿈같은 기술입니다. 하지만 메인 로봇에게 이 일을 하도록 가르치려는 시도는 재앙에 가까웠습니다. 그것은 마치 숙련된 요리사에게 완벽한 스테이크를 요리하면서 동시에 당신에게 믹서기를 팔려고 노력하라고 요구하는 것과 같습니다. 요리사는 주의가 분산되고, 스테이크는 식어버리며, 믹서기 홍보는 억지스럽게 느껴집니다. 현재 대부분의 방법은 로봇이 두 가지 일을 동시에 배우도록 강요하는데, 이는 종-종 답변의 질을 떨어뜨리거나 우리가 손댈 수 없는 방식으로 로봇의 뇌를 수정해야 하는 상황을 만듭니다. 왜냐하면 많은 똑똑한 로봇들은 '폐쇄형 소스'(우리가 건드릴 수 없는 잠긴 검은 상자 같은 것)이기 때문입니다.

여기서 베이징 대학교와 칭화 대학교와 같은 명문 대학의 연구진들이 제안한 영리한 프레임워크인 PILA가 등장합니다. PILA를 새로운 요리사가 아니라, 특별한 **'사이드카 웨이터(옆좌석 웨이터)'**라고 생각해보세요. 당신이 메인 셰프(원래의 로봇)에게 음식을 주문하고 음식이 완벽하게 나왔다고 상상해 봅시다. 음식이 당신의 테이블에 도착하기 직전, 작고 보이지 않는 사이드카 웨이터가 슥 나타납니다. 이 웨이터는 레시피를 바꾸거나 셰프의 작업을 변경하지 않습니다. 그저 접시를 아주 살짝, 완벽하게 배치된 가니쉬(광고)를 더해 음식의 풍미에 딱 맞게 재배치할 뿐입니다.

이 논문은 PILA를 '플러그 앤 플레이(꽂으면 바로 작동하는)' 솔루션으로 소개합니다. 이것은 메인 로봇이 어떻게 생각하는지 알 필요도 없고, 로봇이 업그레이드될 때마다 다시 훈련될 필요도 없습니다. 대신, 이 방식은 로봇의 완성된 답변을 가져와 광고를 끼워 넣을 수 있도록 아주 약간만 다시 씁니다. 연구진은 이 사이드카가 이 일을 수행할 수 있도록 가르치기 위해 25,000개의 예시로 구성된 방대한 훈련 데이터셋을 구축했습니다. 그들은 PILA가 OpenAI의 로봇부터 구글이나 앤스로픽의 로봇에 이르기까지 거의 모든 로봇과 함께 작동할 수 있다는 것을 발견했습니다.

결과는 꽤 유망합니다. 테스트 결과, PILA는 답변의 품질을 망치지 않으면서도 광고를 훨씬 더 자연스럽고 효과적으로 만들 수 있었습니다. 실제로, 로봇에게 모든 것을 동시에 하도록 강요하는 다른 방법들과 비교했을 때, PILA는 전반적인 경험을 상당한 차이로 개선했습니다—어떤 경우에는 최대 **47.3%**까지 더 나았습니다. 또한 사람들에게 광고가 얼마나 크게 들릴지를 결정할 수 있는 '볼륨 조절기'(강도 컨트롤러라고 불리는)를 제공하여, 미묘함과 눈에 띔 사이의 균형을 맞출 수 있게 해줍니다. 이 논문은 이것이 실용적인 경로임을 시사하지만, 이러한 결과가 실제 앱에서의 실시간 배포가 아닌 컴퓨터 시뮬레이션과 특정 데이터셋에 기반한 테스트 결과라는 점을 유의해야 합니다. 하지만 아이디어는 명확합니다. 로봇의 뇌를 망가뜨려 물건을 파는 대신, 우리는 그저 판매를 대신 해줄 똑똑하고 보이지 않는 사이드카를 추가하면 된다는 것입니다.

기술 요약: PILA – LLM 네이티브 광고를 위한 플러그 앤 플레이 삽입 기술

문제 정의

대규모 언어 모델(LLM)이 사용자 트래픽의 관문으로 급격히 채택됨에 따라, 생성된 응답에 스폰서 콘텐츠를 자연스럽게 통합하는 LLM 네이티브 광고와 같은 새로운 수익화 전략이 필요해졌습니다. 그러나 기존 방식들은 콘텐츠 생성과 광고 삽입이 밀접하게 결합되어 있다는 근본적인 구조적 한계에 직면해 있습니다.

현재의 방식들은 대개 다음 중 하나에 의존합니다:

모델 파라미터를 **미세 조정(Fine-tuning)**하여 응답과 광고를 동시에 생성하도록 함.
생성 과정에 영향을 미치기 위해 모델 내부 메커니즘(예: 토큰 수준의 경매)을 활용함.
단일 모델 인스턴스 내에서 프롬프트 엔지니어링 또는 샘플링 기반 디코딩을 수행함.

이러한 결합된 패러다임은 세 가지 결정적인 실무적 한계에 부딪힙니다:

접근성 불가능: 최첨단 LLM들은 대개 폐쇄형 소스이며 API를 통해서만 접근 가능하므로, 파라미터 수정이 불가능합니다.
워크플로우 불호환성: 현대의 애플리케이션은 에이전트 워크플로우, RAG, 다중 에이전트 하네스 등을 점점 더 많이 활용하고 있으며, 광고는 단일 모놀리식 모델 내부가 아닌 이질적인 구성 요소 전반에 걸쳐 작동해야 합니다.
목적 간섭: 단일 생성 프로세스 내에서 사용자 만족도와 광고 수익을 모두 최적화하려고 하면, 사용자를 지원한다는 본래의 목적이 저해될 수 있습니다.

결과적으로, 기본 모델을 수정하거나 기존 파이프라인을 방해하지 않으면서 기존 LLM 서비스에 통합할 수 있는 탈중앙화되고 모델 불가지론적인(model-agnostic) 솔루션이 필요합니다.

방법론: PILA 프레임워크

저자들은 **PILA (Plug-and-Play Insertion for LLM-native Advertising)**를 제안하며, 이를 조건부 응답 재작성(conditional response rewriting) 문제로 재정의합니다. PILA는 응답과 광고를 동시에 생성하는 대신, 최종 응답 단계에서만 개입하는 가벼운 **사이드카 모듈(sidecar module)**로서 작동합니다.

핵심 아키텍처

분리된 파이프라인:
- 상위 시스템 $M_{up}$ (단일 LLM, RAG 시스템 또는 에이전트 워크플로우가 될 수 있음)이 사용자 쿼리 $x$ 를 바탕으로 광고가 없는 응답 $y$ 를 생성합니다.
- 사이드카 재작성기 $\pi_\theta$ 로 인스턴스화된 PILA는 튜플 $(x, y, a, c)$ —여기서 $a$ 는 광고주 이름, $c$ 는 광고 내용—를 입력으로 받습니다.
- PILA는 광고가 포함된 응답 $\tilde{y}$ 를 출력하며, 이때 스폰서 구간은 <ad> 및 </ad> 태그로 명시적으로 표시됩니다.
- 이 설계는 PILA가 모델 불가지론적이며, 상위 모델의 파라미터나 내부 상태에 접근할 필요가 없음을 보장합니다.
데이터 구축:
- 저자들은 NaiAD 인프라를 기반으로 25k개의 고품질 코퍼스를 구축했습니다.
- 시드 생성: Claude Opus 4.5를 사용하여 사용자 쿼리와 큐레이션된 광고(1,936개 브랜드)에 대한 광고 없는 응답과 광고가 강화된 응답 쌍을 합성했습니다. 이 과정에는 의미적 매칭, 다양성 페널티, 품질 필터링을 위한 자가 판정(self-judging)이 포함되었습니다.
- 다양성 증강: Claude Haiku 4.5를 사용하여, 핵심 광고 내용과 경계를 유지하면서 광고 태그 주변의 담화 창(discourse window)을 패러프레이징함으로써 시드 세트를 확장했습니다.
- 최종 데이터셋은 10k개의 시드 예시와 15k개의 증강 예시를 포함하며, 조건부 응답 재작성을 위해 포맷팅되었습니다.
광고 강도 제어:
- PILA는 사용자 측의 자연스러움과 광고 측의 노출 사이의 균형을 맞추기 위해 **설득 지식 모델(Persuasion Knowledge Model, PKM)**에 근거한 광고 강도 컨트롤러를 도입합니다.
- 컨트롤러는 **대조적 디코딩(contrastive decoding)**을 활용하여 강도가 제어되는 정책을 정의합니다:
  $\log \pi_\rho^{PILA} = \log \pi^{PILA} + \rho \log \left( \frac{\pi^{PILA}}{\pi_{ref}} \right)$
- 여기서 $\pi_{ref}$ 는 튜닝되지 않은 원래의 백본 모델이며, $\rho$ 는 광고 강도 계수입니다.
- $\rho = 0$ 일 때, 모델은 표준 재작성기처럼 동작합니다. $\rho$ 가 증가함에 따라 모델은 참조 모델 대비 학습된 행동을 증폭시켜 더욱 두드러진 스폰서 콘텐츠를 생성합니다. 이를 통해 재학습 없이도 배포 시점에 조절 가능한 트레이드오프를 제공합니다.

주요 기여

정식화: 본 논문은 LLM 네이티브 광고 삽입을 상위 생성 프로세스와 분리된 조건부 응답 재작성 문제로 정식화했습니다.
프레임워크: API 전용 시스템, 에이전트 파이프라인 및 기존 프로덕션 스택과 호환되는 플러그 앤 플레이 방식의 모델 불가지론적 사이드카 프레임워크인 PILA를 제안합니다.
실용적 레시피: 25k 샘플 데이터 파이프라인과 PKM 기반의 대조적 디코딩 컨트롤러를 포함한 완전한 구현 레시피를 제공합니다.

실험 결과

저자들은 다양한 설정에서 PILA를 단일 LLM 베이스라인(프롬프트 기반, 샘플링 기반/MOSAIC, 튜닝 기반/SFT)과 비교 평가하였으며, 다양한 상업용 상위 모델을 강화하는 능력을 테스트했습니다.

성능 지표

평가는 6개의 상업적 도메인(자동차, 식음료, 홈 앤 퍼스널 케어, 여행, 옹호, 금융)에서 세 가지 지표(1-5 척도)를 사용하여 수행되었습니다:

Q1: 응답 관련성 (사용자 측)
Q2: 표현 일관성 (사용자 측)
Q3: 광고 효과 (광고 측)

주요 결과

단일 LLM 베이스라인 대비 우수성: PILA는 모든 베이스라인을 일관되게 능가했습니다. 평균 점수 기준으로 PILA-8B는 SFT, Base(프롬프트 기반), MOSAIC(샘플링 기반) 대비 각각 7.7%, 34.2%, 47.3% 향상된 성능을 보였습니다.
플러그 앤 플레이 강화: 7개의 최첨단 상업용 모델(GPT-5.4, Gemini 3.1, Claude Haiku 4.5, DeepSeek V3.2/4)에 적용했을 때, PILA-4B와 PILA-8B는 각각 평균 점수를 **17.2%**와 18.4% 개선했습니다.
파레토 개선(Pareto Improvement): 사용자 측 품질(Q1+Q2)과 광고 측 품질(Q3) 사이의 트레이드오프 공간에서, PILA는 Base 방식에 비해 일관되게 우측 상단 영역을 점유했습니다. 이는 사용자 만족도와 광고 효과가 동시에 개선되었음을 나타냅니다.
강도 제어: 광고 강도 계수 $\rho$ 에 대한 실험은 $\rho$ 를 적절히 높이면 광고 측 점수가 개선되는 반면, 과도하게 높이면 사용자 측 점수가 저하된다는 것을 보여주었습니다. 이는 광고가 지나치게 두드러지면 인지된 관련성이 떨어진다는 PKM 기반의 직관을 검증합니다.

사례 연구

질적 분석 결과, 베이스라인 방식들은 종종 광고를 갑작스럽게 삽입(예: 한의학적 설명에서 바로 디톡스 제품으로 전환)하는 반면, PILA는 성공적으로 의미적 가교(예: 한의학의 간 기능 개념을 서양의 생리학적 개념과 연결한 후 제품을 소개)를 구축하여 더 높은 일관성과 관련성 점수를 얻었습니다.

의의 및 주장

본 논문은 PILA가 범용적이고, 모델 불가지론적이며, 제어 가능하고, 배포 가능한 LLM 네이티브 광고를 위한 실질적인 경로임을 주장합니다.

아키텍처의 전환: 광고 삽입을 콘텐츠 생성으로부터 분리함으로써, PILA는 현대의 API 전용/에이전트 워크플로우와 기존 광고 삽입 방식 간의 불호환성 문제를 해결합니다.
배포 가능성: 이 프레임워크는 기본 모델의 수정이 필요 없는 "플러그 앤 플레이" 인터페이스를 제공하여 현재의 프로덕션 스택에 즉시 적용 가능합니다.
제어 가능성: 강도 컨트롤러는 이해관계자들이 사용자 경험과 광고 효용 사이의 트레이드오프를 탐색할 수 있도록 배포 시점의 조절 노브(knob)를 제공하며, 이는 다운스트림 가격 책정 및 배포 전략을 용이하게 합니다.

저자들은 이러한 분리된 접근 방식이 사용자 경험의 품질이나 기저 생성 모델의 무결성을 해치지 않으면서 LLM 응답에 스폰서 콘텐츠를 통합하는 유망한 방향임을 결론지었습니다.