Detecting RAG Advertisements Across Advertising Styles

이 논문은 생성형 RAG 광고의 다양한 스타일 (명시성과 호소 유형) 을 분류하고, 이러한 스타일 변화에 따른 탐지 모델의 견고성을 평가하여 엔티티 인식 기반 모델은 효과적이지만 경량 모델은 취약함을 밝혔습니다.

핵심

이 논문은 **"AI 가 답변을 할 때, 그 사이에 숨겨진 광고를 어떻게 찾아낼 것인가?"**에 대한 연구입니다.

과거에는 검색 엔진에서 광고가 "검색 결과 옆"에 따로 표시되었지만, 앞으로는 AI(챗봇) 가 답변을 할 때 자연스러운 문장 속에 광고를 섞어서 보여줄 가능성이 높습니다. 마치 요리사가 요리에 소금 대신 '비밀스러운 향신료'를 섞어 넣는 것처럼 말이죠.

이 논문은 그 '비밀스러운 향신료'를 찾아내는 기술이 얼마나 튼튼한지, 그리고 광고주가 그 향신료의 맛을 바꿔서 숨기려 할 때 어떻게 대응할지 실험했습니다.

핵심 내용을 쉽게 풀어서 설명해 드릴게요.

---

1. 상황: AI 의 답변 속에 숨겨진 광고 (생성형 네이티브 광고)

미래의 AI 는 사용자의 질문에 답할 때, "이 여행지 추천해요"라고 말하다가 중간에 **"FUN Flights(여행사) 에서 15% 할인 쿠폰이 있어요!"**라는 문장을 자연스럽게 끼워 넣을 수 있습니다.

• 문제점: 이 광고가 너무 자연스럽게 섞여 있으면, 사용자가 "아, 이건 광고구나"라고 눈치채기 어렵습니다. 마치 잡지 기사 속에 숨겨진 광고 (네이티브 광고) 와 비슷하죠.
• 목표: 사용자에게 "여기 광고가 숨어 있어요!"라고 알려주는 **탐정 (검출기)**을 만드는 것입니다.

2. 실험: 광고주의 '변장'과 탐정의 '수사'

연구진은 광고주가 탐정을 피하려고 어떻게 변장할지 시뮬레이션했습니다. 광고는 크게 두 가지 '스타일'로 나뉩니다.

1. 노골적인 스타일 (Overt): "저희 제품이 최고예요! 지금 사세요!"라고 크게 외치는 것. (눈에 잘 띕니다.)
2. 은밀한 스타일 (Covert): "혹시 spontaneus(즉흥적인) 여행을 원하신다면 FUN Flights 도 괜찮을 거예요"라고 아주 자연스럽게 톡 건네는 것. (눈에 잘 안 띕니다.)

또한, 광고가 호소하는 방식도 나눕니다.

• 이성적 (Rational): "배터리가 20 시간 갑니다, 가격이 10% 쌉니다" (사실 나열).
• 감성적 (Emotional): "자유의 맛을 느껴보세요, 설레는 여행의 시작" (감정 자극).

실험 방법:

• 1 단계: 먼저 다양한 광고 스타일로 만든 데이터를 학습시켜 '초보 탐정 (AI 모델)'을 훈련시켰습니다.
• 2 단계: 이제 광고주가 변장합니다. "아까 배운 스타일이 아니라, 새로운 은밀한 스타일로 광고를 만들어볼게요."
• 3 단계: 훈련된 탐정이 새로운 변장한 광고도 찾아낼 수 있는지 테스트했습니다.

3. 결과: 어떤 탐정이 가장 잘할까?

연구진은 세 가지 종류의 '탐정'을 비교했습니다.

A. 문장 전체를 보는 탐정 (Sentence Classifiers)

• 방식: "이 문장 전체가 광고 같아?"라고 판단합니다.
• 결과: 광고가 노골적일 때는 잘 찾았지만, 광고가 은밀하게 섞이거나 (Covert), 새로운 AI 가 만든 광고는 놓치는 경우가 많았습니다.
• 비유: "이 사람이 범죄자야?"라고 얼굴만 보고 판단하는 형사. 변장을 잘하면 속아 넘어갑니다.

B. 단어 하나하나를 보는 탐정 (Token Classifiers - 최고의 성능)

• 방식: 문장 속의 단어 하나하나를 분석합니다. "여기 'FUN Flights'라는 회사 이름이 나왔고, 바로 옆에 '할인'이라는 단어가 붙었네? 이건 광고구나!"라고 정확한 위치를 찾아냅니다.
• 결과: 가장 강력했습니다. 광고 스타일이 바뀌거나, 새로운 AI 가 만들어도 광고를 찾아내는 능력이 매우 뛰어났습니다. 특히 'ModernBERT'라는 모델이 가장 잘했습니다.
• 비유: 범죄 현장의 지문 감식반. 변장을 해도 지문 (단어 패턴) 은 변하지 않으므로, 숨겨진 광고의 '지문'을 찾아냅니다.

C. 가벼운 탐정 (랜덤 포레스트, SVM 등)

• 방식: 스마트폰처럼 성능이 낮은 기기에서도 빠르게 돌아갈 수 있는 간단한 규칙을 사용합니다.
• 결과: 너무 약했습니다. 광고 스타일이 조금만 바뀌어도 완전히 무너졌습니다.
• 비유: 간단한 체크리스트만 들고 있는 순경. 변장한 범죄자 앞에서는 무력합니다.

4. 핵심 교훈 (인사이트)

1. 광고는 점점 더 교묘해집니다: 광고주는 탐정을 피하기 위해 광고 스타일을 계속 바꿀 것입니다.
2. 단순한 규칙으로는 안 됩니다: "광고에는 '할인'이라는 단어가 자주 나온다" 같은 단순한 규칙은 통하지 않습니다. 문맥을 이해하는 **고급 AI(단어 단위 분석)**가 필요합니다.
3. 은밀한 광고가 가장 위험합니다: 감정을 자극하거나 아주 자연스럽게 섞인 광고는 찾기 가장 어렵습니다.
4. 정확한 위치 파악이 중요: 단순히 "광고가 있네"라고 알려주는 것보다, **"어디에 숨어 있는지"**를 정확히 찾아내야만 사용자가 광고만 지우고 나머지 유용한 정보는 볼 수 있습니다.

5. 결론: 앞으로는 어떻게 될까?

이 연구는 **"AI 가 답변할 때 광고를 섞어 넣는 시대가 오면, 우리는 강력한 '단어 단위 분석 AI'를 만들어서 광고를 정확히 찾아내고 차단해야 한다"**는 것을 증명했습니다.

하지만 아직 해결해야 할 과제가 있습니다.

• 가벼운 기기 문제: 가장 잘하는 AI 모델은 무겁고 비쌉니다. 일반 사용자의 스마트폰에서 이걸 돌리려면 더 가볍고 빠른 기술이 필요합니다.
• 지속적인 싸움: 광고주가 변장을 더 교묘하게 하면, 탐정도 더 똑똑해져야 하는 '고양이와 쥐'의 게임이 계속될 것입니다.

한 줄 요약:

"AI 가 답변 속에 숨겨진 광고를 찾아내는 일은, 단순히 '광고 문구'를 찾는 게 아니라 문장 속 단어들의 미세한 뉘앙스까지 분석하는 정교한 수사가 필요하며, 특히 단어 하나하나를 꼼꼼히 살피는 AI가 가장 효과적입니다."

기술 요약

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반의 검색 증강 생성 (RAG) 시스템에 광고가 통합되면서, 생성된 네이티브 광고 (Generated Native Ads) 가 유기적인 응답 텍스트에 자연스럽게 섞여 나타나는 새로운 형태의 광고가 등장하고 있습니다.

• 핵심 문제: 기존 광고 탐지 연구는 마케팅 문헌에서 논의되는 다양한 '광고 스타일 (Advertising Styles)'의 다양성을 반영하지 못하고 있습니다. 광고주들이 탐지를 회피하기 위해 광고의 스타일 (직설성, 호소 방식 등) 을 변경할 경우, 기존 탐지 모델의 성능이 급격히 저하될 수 있습니다.
• 목표: 다양한 광고 스타일과 LLM 의 변화에 대해 강건한 (Robust) 광고 탐지 모델을 개발하고 평가하는 것입니다.

2. 방법론 (Methodology)

2.1. 광고 스타일 분류 체계 (Taxonomy of Advertising Styles)

마케팅 문헌을 기반으로 LLM 광고를 분류하기 위한 2 차원 분류 체계를 제안했습니다.

1. 노출 정도 (Explicitness):
   • Overt (노출형): 전통적인 방식으로 광고 의도를 명확히 드러냄 (예: 큰 글씨, 긍정적 어휘 사용).
   • Covert (은폐형): 유기적인 콘텐츠처럼 위장하여 광고 의도를 숨김 (예: 제품 언급을 여러 대안 중 하나로 자연스럽게 녹임).
2. 호소 방식 (Type of Appeal):
   • Rational (합리적): 제품의 기능, 가격, 품질 등 사실과 논리에 기반한 정보 제공.
   • Emotional (감성적): 기쁨, 향수, 두려움 등 사용자의 감정을 자극하는 방식.

2.2. 데이터셋 및 실험 설계

• 기반 데이터: Webis Generated Native Ads 2025 (WGNA 25) 데이터셋 사용 (Brave Search, Copilot 등 RAG 시스템의 응답 30,731 개 포함).
• 시뮬레이션 (Evasion Simulation): 광고주가 탐지를 회피한다고 가정하고, 4 가지 스타일 (Overt/Covert × Rational/Emotional) 로 광고를 생성하는 새로운 프롬프트를 설계했습니다.
• LLM 변화: 기존 데이터셋에 사용된 LLM 들 (Old LLMs) 과 최신/차세대 LLM 들 (New LLMs: GPT-5, Llama-4 등) 을 교차하여 테스트했습니다.
• 강건성 측정: 기준 테스트 세트 (Reference) 와 새로운 스타일/LLM 으로 생성된 테스트 세트 간의 탐지 성공률 차이를 오즈비 (Odds Ratio) 와 신뢰구간을 통해 통계적으로 분석했습니다.

2.3. 평가 모델 (Classifiers)

세 가지 유형의 탐지 모델을 비교 평가했습니다.

1. 문장 분류기 (Sentence Classifiers): 전체 문장 쌍을 광고 포함 여부로 분류 (MiniLM, MPNet, ModernBERT 기반).
2. 토큰 분류기 (Token Classifiers): 개체명 인식 (NER) 기법을 사용하여 광고 텍스트의 시작과 끝을 정확히 위치 파악 (BIO 태그: Item, Advertiser, Ad Text).
3. 경량 모델 (Lightweight Models): 리소스 제약이 있는 단말기 (스마트폰 등) 를 고려한 Random Forest 와 SVM.

3. 주요 기여 (Key Contributions)

1. LLM 광고 스타일 분류 체계 제안: 명시성 (Explicitness) 과 호소 방식 (Appeal) 을 결합한 체계적인 분류법을 정립했습니다.
2. 광고주 회피 시나리오 시뮬레이션: 광고주가 탐지를 피하기 위해 스타일을 변경하는 상황을 모의하여, 탐지 모델의 취약점을 분석했습니다.
3. 강건성 평가 및 경량 모델 분석: 다양한 스타일과 LLM 변화 하에서 탐지 모델의 성능을 평가하고, 저사양 기기용 경량 모델의 한계를 지적했습니다.

4. 실험 결과 (Results)

4.1. 모델 성능 비교

• 토큰 분류기의 우위: 문장 단위 분류기보다 토큰 단위 분류기 (특히 ModernBERT 기반) 가 광고 탐지 성능 (F1-score) 이 훨씬 높았으며, 특히 광고의 정확한 위치를 파악하는 데 효과적이었습니다.
• 모델 파라미터 수의 영향: 파라미터 수가 많은 모델일수록 일반적으로 성능이 우수했습니다.
• 경량 모델의 한계: Random Forest 와 SVM 은 훈련된 스타일과 유사한 경우엔 작동하지만, 광고 스타일이나 LLM 이 변경되면 성능이 급격히 저하 (Brittle) 되어 신뢰할 수 없었습니다.

4.2. 강건성 분석 (Robustness)

• 스타일 변화: Covert (은폐형) 광고는 Overt(노출형) 보다 탐지가 훨씬 어려웠습니다. 특히 Covert-Rational(은폐형 - 합리적) 스타일에서 모든 모델의 성능이 크게 떨어졌습니다.
• 감성 vs 합리: 감성적 호소 (Emotional) 광고가 합리적 호소 (Rational) 광고보다 탐지가 상대적으로 쉬웠습니다.
• LLM 변화: 새로운 LLM(New LLMs) 이 생성한 광고는 기존 LLM 으로 생성된 광고보다 탐지하기 더 어려웠습니다.
• 예외 (ModernBERT Token Classifier): ModernBERT 기반의 토큰 분류기는 9 가지 새로운 테스트 세트 중 대부분에서 강건성을 유지했습니다. 유일하게 Covert-Emotional 스타일과 New LLMs 조합에서 약간의 성능 저하가 있었으나, 다른 모델들에 비해 압도적으로 견고했습니다.

4.3. 개체명 인식 (Entity Recognition)

• 토큰 분류기는 광고 텍스트 내의 '제품명', '광고주', '광고 문구' 등을 정확히 위치시키는 데 성공했습니다.
• 그러나 Covert-Rational 스타일에서는 개체 인식 성능이 유의미하게 감소했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 시사점: RAG 응답에 포함된 광고를 차단하기 위해서는 단순한 키워드 매칭이나 경량 모델만으로는 부족하며, 문맥을 이해하는 토큰 단위 분류기 (Transformer 기반) 가 필수적입니다.
• 한계와 향후 과제: 현재 연구는 특정 데이터셋과 LLM 에 국한되어 있습니다. 향후 연구에서는 광고가 응답 생성 과정 자체에 통합되는 (Bias token sampling) 시나리오를 고려해야 하며, 저사양 단말기에서도 실행 가능한 효율적인 탐지 모델 개발이 필요합니다.
• 핵심 결론: 광고 스타일의 변화는 탐지 모델의 성능에 치명적인 영향을 미칩니다. 특히 ModernBERT 기반의 토큰 분류기가 현재까지 가장 강력하고 강건한 솔루션으로 입증되었으며, 이는 차세대 RAG 광고 차단기의 핵심 기술로 고려되어야 합니다.

---

요약: 이 논문은 LLM 기반 RAG 시스템에 등장하는 새로운 형태의 광고를 탐지하기 위해, 마케팅 이론을 바탕으로 한 스타일 분류 체계를 도입하고 다양한 광고 스타일과 LLM 변화 하에서의 탐지 모델 강건성을 평가했습니다. 그 결과, 토큰 단위 개체명 인식 (NER) 을 수행하는 Transformer 기반 모델 (특히 ModernBERT) 이 다양한 환경 변화에서도 가장 높은 강건성과 정확도를 보였으며, 경량 모델은 스타일 변화에 취약함을 규명했습니다.