기술 요약: LLM 기반 검색을 위한 생성 엔진의 출력 순위 제어

1. 문제 정의

LLM(대규모 언어 모델) 기반 검색, 즉 "생성형 엔진"의 부상은 사용자 상호작용을 링크 목록을 탐색하는 방식에서 직접적으로 합성된 제품 추천을 받는 방식으로 변화시켰습니다. 이는 사용자 효율성을 높이지만, 결정적인 취약점을 초래합니다. 최종 출력 순위가 외부 검색 엔진(예: Google, Amazon)에서 제공하는 초기 검색 순위에 크게 의존한다는 점입니다.

이러한 의존성은 "위치 편향(position bias)"을 생성하며, 이로 인해 실제 관련성과 관계없이 후보 리스트의 하단에 검색된 아이템은 최종 LLM 생성 요약에서 상위로 승격되는 경우가 드뭅니다. 이러한 역학 관계는 제품이 검색 결과 하단에 묻힐 수 있는 소상공인과 독립 크리에이터들에게 불리하게 작용합니다. 이를 해결하기 위한 기존의 시도들(예: GEO 또는 프롬프트 인젝션)은 대개 모델 내부 구조에 대한 화이트박스 접근 권한을 필요로 하거나, 일관성이 없고 쉽게 탐지되는 인코히어런트(incoherent)한 인젝션 공격을 사용합니다. 과제는 생성된 콘텐츠의 유창성이나 자연스러움을 해치지 않으면서, 블랙박스 설정(쿼리와 출력만 접근 가능한 환경)에서 출력 순위를 제어하는 것입니다.

2. 방법론: CORE

저자들은 타겟 아이템과 관련된 텍스트를 수정하여 해당 아이템의 최종 순위를 조작하도록 설계된 최적화 방법인 CORE(Controlling Output-Rankings in gEnerative Engines)를 제안합니다. CORE는 타겟 아이템 $i^*$에 대한 수정된 텍스트 $T'(i^*)$를 찾아, 해당 아이템이 LLM 출력의 상위-$k$ 위치에 나타날 확률을 극대화하는 것을 목표로 하는 최적화 문제로 랭킹 작업을 취급합니다.

CORE는 계산 자원 가용성에 따라 두 가지 뚜렷한 솔루션을 제공합니다.

A. 섀도우 모델(Shadow-Model) 솔루션

이 접근 방식은 타겟 합성 LLM($\theta$)의 동작을 모방하는 "섀도우 모델"($\theta'$)을 훈련시키기 위한 충분한 계산 자원에 접근할 수 있다고 가정합니다.

• 메커니즘: 섀도우 모델은 퓨샷(few-shot) 프롬프팅을 통해 타겟 LLM과 정렬됩니다. 일단 구축되면, CORE는 타겟 아이템 텍스트의 연속적인 임베딩 표현(continuous embedding representation)에 대해 직접 그래디언트 기반 최적화를 수행합니다.
• 프로세스: 임베딩을 반복적으로 업데이트하여 랭킹 손실 함수를 최소화한 다음, 최적화된 임베딩을 다시 이산적인(discrete) 텍스트로 디코딩합니다.
• 콘텐츠 유형: 이 방법은 주로 문자 기반(string-based) 최적화를 활용하며, 아이템 설명에 전략적으로 설계된 문자열을 추가합니다.

B. 쿼리 기반(Query-Based) 솔루션

모델 내부나 섀도우 모델링을 위한 충분한 자원이 없는 설정을 위해 설계된 이 솔루션은 블랙박스 LLM과 상호작용하는 반복적인 생성기-최적화기(generator-optimizer) 루프로 작동합니다.

• 생성기(Generator): 타겟 아이템이 왜 높은 순위를 받아야 하는지를 설명하는 초기 초안(추론 또는 리뷰)을 작성합니다.
• 최적화기(Optimizer): LLM의 출력 순위를 원하는 타겟 순위와 비교하여 평가합니다. 만약 유사도가 임계값 미만이면, 최적화기는 초안을 수정합니다.
• 전략:
  1. 추론 기반(Reasoning-based): 타겟 아이템을 대안들과 비교하는 논리적이고 단계적인 근거(Chain-of-Thought 스타일)를 구성합니다.
  2. 리뷰 기반(Review-based): 초안을 과거 시제의 실제 고객 리뷰 내러티브(예: "이 제품을 구매한 후...")로 재작성하여 실제 사용자 경험을 모방합니다.

3. 벤치마크: ProductBench

현실적인 환경에서 CORE를 평가하기 위해 저자들은 ProductBench라는 대규모 벤치마크를 구축했습니다.

• 범위: 15개 제품 카테고리(예: 전자제품, 뷰티, 도구)와 각 카테고리당 200개의 제품을 포함합니다.
• 데이터 소스: 각 제품에 대해 Amazon의 검색 인터페이스에서 검색된 상위 10개의 추천 항목을 가져왔습니다.
• 구조: 합성 LLM의 입력으로 포맷팅된 구조화된 속성(이름, 가격, 설명, 리뷰)을 포함합니다.

4. 실험 결과

저자들은 네 가지 검색 가능 LLM(GPT-4o, Gemini-2.5, Claude-4, Grok-3)에 대해 CORE를 평가했습니다.

• 승격 성공률 (Promotion Success Rate, PSR): 최적의 최적화 전략 하에서 CORE는 다음과 같은 평균 성공률을 달성했습니다:
  • Top-5에서 91.4%
  • Top-3에서 86.6%
  • Top-1에서 80.3%
  • 참고: 리스트 하단에서 시작한 아이템의 베이스라인 성공률은 사실상 0%였습니다.
• 전략별 효과성:
  • 추론 기반 전략은 GPT-4o와 Claude-4에서 매우 뛰어난 성능을 보였습니다.
  • 리뷰 기반 전략은 Gemini-2.5와 Grok-3에서 우수한 성능을 보였으며, 특히 "뷰티 및 퍼스널 케어"와 같은 카테고리에서 강력한 모습을 보였습니다.
  • 문자 기반 방법은 중간 정도의 성공을 보였으나, 추론이나 리뷰 전략보다는 현저히 효과가 떨어졌습니다.
• 유창성 및 탐지 가능성:
  • 퍼플렉시티(Perplexity): 문자 기반 콘텐츠는 퍼플렉시티가 매우 높아(1,000–2,000) 쉽게 탐지되었습니다. 추론 기반 콘텐츠는 중간 정도의 퍼플렉시티를 가졌으나, 리뷰 기반 콘텐츠는 베이스라인(~32)과 유사하게 유지되어 높은 유창성을 유지했습니다.
  • 인간 평가: 리뷰 기반 콘텐츠는 베이스라인과 거의 유사한 유창성(4.6/5 vs 4.7/5)을 보였고 탐지율도 낮았으나(18.4%), 문자 기반 콘텐츠는 거의 예외 없이 부자연스러운 것으로 분류되었습니다(98.5% 탐지).
• 비교: CORE는 기존의 랭킹 조작 방법들(STS, TAP, SRP, RAF)보다 특히 교차 모델 전이성과 강건성 측면에서 우수한 성능을 보였습니다.

5. 의의 및 주장

본 논문은 CORE가 블랙박스 설정에서 콘텐츠 조작에 대한 LLM 기반 검색 시스템의 취약성을 입증한다고 주장합니다. 주요 주장은 다음과 같습니다:

1. 순위의 가변성: 생성 엔진의 최종 출력 순위는 LLM의 내부 추론에 의해서만 결정되는 것이 아니라, 검색된 아이템의 콘텐츠를 통해 강력하게 제약되고 조작될 수 있습니다.
2. 블랙박스의 실현 가능성: 모델의 그래디언트나 내부 구조에 대한 화이트박스 접근 권한 없이도 효과적인 순위 제어가 가능하며, 이는 블랙박스 설정이 이러한 조작으로부터 안전하다는 가설에 도전합니다.
3. 은밀함(Stealthiness): 이전의 프롬프트 인젝션 공격과 달리, CORE의 리뷰 기반 및 추론 기반 전략은 높은 의미론적 일관성과 유창성을 유지하므로 표준 퍼플렉시티 필터나 인간의 검사로 탐지하기 어렵습니다.
4. 완화의 어려움: 저자들은 세 가지 완화 전략(퍼플렉시티 필터링, 패턴 기반 필터링, 길이 제한)을 테스트했습니다. 이들은 문자 기반 및 추론 기반 공격의 성공률은 낮추었으나, 리뷰 기반 전략에는 거의 효과가 없었으며, 이는 더 강력한 방어 메커니즘의 필요성을 강조합니다.

본 연구는 CORE가 소외된 아이템의 가시성을 높이는 메커니즘을 제공하는 동시에, 생성형 검색 시스템에서의 랭킹 조작이라는 심각한 위험을 노출한다는 결론을 내리며, 책임 있는 배포와 방어 전략에 대한 추가 연구가 필요함을 시사합니다.