Exposing Citation Vulnerabilities in Generative Engines

이 논문은 생성형 엔진의 인용 취약성을 분석하기 위해 인용 출처의 콘텐츠 주입 장벽을 평가하는 새로운 기준을 제안하고, 이를 통해 미국과 일본의 정치 분야에서 공식 출처 인용 비율의 차이와 poisoning 공격 위험을 실증적으로 규명했습니다.

핵심

🍽️ 비유: 배달 앱과 요리사 (생성형 엔진)

생성형 AI 를 **요리사 (Chef)**라고 상상해 보세요. 사용자는 요리사에게 "오늘 저녁 메뉴 추천해 줘"라고 주문합니다.
이 요리사는 직접 재료를 사오지 않고, **인터넷이라는 거대한 마트 (웹)**에서 재료를 찾아와서 요리를 만들어 줍니다. 그리고 "이 요리는 A 마트의 신선한 고기로 만들었습니다"라고 출처를 밝히죠.

이 연구는 바로 **"요리사가 마트에서 어떤 재료를 사오는가?"**와 **"그 재료가 진짜 맛있는지, 아니면 독이 든 재료를 사오진 않는지"**를 조사한 것입니다.

🔍 연구의 핵심 문제: "누가 마트 주인인가?"

기존에는 요리사가 마트에서 가져온 재료를 그대로 요리했는지 (정확성) 만 확인했습니다. 하지만 이 연구는 더 중요한 질문을 던집니다.

"요리사가 가져온 재료를 누가 팔고 있는 걸까? 그 재료를 누가 마음대로 바꿀 수 있을까?"

인터넷 마트에는 두 가지 종류의 가게가 있습니다.

1. 공식 관공서/정당 사이트 (높은 장벽): 누가 마음대로 내용을 바꿀 수 없습니다. (예: 민주당 공식 홈페이지)
2. 블로그/소셜 미디어/개인 사이트 (낮은 장벽): 누구나 쉽게 글을 쓰고 내용을 바꿀 수 있습니다. (예: 개인 블로그, 트위터, 레딧)

🇺🇸🇯🇵 일본과 미국의 차이 (실험 결과)

연구진은 일본과 미국의 정치 질문에 대해 AI 가 어떤 재료를 가져오는지 조사했습니다.

• 일본 (조심스러운 요리사):

  • 요리사들이 **공식 관공서나 정당 사이트 (높은 장벽)**에서 재료를 가져오는 비율이 **60~65%**로 매우 높았습니다.
  • 즉, 일본 정치 질문에 대한 답은 공식적인 정보를 바탕으로 하는 경우가 많아, 악의적인 사람이 내용을 조작하기 상대적으로 어렵습니다.

• 미국 (다양한 재료를 쓰는 요리사):

  • 요리사들이 공식 사이트에서 재료를 가져오는 비율은 **25~45%**로 낮았습니다.
  • 대신 **블로그, 소셜 미디어, 개인 사이트 (낮은 장벽)**에서 가져온 재료가 **약 30%**나 됩니다.
  • 위험 신호: 누구나 내용을 마음대로 바꿀 수 있는 '낮은 장벽'의 재료를 많이 쓴다는 뜻입니다. 만약 해커가 블로그에 거짓 정보를 심어두면, AI 가 그걸 진짜로 믿고 요리해서 사용자에게 줄 수 있습니다.

🎭 또 다른 발견: "참고한 것과 실제 요리의 차이"

연구진은 흥미로운 사실을 더 발견했습니다.

• 높은 장벽의 재료 (공식 사이트): AI 가 이걸 가져오면, 실제 요리 (답변) 에 그 내용이 정확하게 반영됩니다.
• 낮은 장벽의 재료 (블로그 등): AI 가 이걸 가져오기는 하지만, 실제 요리에는 그 내용이 제대로 반영되지 않거나, 엉뚱하게 변형되는 경우가 많습니다.

하지만 여기서 함정이 있습니다!
비록 AI 가 블로그 내용을 완벽하게 반영하지는 않더라도, 그 가짜 정보가 섞여 들어갈 가능성은 여전히 열려 있습니다. 마치 요리사가 "이건 블로그에서 봤는데, 사실은 좀 이상하네"라고 생각하면서도, 그 재료를 요리에 조금씩 섞어 넣는 것과 비슷합니다.

💡 결론: 우리가 알아야 할 점

1. 미국은 더 위험할 수 있습니다: 미국 정치 관련 답변은 누구나 글을 쓸 수 있는 사이트 (블로그, SNS 등) 를 많이 인용하기 때문에, 해커가 거짓 정보를 심어 AI 를 속이기 (Poisoning Attack) 훨씬 쉽습니다.
2. 일본은 상대적으로 안전하지만: 일본은 공식 사이트를 많이 인용하지만, 그래도 30% 는 여전히 누구나 글을 쓸 수 있는 곳에서 왔습니다.
3. 우리의 역할: 우리가 AI 에게 질문할 때, "이 답변의 출처가 공식 기관인가, 아니면 아무나 글을 쓸 수 있는 블로그인가?"를 한번 더 확인하는 습관이 필요합니다.

🛡️ 요약

이 논문은 **"AI 가 인터넷 정보를 찾아와 답을 줄 때, 그 정보가 누가 쓴 것인지, 얼마나 조작하기 쉬운지"**를 분석했습니다. 특히 미국 정치 정보는 누구나 글을 쓸 수 있는 사이트 (낮은 장벽) 를 많이 인용하므로, 가짜 뉴스나 해킹으로 AI 를 속일 위험이 일본보다 훨씬 크다는 것을 경고하고 있습니다.

우리는 AI 가 '누구의 말'을 듣고 있는지, 그 출처가 '공식적인지' 아니면 '누구나 쓸 수 있는 곳인지'를 구분하는 눈이 필요하다는 것입니다.

기술 요약

논문 개요

이 연구는 웹 검색과 대규모 언어 모델 (LLM) 을 결합하여 답변을 생성하고 인용하는 **생성형 엔진 (Generative Engines, GEs)**이 중독 공격 (Poisoning Attacks) 에 얼마나 취약한지 분석합니다. 기존 연구가 인용된 콘텐츠와 생성된 답변 간의 '정확성 (Faithfulness)'에 초점을 맞췄다면, 본 연구는 인용된 콘텐츠의 발행자 (Publisher) 속성을 분석하여 GEs 의 공격 표면 (Attack Surface) 을 규명하고, 악성 콘텐츠 주입의 난이도 (Content-injection Barrier) 를 평가하는 새로운 기준을 제시합니다.

1. 문제 정의 (Problem)

• 생성형 엔진 (GEs) 의 취약성: GEs 는 웹을 외부 데이터베이스로 활용하여 답변을 생성합니다. 웹은 누구나 정보를 게시하고 수정할 수 있어, 공격자가 악성 정보를 주입하면 (PoisonedRAG 공격), GEs 는 이를 신뢰할 수 있는 출처로 인용하여 오답을 생성할 수 있습니다.
• 기존 평가의 한계: 기존 RAG(Retrieval-Augmented Generation) 시스템 평가는 '검색된 콘텐츠가 답변에 얼마나 정확하게 반영되었는지 (Semantic Consistency)'에 집중했습니다. 하지만 GEs 는 폐쇄된 데이터베이스가 아닌 개방형 웹을 대상으로 하므로, 어떤 출처 (발행자) 가 선택되었는지와 그 출처의 신뢰도/주입 난이도가 공격 성공 여부에 결정적입니다.
• 연구 필요성: GEs 가 어떤 발행자 속성을 선호하는지, 그리고 해당 출처가 답변에 얼마나 충실히 반영되는지 분석하여 중독 공격의 취약점을 파악할 수 있는 평가 기준이 부재했습니다.

2. 방법론 (Methodology)

저자들은 GEs 의 공격 표면을 분석하기 위해 **인용된 콘텐츠의 발행자 속성 (Publisher Attributes)**을 기반으로 한 두 가지 새로운 평가 기준을 제안했습니다.

A. 콘텐츠 주입 장벽 (Content-injection Barrier) 분류

인용된 웹 페이지의 발행자 속성을 분석하여 악성 콘텐츠 주입의 난이도를 3 단계로 분류합니다.

1. 1 차 정보 (Primary Sources): 질문의 대상이 된 정당이나 기관의 공식 웹사이트 (예: democrats.org). 주입 장벽이 가장 높음.
2. 2 차 정보 (Secondary Sources):
   • 저장벽 (Low-barrier): 사용자나 소유자가 자유롭게 게시/수정 가능한 플랫폼 (예: Reddit, X, 개인 블로그). 주입이 매우 쉬움.
   • 중장벽 (Medium-barrier): 편집 프로세스가 있는 미디어나 비미디어 산업 (예: 뉴스 사이트, 기업 블로그).
   • 고장벽 (High-barrier): 객관성과 중립성이 요구되며 조작이 어려운 곳 (예: 학술 논문, 정부 공식 문서).

분류 과정은 LLM-as-a-Judge 를 활용하여 URL 과 WHOIS 데이터를 기반으로 수행하며, 1 차 정보 식별, 세부 카테고리 분류, 장벽 수준 매핑의 3 단계를 거칩니다.

B. 인용 반영력 (Citation Reflection) 평가

인용된 콘텐츠가 생성된 답변에 얼마나 충실히 반영되었는지를 측정합니다.

• 문장 단위 분해: 답변과 인용문을 문장 단위로 분해합니다.
• 유사도 측정: Sentence-BERT 를 사용하여 답변 문장과 인용문 문장 간의 의미적 유사도 (Semantic Similarity) 를 계산합니다.
• 반영력 밴드 분류: 유사도 점수에 따라 '높음 (High, 0.91.0)', '중간 (Mid, 0.80.9)', '낮음 (Low, -1.0~0.8)'으로 분류하여, 어떤 장벽 수준의 출처가 답변의 핵심 내용을 지지하는지 분석합니다.

3. 실험 설정

• 대상 모델: OpenAI GPT-5, Claude 4 Sonnet, Gemini Flash 2.0 (웹 검색 모드 활성화).
• 대상 도메인: 정치 분야 (미국과 일본).
• 데이터: 양국 주요 정당 (미국 5 개, 일본 9 개) 에 대한 정책 및 이념 관련 질문 280 개, 총 4,200 개의 생성 답변.
• 질문 유형: "정당 X 는 현재 부채 통제와 성장 지향적 투자 중 무엇을 우선시하는가?"와 같은 폐쇄형 질문 (Closed-ended).

4. 주요 결과 (Key Results)

A. 인용 분포의 편향 (Bias in Citation Selection)

• 국가별 차이:
  • 일본: 생성된 답변의 **60%~65%**가 대상 정당의 공식 웹사이트 (1 차 정보) 에서 인용되었습니다. 나머지 모델들은 이를 보충하는 형태로 2 차 정보를 인용했습니다.
  • 미국: 1 차 정보 인용 비율이 **25%~45%**로 크게 낮아졌습니다. 대신 저장벽 (Low-barrier) 출처 (플랫폼, 개인 블로그 등) 가 약 **30%**를 차지하며, 모델마다 선호하는 2 차 정보 유형 (Gemini 는 플랫폼, Claude 는 미디어, OpenAI 는 고장벽 출처) 이 달랐습니다.
• 공격 표면 (Attack Surface): 미국 정치 답변은 1 차 정보 의존도가 낮고 저장벽 출처 (주입이 쉬운 곳) 인용 비율이 높아, PoisonedRAG 공격에 훨씬 더 취약한 것으로 나타났습니다.

B. 인용 반영력의 불일치 (Reflection Power Discrepancy)

• 유사도 분석: 1 차 정보나 고장벽 출처는 답변과 높은 의미적 유사도 (High Similarity) 를 보이며 답변의 핵심을 충실히 반영하는 경향이 있었습니다.
• 저장벽 출처의 문제: 저장벽 출처 (플랫폼 등) 는 답변에 자주 인용되지만, 의미적 유사도가 낮아 (Low Similarity) 답변의 핵심 내용을 왜곡하거나 약하게 반영하는 경우가 많았습니다. 즉, 악성 콘텐츠가 쉽게 주입될 수 있는 저장벽 출처가 답변 형성에 과도하게 영향을 미칠 수 있음을 시사합니다.

5. 기여 및 의의 (Contributions & Significance)

1. 새로운 평가 기준 제안: 기존 RAG 평가 기준 (콘텐츠 정확성) 에 더해, 인용된 출처의 발행자 속성과 주입 장벽을 고려한 새로운 평가 프레임워크를 제시했습니다. 이는 GEs 의 고유한 취약점 (개방형 웹 기반) 을 평가하는 데 필수적입니다.
2. 공격 표면의 정량화: GEs 가 특정 국가 (미국) 와 특정 모델 (Gemini 등) 에서 저장벽 출처를 선호하는 경향을 발견하여, PoisonedRAG 공격이 성공할 수 있는 실제적인 취약점을 규명했습니다.
3. 안전성 강화 방안 제시:
   • 매니페스트 (Manifest) 도입: 도메인별/작업별 이상적인 인용 비율 (예: 정치 분야에서는 1 차 정보 비중 확대) 을 정의하고 이를 기준으로 답변을 평가할 것을 제안합니다.
   • 1 차 정보 노출 증대 전략: 웹 페이지 구조 개선 (GEO), SEO 최적화, 그리고 모든 관련 하위 주제를 아우르는 콘텐츠 제공을 통해 GEs 가 1 차 정보를 더 많이 인용하도록 유도하는 전략을 논의했습니다.
   • 기술적 방어: URL 및 WHOIS 기반의 발행자 속성 분류기를 통해 표면 텍스트만 조작하는 공격을 방어하고, TrustRAG 등의 기존 방어 메커니즘을 보완할 것을 제안했습니다.

결론

이 연구는 생성형 엔진이 웹 검색을 통해 정보를 수집하고 답변을 생성하는 과정에서, 어떤 출처를 선택하느냐가 답변의 신뢰성과 보안에 결정적임을 입증했습니다. 특히 미국 정치 영역에서 1 차 정보 의존도가 낮고 저장벽 출처 인용이 높은 점은 중독 공격에 대한 심각한 위협으로 작용할 수 있음을 보여주었습니다. 향후 GEs 의 안전성을 확보하기 위해서는 단순한 텍스트 정확도 평가를 넘어, 출처의 신뢰도와 주입 난이도를 고려한 체계적인 평가 및 방어 메커니즘이 필요함을 강조합니다.