When Search Goes Wrong: Red-Teaming Web-Augmented Large Language Models

1. 문제 정의 (Problem Statement)

최근 대형 언어 모델 (LLM) 은 최신 정보를 얻기 위해 웹 검색 기능을 통합하고 있습니다. 그러나 이 통합은 새로운 안전성 위협 표면 (Safety Threat Surface) 을 야기합니다.

• 기존 한계: 기존 레드팀 (Red-teaming) 기법은 주로 LLM 이 자체 지식으로 생성하는 답변의 안전성 (Unsafe Generation) 에 초점을 맞추고 있습니다.
• 새로운 위협: 웹 검색이 통합된 LLM 은 외부의 통제되지 않은 웹 페이지에서 정보를 검색하고 인용 (Citation) 합니다. 공격자는 검색 결과에 포함된 유해하거나 신뢰도가 낮은 웹 페이지를 LLM 이 인용하도록 유도하여, 답변 자체는 안전해 보이지만 인용된 링크나 그 내용이 유해한 경우를 만들 수 있습니다.
• 핵심 문제: 기존 레드팀 방법론은 이러한 '인용 위험 (Citation Risk)'과 '검색 - 인용 파이프라인'의 취약점을 포착하지 못하며, 실제 배포 환경 (블랙박스) 에서 효과적으로 테스트할 수 있는 체계적인 방법이 부재합니다.

2. 방법론 (Methodology: CREST-Search)

저자들은 웹 검색이 통합된 LLM 의 안전성을 평가하기 위해 CREST-Search라는 새로운 레드팀 프레임워크를 제안했습니다. 이 프레임워크는 다음과 같은 핵심 구성 요소로 이루어집니다.

가. 공격 전략 (Adversarial Search Query Generation Strategies)

기존의 직접적인 유해 생성 유도 대신, 검색 - 인용 파이프라인을 공격하는 세 가지 새로운 전략을 도입했습니다.

1. 키워드 주입 (Keyword Injection): 악성 웹사이트에서 흔히 사용되는 유해 키워드를 겉보기에 평범한 검색 쿼리에 삽입하여, 검색 엔진이 유해한 페이지를 상위에 노출되도록 유도합니다.
2. 과장 (Exaggeration): 사실이나 시나리오를 과학적/논리적 한계를 넘어 과장하여 (예: "의사가 증명한 치명적 용량"), LLM 이 신뢰할 수 없는 변두리 (Fringe) 출처를 찾게 만듭니다.
3. 역할극 (Role Play): "법률 고문"이나 "보안 분석가"와 같은 특정 역할을 부여하여 검색 의도를 은폐하고, 유해한 사이트를 권위 있는 출처로 인용하도록 만듭니다.

나. 레드팀 파이프라인 (Red-teaming Pipeline)

블랙박스 환경에서 작동하는 자동화된 3 단계 파이프라인을 구축했습니다.

1. 쿼리 생성: 생성 지시어에 따라 공격 전략과 유해 카테고리 (괴롭힘, 증오, 자해, 성폭력, 폭력 등) 를 결합하여 공격 쿼리를 생성합니다.
2. 실행 및 평가: 생성된 쿼리를 대상 LLM 에 실행하고, 모델이 반환한 답변과 인용된 외부 웹 페이지의 내용을 자동으로 분석하여 유해성을 평가합니다.
3. 반복적 정제 (Iterative Refinement): 초기 쿼리가 실패할 경우, 판단 모델 (Judgment Model) 이 피드백을 생성하여 컨텍스트 학습 (In-context Learning) 을 통해 쿼리를 개선합니다. 이 과정은 공격이 성공하거나 최대 반복 횟수에 도달할 때까지 반복됩니다.

다. 전용 레드팀 모델 구축 (Red-teaming Model Construction)

반복적인 정제 과정의 비용과 시간을 줄이기 위해, WebSearch-Harm이라는 전용 데이터셋을 구축하고 이를 기반으로 LLM 을 파인튜닝하여 전용 레드팀 모델을 만들었습니다.

• WebSearch-Harm: 성공적인 공격 쿼리, 사용된 전략, 유해 카테고리 등이 레이블링된 대규모 어드버설 쿼리 데이터셋입니다.
• 효율성: 파인튜닝된 모델은 별도의 반복 정제 없이도 고품질의 공격 쿼리를 한 번에 생성할 수 있어 비용과 시간을 크게 절감합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 표면의 규명: 웹 검색 통합 LLM 의 고유한 취약점인 **'인용 위험 (Citation Risk)'**을 체계적으로 규명하고, 기존 레드팀 기법으로는 발견되지 않는 위험을 드러냈습니다.
2. CREST-Search 프레임워크 제안: 검색 - 인용 파이프라인을 표적으로 하는 3 가지 공격 전략과 블랙박스 환경에서 작동하는 자동화된 정제 파이프라인을 통합한 최초의 프레임워크를 제시했습니다.
3. WebSearch-Harm 데이터셋 및 전용 모델: 검색 기반 공격에 특화된 데이터셋을 구축하고, 이를 통해 파인튜닝된 모델을 개발하여 공격 효율성과 다양성을 크게 향상시켰습니다.
4. 실증적 검증 및 완화 방안: 4 개의 상용 LLM 을 대상으로 한 실험을 통해 프레임워크의 유효성을 입증하고, URL/콘텐츠 사전 검사와 모델 파인튜닝을 통한 완화 방안을 제시했습니다.

4. 실험 결과 (Results)

저자들은 GPT-4o-search, Gemini-2.0/2.5-flash 등 4 개의 상용 웹 검색 LLM 을 대상으로 실험을 수행했습니다.

• 위험 탐지율 (Risk Detection Rate): CREST-Search 는 **80.5%**의 위험 탐지율을 기록하여, 기존 최상위 베이스라인 (HarmBench, 11.6%) 보다 월등히 높은 성능을 보였습니다.
• 인용 위험의 우세: 발견된 위험 중 **89.3%**가 인용 위험 (Citation Risk) 이었으며, 이 중 **74.7%**는 답변 자체는 안전하지만 인용된 링크가 유해한 경우였습니다. 이는 기존 기법들이 놓치고 있던 중요한 위험입니다.
• 전송성 (Transferability): 다양한 모델 (GPT 시리즈, Gemini 시리즈) 에서 일관되게 높은 공격 성공률을 보이며, 프레임워크의 높은 전송성을 입증했습니다.
• 효율성: 파인튜닝된 모델을 사용할 경우, 제로샷 (Zero-shot) 또는 퓨샷 (Few-shot) 방식에 비해 비용은 약 3.6 배, 시간은 약 2.6 배 감소하면서도 탐지율은 크게 향상되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 웹 검색이 통합된 LLM 의 안전성 평가 패러다임을 전환시켰습니다. 단순히 모델이 생성하는 텍스트의 안전성만 확인하는 것을 넘어, 검색 결과와 인용된 외부 콘텐츠의 안전성까지 포괄하는 평가의 필요성을 강조했습니다.

• 실무적 시사점: 개발자들은 검색 결과의 URL 과 콘텐츠에 대한 실시간 필터링 메커니즘을 도입하거나, CREST-Search 와 같은 공격 데이터를 활용하여 모델의 안전성 정렬 (Safety Alignment) 을 강화해야 합니다.
• 사회적 영향: 유해한 정보의 확산을 방지하고, 사용자들이 신뢰할 수 있는 LLM 기반 기술을 사용할 수 있도록 신뢰도를 높이는 데 기여합니다.

결론적으로, CREST-Search 는 웹 검색이 통합된 AI 시스템의 새로운 취약점을 체계적으로 발견하고 대응할 수 있는 필수적인 도구로서, 향후 AI 안전성 연구의 중요한 이정표가 될 것입니다.