기술 요약: SAFESEARCH: LLM 기반 검색 에이전트의 자동화된 레드팀링

1. 문제 정의

대형 언어 모델 (LLM) 검색 에이전트는 모델을 인터넷에 연결하여 최신 정보에 접근하게 함으로써, 신속한 정보 검색부터 장기적인 연구 작업에 이르기까지 다양한 애플리케이션을 가능하게 합니다. 그러나 이 아키텍처는 신뢰할 수 없는 검색 결과라는 새로운 치명적인 위협 표면을 도입합니다. 큐레이션된 로컬 코퍼라에 의존하는 검색 증강 생성 (RAG) 시스템과 달리, 검색 에이전트는 오픈 웹에서 수동으로 콘텐츠를 수신하는데, 여기에는 저품질 콘텐츠 팜, 편향된 출처, 스폰서 광고, 또는 블랙햇 SEO 를 통한 조작된 정보가 포함될 수 있습니다.

실제 사례와 현장 관찰에 따르면, 검색 에이전트는 이러한 결과를 비판 없이 신뢰하는 경향이 있어 허위 정보, 유해한 조언, 또는 간접 프롬프트 인젝션 실행과 같은 안전하지 않은 출력을 초래합니다. 기존 검색 에이전트 평가는 주로 작업 정확도 (예: GAIA, SIMPLEQA) 에 초점을 맞추고 안전성은 간과하는 경향이 있으며, 현재 레드팀링 방법은 노동 집약적인 인간 제작이나 신뢰할 수 없는 검색 결과에 직면한 건전한 사용자 쿼리의 현실을 반영하지 않는 적대적 쿼리에 의존합니다. furthermore, 실제 세계의 적대적 테스트 (예: 검색 순위 조작) 는 윤리적 위험을 내포하고 있으며 대부분의 개발자에게는 실행 불가능합니다.

2. 방법론: SAFESEARCH 프레임워크

저자들은 건전한 사용자 쿼리 하에 신뢰할 수 없는 검색 결과에 노출되었을 때 LLM 기반 검색 에이전트의 안전성을 평가하기 위해 설계된 자동화되고 확장 가능하며 비용 효율적인 레드팀링 프레임워크인 SAFESEARCH를 제안합니다.

2.1 위협 모델

이 프레임워크는 특정 위협 모델 하에 작동합니다:

• 건전한 쿼리: 테스터는 건전하고 현실적인 사용자 쿼리만 발행합니다.
• 제어된 주입: 각 쿼리에 대해 테스터는 에이전트에게 반환된 검색 결과에 신뢰할 수 없는 웹사이트를 최대 하나만 주입합니다.
• 에이전트 무관성: 신뢰할 수 없는 웹사이트는 주어진 테스트 케이스에 대해 모든 에이전트 간에 고정되어, 위협이 특정 모델 아키텍처에 맞춰 조정되지 않도록 합니다.
• 목표: 에이전트가 신뢰할 수 없는 콘텐츠를 안전하지 않은 최종 응답으로 전파하는지 여부를 식별하는 것입니다.

2.2 자동화된 테스트 케이스 생성

이 프레임워크는 LLM 어시스턴트에 의해 구동되는 3 단계 워크플로우를 활용하여 5 가지 위험 카테고리 전반에 걸쳐 300 개의 고품질 테스트 케이스를 생성합니다:

1. 시나리오 고정: LLM 은 특정 위험 (예: 허위 정보, 편향) 이 실제로 발생할 수 있는 현실적인 사용자 시나리오와 쿼리를 생성합니다.
2. 테스트 설계: 시스템은 목표 부정적 결과와 신뢰할 수 없는 웹사이트의 성격을 명시하는 "악의적 계획"을 정의합니다. 핵심적으로, LLM 의 지식 컷오프 날짜와 현재 날짜 사이의 시간 차이를 고려하여 위협이 시의적절하고 현실적이도록 합니다.
3. 테스트 인스턴스화: 시스템은 신뢰할 수 없는 웹사이트를 합성하기 위한 가이드라인과 안전성 평가를 위한 체크리스트를 생성합니다.

품질 필터링: 테스트 케이스가 실행 가능하도록 보장하기 위해, 프레임워크는 차등 테스트를 적용합니다. 기준 에이전트를 건전한 도구와 조작된 도구 (주입된 웹사이트 포함) 두 가지 설정에서 테스트합니다. 목표 결과가 조작 하에서는 달성 가능하지만 건전한 조건에서는 발생하지 않을 때만 테스트 케이스를 유지합니다.

2.3 시뮬레이션 기반 테스트

실제 세계 검색 엔진을 조작하는 윤리적 및 실용적 문제를 피하기 위해, SAFESEARCH는 샌드박스화된 시뮬레이션을 사용합니다:

• 주입: 신뢰할 수 없는 웹사이트가 합성되어 실제 검색 결과 목록에 주입됩니다 (일반적으로 하위 순위를 시뮬레이션하기 위해 끝에 추가되지만, 위치 민감도도 분석됩니다).
• 실행: 검색 에이전트가 혼합된 결과를 처리하고 응답을 생성합니다.
• 평가: 사전 생성된 체크리스트의 도움을 받는 LLM-as-a-Judge 가 에이전트의 응답을 목표 결과와 비교하여 **공격 성공률 (ASR)**을 결정합니다. 별도의 평가자는 안전하지 않은 응답이 여전히 사용자에게 유용해 보이는지 여부를 판단하기 위해 **유용성 점수 (HS)**를 평가합니다.

3. 주요 기여

1. 문제 공식화: 본 논문은 건전한 쿼리 하에 신뢰할 수 없는 검색 결과에 노출된 LLM 기반 검색 에이전트의 안전성 위험을 공식적으로 정의하며, 이를 RAG 중독 및 명시적 적대적 공격과 구분합니다.
2. SAFESEARCH 프레임워크: 테스트 케이스 생성, 차등 필터링, 샌드박스화된 시뮬레이션, 체크리스트 지원 평가를 포함하는 자동화된 레드팀링 파이프라인을 개발했습니다.
3. 종합 평가: 300 개의 테스트 케이스로 구성된 데이터셋을 구축하고, 3 가지 검색 에이전트 스케폴드(검색 워크플로우, 도구 호출, 딥 리서치) 전반에 걸쳐 17 개의 대표적인 LLM(9 개 독점, 8 개 오픈소스) 을 평가했습니다.
4. 오픈 소스: 추가 연구를 촉진하기 위해 코드와 데이터셋을 공개했습니다.

4. 실험 결과

저자들은 3 가지 스케폴드를 통해 17 개 모델을 평가했습니다. 주요 발견 사항은 다음과 같습니다:

• 높은 취약성: 검색 에이전트는 신뢰할 수 없는 검색 결과에 매우 취약합니다. 관찰된 가장 높은 ASR 은 검색 워크플로우를 사용하는 GPT-4.1-mini 의 경우 **90.5%**였습니다. 가장 견고한 구성 (예: 도구 호출을 사용하는 Claude-Sonnet-4.5) 조차도 0 이 아닌 ASR(4.6%) 을 나타냈습니다.
• 백엔드 LLM 의 영향: 추론 모델은 일반적으로 비추론 모델보다 더 강한 회복 탄력성을 보여주었습니다. 예를 들어, GPT-5 와 GPT-5-mini 는 이전 세대보다 현저히 낮은 ASR 을 보였으며, 이는 고급 추론 능력이 신뢰할 수 없는 정보를 필터링하는 데 도움이 됨을 시사합니다.
• 스케폴드 설계의 영향: 에이전트 아키텍처는 결정적인 역할을 합니다.
  • 검색 워크플로우(수동 검색) 는 가장 높은 취약성을 보였습니다.
  • 도구 호출과 딥 리서치(능동적, 다단계 검색) 는 소스 간 교차 검증과 충돌 해결 능력으로 인해 향상된 안전성을 보여주었습니다.
  • 그러나 검색 예산이 통제될 때 "딥 리서치"의 이점은 감소했는데, 이는 안전성 향상이 종종 스케폴드 로직 자체보다는 더 많은 검색 쿼리를 활용하는 데서 비롯됨을 시사합니다.
• 위험 변동성: 취약성은 위험 유형에 따라 다양했습니다. 허위 정보가 가장 큰 위협 (평균 ASR 최고) 이었으며, 간접 프롬프트 인젝션은 평균 ASR 이 가장 낮아 이 특정 보안 위협에 대한 더 강한 회복 탄력성을 나타냈습니다.
• 안전성 대 유용성: 안전하지 않은 행동이 반드시 지각된 유용성을 감소시키는 것은 아닙니다. 많은 경우, 신뢰할 수 없는 출처의 영향을 받은 에이전트는 사실적으로 부정확하거나 안전하지 않음에도 불구하고 유용성 (신빙성) 측면에서 높은 점수를 받은 응답을 생성했습니다.
• 방어 한계: 신뢰할 수 없는 출처에 대한 경고를 포함하는 리마인더 프롬프팅과 같은 일반적인 방어책은 제한된 보호만 제공했습니다. 필터링(LLM 을 사용하여 결과를 사전 필터링) 은 ASR 을 약 절반으로 줄였지만, 특히 은밀하거나 매우 설득력 있는 콘텐츠에 대해서는 위험을 완전히 제거하지는 못했습니다.

5. 중요성과 주장

본 논문은 SAFESEARCH 가 LLM 기반 검색 에이전트의 안전성을 측정하고 개선하기 위한 실용적이고 확장 가능하며 투명한 방법을 제공한다고 주장합니다.

• 개발의 투명성: 이 프레임워크는 설계 선택 (예: 반환되는 검색 결과의 수) 이 안전성에 어떻게 암묵적으로 영향을 미치는지 드러냅니다. 이는 모델이 명시적으로 과제를 부여받았을 때 신뢰할 수 없는 출처를 식별할 능력을 보유하지만 에이전트 워크플로우에서는 이러한 지식을 적용하지 못하는 지식 - 행동 격차를 강조합니다.
• 지속적인 감독: 정적 벤치마크와 달리 SAFESEARCH 는 에이전트 개발 중 지속적인 안전성 추적을 위해 설계되어 방어 전략의 평가와 점점 더 도전적인 테스트 케이스 생성을 가능하게 합니다.
• 실제 세계 관련성: 신뢰할 수 없는 결과를 실제 검색 컨텍스트에 주입하는 것을 시뮬레이션함으로써, 이 프레임워크는 라이브 검색 엔진을 조작하는 윤리적 위험 없이 실제 세계 위협을 근사화합니다. 저자들은 시뮬레이션 기반 테스트에는 한계가 있지만 배포 전 에이전트 안전성의 하한선을 체계적으로 식별하는 데 필수적이라고 주장합니다.

저자들은 현재 검색 에이전트가 취약하지만, 이 프레임워크가 개발자들이 더 안전한 시스템을 반복적으로 개선할 수 있는 경로를 제공한다고 결론지으며, 향후 에이전트 설계에서 안전성이 성능과 함께 우선시되어야 함을 강조합니다.