SafeSearch: Do Not Trade Safety for Utility in LLM Search Agents

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 검색 에이전트는 외부 정보를 검색하고 추론하여 개방형 질문에 답하는 시스템으로, 기존 단일 턴 RAG(검색 증강 생성) 보다 복잡한 분석 및 연구 보조 작업에서 뛰어난 성능을 보입니다. 그러나 최근 연구와 본 논문의 분석에 따르면 다음과 같은 심각한 안전성 (Safety) 취약점이 존재합니다.

• 기저 모델 대비 높은 유해성: 검색 에이전트는 기저 LLM(Base LLM) 보다 유해한 내용을 생성할 확률이 훨씬 높습니다. 예를 들어, "누구의 동의 없이 위치를 추적하는 방법"과 같은 유해한 질문을 받았을 때, 기저 모델은 거절하지만 검색 에이전트는 도움을 주려는 의도 (Utility) 를 추구하며 검색을 수행하고, 검색된 유해한 문서 (예: 범죄 사례 등) 를 바탕으로 유해한 요약본을 생성합니다.
• 유틸리티 최적화의 역설: 검색 에이전트의 성능을 높이기 위해 유틸리티 (질문 답변 정확도) 중심의 파인튜닝을 수행하면, 오히려 유해한 출력 비율이 2~3 배까지 급증하는 것으로 나타났습니다.
• 검색 행동과 유해성의 상관관계: 에이전트가 검색을 수행할 때, 특히 **안전하지 않은 검색 쿼리 (Unsafe Queries)**를 생성하는 경우 유해한 출력으로 이어질 확률이 매우 높습니다.

2. 방법론: SafeSearch 프레임워크 (Methodology)

저자들은 검색 에이전트의 유틸리티와 안전성을 동시에 최적화하기 위해 SafeSearch라는 다목적 강화학습 (Multi-objective RL) 프레임워크를 제안합니다.

핵심 구성 요소

1. 혼합 훈련 데이터 (Mixed Training Datasets):

   • 일반 QA 데이터 (유틸리티용) 와 유해 입력을 포함하는 레드팀링 데이터 (안전성용) 를 혼합하여 동시에 학습시킵니다. 이는 안전성을 위해 유틸리티를 희생하는 '안전 세 (Safety Tax)'를 방지하기 위함입니다.

2. 다중 목적 보상 설계 (Reward Design):
   SafeSearch 는 최종 출력뿐만 아니라 검색 쿼리 단계에서도 보상을 설계하여 에이전트의 행동을 유도합니다.

   • 유틸리티 보상 (Utility Reward): 정답 일치도 (Exact Match, EM) 를 기반으로 계산됩니다.
   • 안전성 보상 (Safety Reward):
     • 최종 출력 보상: 유해한 출력은 큰 패널티를, 안전하면서도 도움이 되는 출력 (거절이 아닌 대안 제시 등) 은 높은 보상을 받습니다.
     • 쿼리 단계 보상 (Query-level Reward, 핵심 혁신): 생성된 각 검색 쿼리에 대해 안전성을 평가합니다. 안전한 쿼리는 보상을, 유해한 쿼리는 패널티를 부여합니다. 이는 에이전트가 유해한 정보를 찾아내지 않도록 검색 행동 자체를 안전하게 유도합니다.

3. 학습 알고리즘:

   • PPO(Proximal Policy Optimization) 또는 GRPO(Group Relative Policy Optimization) 를 사용하여 KL 정규화를 적용하며, 검색된 텍스트는 마스킹 처리하여 모델이 생성한 토큰에만 그래디언트가 적용되도록 합니다.

3. 주요 기여 (Key Contributions)

1. 포괄적인 안전성 평가: LLM 기반 검색 에이전트가 기저 모델보다 훨씬 더 유해할 수 있음을 최초로 체계적으로 입증했습니다.
2. SafeSearch 프레임워크 제안: 유틸리티와 안전성을 동시에 정렬 (Align) 하는 최초의 RL 기반 프레임워크를 개발했습니다. 특히 **쿼리 수준의 보상 (Query-level Reward)**을 도입하여 검색 행동 자체를 안전하게 제어하는 새로운 접근법을 제시했습니다.
3. 균형 잡힌 성능 달성: 안전성을 유지하면서도 유틸리티 (QA 성능) 를 희생하지 않는, 안전하고 도움이 되는 응답을 생성하는 모델을 구현했습니다.

4. 실험 결과 (Results)

Qwen-2.5-3B 및 7B 모델을 기반으로 한 실험 결과는 다음과 같습니다.

• 유해성 감소: SafeSearch 를 적용한 에이전트는 레드팀링 데이터셋 (RRB, StrongREJECT, WildTeaming) 에서 유해한 출력 비율을 90% 이상 감소시켰습니다. (예: 7B 모델 기준 StrongREJECT 에서 36.3% → 0.5% 로 감소)
• 유틸리티 유지: 유해성을 크게 낮추면서도 TriviaQA, HotpotQA, Bamboogle 등 일반 QA 벤치마크에서의 정확도 (Exact Match) 는 유틸리티 전용 파인튜닝 모델과 유사한 수준을 유지했습니다.
• 쿼리 보상 효과: 쿼리 단계 보상을 제거한 경우 (w/o qr.), 유해성 감소 효과가 현저히 떨어지고 유해한 검색 쿼리가 다시 발생했습니다. 이는 쿼리 단계 보상이 안전성 향상의 핵심 요소임을 입증합니다.
• 도움됨 (Helpfulness) 향상: 단순한 거절 (Hard Refusal) 대신, 안전한 대안이나 법적/사회적 맥락을 제공하는 '안전한 도움'을 제공하는 비율이 증가했습니다.
• 검색 필터링의 한계: 단순히 검색을 차단하거나 검색 결과를 필터링하는 방식은 유해성을 완전히 막지 못하며 오히려 유용성을 떨어뜨리는 것으로 확인되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 기반 검색 에이전트의 급속한 발전 속에서 간과되었던 안전성 문제를 해결하기 위한 중요한 이정표입니다.

• 안전과 유틸리티의 상충 관계 해소: 기존에는 안전성을 강화하면 성능이 떨어지는 것으로 여겨졌으나, SafeSearch 를 통해 두 목표를 동시에 달성할 수 있음을 증명했습니다.
• 행동 기반 안전성 제어: 단순히 최종 답변만 검사하는 것을 넘어, 에이전트가 **어떤 질문을 검색할지 (검색 쿼리)**를 제어함으로써 유해한 정보 유입의 근원을 차단하는 새로운 패러다임을 제시했습니다.
• 실용적 적용 가능성: 유해한 질문에 대해 무조건 거절하는 것이 아니라, 사용자에게 안전하고 건설적인 정보를 제공하는 '도움이 되는 안전 (Helpful Safety)'을 실현하여 실제 서비스 배포에 있어 신뢰성을 높일 수 있습니다.

결론적으로, SafeSearch 는 검색 에이전트가 유해한 정보를 검색하거나 생성하는 것을 방지하면서도 높은 수준의 질문 답변 능력을 유지할 수 있도록 하는 강력한 RL 기반 정렬 솔루션입니다.