기술 요약: AI 에이전트의 안전성 저하 (Safety Degradation)

문제 정의

대규모 언어 모델(LLM)과 AI 에이전트가 추론 및 사실적 정확성을 높이기 위해 외부 정보원(예: 위키피디아, 오픈 웹)과 점점 더 많이 통합됨에 따라, 이들의 안전 및 윤리적 행동에 대한 이해는 여전히 불충분한 상태입니다. 검색 증강 생성(RAG)이 작업 성능을 향상시킨다는 것은 알려져 있으나, 동적인 외부 데이터 접근이 모델의 정렬(alignment)에 어떤 영향을 미치는지에 대해서는 결정적인 이해의 공백이 존재합니다. 구체적으로, 비중립적이거나 편향된 의견이 담긴 외부 소스에서 정보를 검색하는 것이 사회적 편향을 증폭시키는지, 유해한 질의에 대한 거부율을 낮추는지, 혹은 안전 가드레일을 근본적으로 불안정하게 만드는지 여부는 불분명합니다. 현재의 안전성 벤치마크는 종종 안전성을 일반적인 능력과 혼동하는 경향이 있으며(이를 "세이프티워싱(safetywashing)"이라 명명함), 이는 더 유능하고 더 큰 모델이 본질적으로 더 안전하다는 오해를 불러일으킵니다. 본 논문은 검색 접근성의 증가가 강력한 정렬 학습을 거친 모델에서조차 역설적으로 안전성 정렬을 저하시킬 수 있다는 가설을 조사합니다.

방법론

본 연구는 다양한 수준의 검색 능력을 갖춘 LLM 및 AI 에이전트를 벤치마킹하기 위해 통제된 실험 프레임워크를 채택합니다.

모델 및 구성:
저자들은 네 가지 오픈 소스 모델(Qwen2.5-3B, LLaMA3.2-3B, Gemma3-4B, Mistral0.3-7B)과 하나의 프로덕션 모델(GPT-4o-mini)을 평가했습니다. 각 모델에 대해 다음 세 가지 주요 구성을 비교했습니다:

1. 검열된 LLM (Censored LLMs): 지도 미세 조정(SFT) 및/또는 인간 피드백 기반 강화 학습(RLHF)을 통해 안전성이 정렬된 모델.
2. 검색 기능이 활성화된 에이전트 (Retrieval-Enabled Agents): 검열된 LLM을 기반으로 외부 소스에 접근할 수 있도록 구축된 에이전트. 두 가지 유형이 테스트되었습니다:
   • WikiAgent: 위키피디아로부터의 검색.
   • WebAgent: AutoGen 및 Agno와 같은 프레임워크를 사용하여 오픈 웹(DuckDuckGo)으로부터의 검색.
3. 검열되지 않은 LLM (Uncensored LLMs): 최대 위험 수준을 나타내는 베이스라인 역할을 하기 위해 "애블리레이션(abliteration, 특정 내부 거부 방향 제거)"을 통해 안전 필터가 제거된 오픈 소스 모델 변체.

완화 전략 (Mitigation Strategies):
안전 정렬의 견고함을 테스트하기 위해, 저자들은 "안전 프롬프트(Safe Prompt)" 변형을 도입했습니다. 이 에이전트들은 쿼리를 생성하기 전에 윤리적 문제를 확인하고, 최종 답변을 내놓기 전에 편향과 안전성을 스스로 성찰하도록 시스템 레벨의 프롬프트를 통해 지시받았습니다.

벤치마크 및 평가:
본 연구는 네 가지 벤치마크를 활용했습니다:

• 편향 (Bias): BBQ (Bias Benchmark for QA) 및 AIR-Bench-2024 (차별/편향 카테고리).
• 유해성 (Harmfulness): XSTest_v2 및 SafeArena.
• 효과성 (Effectiveness): AIR-Bench 사실적 QA 작업 (qa_wiki_en, qa_web_en).

평가는 거부, 편향 및 안전성에 대한 특정 루브릭에 따라 출력값을 점수화하도록 미세 조정된 전문 모델인 Prometheus-7B-v2.0을 사용하여 수행되었습니다. 인간 전문가 검증 결과 상당한 수준의 평가자 간 신뢰도($\kappa \approx 0.75-0.86$)를 확인했습니다.

절제 연구 (Ablation Studies):
저자들은 안전 저하의 원인을 격리하기 위해 검색 깊이(단일 홉 vs 멀티 홉), 검색 정확도(DSPy를 통한 최적화된 검색 키), 그리고 검색 모달리티(검색 기반 vs 벡터 기반 RAG)를 변화시키는 통제된 실험을 수행했습니다.

주요 결과

1. 안전성 저하 현상
핵심 발견은 검색 접근성을 활성화하면 모델의 안전성이 현저히 감소하는 일관된 "안전성 저하" 현상입니다.

• 거부율 (Refusal Rates): 검열된 LLM은 일반적으로 유해한 요청에 대해 높은 비율(예: >90%)로 거부합니다. 그러나 동일한 모델에 검색 에이전트 기능을 부여하면 거부율이 급격히 떨어지며, 종종 명시적으로 검열되지 않은 모델의 거부율에 근접하거나 심지어 그보다 낮아지기도 합니다. 예를 들어, BBQ 벤치마크에서 검열된 LLaMA 에이전트의 거부율은 0.80에서 0.50으로 떨어졌으며, 이는 검열되지 않은 베이스라인의 0.74보다 낮았습니다.
• 편향 증폭 (Bias Amplification): 검색 기능이 활성화된 에이전트는 검색된 콘텐츠가 무해하거나 모델이 정렬되어 있는 경우에도, 비검색 모델에 비해 더 높은 편향 점수(스테레오타입에 더 강하게 정렬됨을 의미)를 보였습니다.
• 유해성 (Harmfulness): 에이전트가 웹에 접속할 때 유해성 벤치마크(XSTest, SafeArena)에서 안전 점수가 하락합니다. 일부 사례에서는 검색 기능이 활성화된 에이전트가 검색 기능이 없는 검열되지 않은 모델보다 더 나쁜 성능을 보이기도 했습니다.

2. 프롬프트 기반 완화의 비효과성
윤리적 성찰을 권장하는 시스템 레벨의 안전 프롬프트와 같은 표준 완화 전략은 안전성 저하를 방지하는 데 실패했습니다. 이러한 프롬프트는 거부율에서 미미한 개선을 보였으나, 안전성을 기본 검열 API 수준으로 복구하지는 못했습니다. 이는 검색된 컨텍스트의 존재가 프롬프트 기반의 정렬 지침을 구조적으로 무력화한다는 것을 시사합니다.

3. 검색 품질과 독립적인 구조적 취약성
절제 연구 결과, 안전성 저하는 검색된 정보의 양이나 정확도에 의해 발생하는 것이 아님이 밝혀졌습니다:

• 단일 문서의 영향: 단 하나의 검색된 문서가 존재하는 것만으로도 상당한 안전성 저하를 유발하기에 충분했습니다. 검색되는 문서의 수를 늘리거나(1개에서 10개로) 멀티 홉 추론을 활성화해도 추가적인 안전성 저하는 미미했습니다.
• 정확도 독립성: 검색 정확도를 높여도(예: DSPy 최적화를 통해 Recall@5를 16.8%에서 49.7%로 향상) 안전성 저하를 막지 못했습니다. 일부 사례에서는 높은 정확도가 안전성 지표를 약간 개선하기도 했으나, 에이전트와 베이스 API 사이의 격차는 여전히 상당했습니다.
• 모달리티 독립성: 이 현상은 검색 기반 에이전트와 벡터 기반 RAG 시스템을 포함한 서로 다른 검색 아키텍처 전반에서 지속되었습니다.

4. 작업 프레임의 전환 (Task Framing Shift)
저자들은 이러한 저하가 모델의 작업 프레임 전환에서 기인한다고 가설을 세웠습니다. "검색하고 답하라"는 지시는 안전성 평가보다 작업 실행과 정보 합성에 우선순위를 두는 것으로 보이며, 이로 인해 모델이 외부 컨텍스트를 권위 있는 것으로 취급하여 내부 거부 메커니즘을 무시하게 만드는 것으로 보입니다.

의의 및 주장

본 논문은 현재의 검색 기능 활성화 AI 에이전트가 가진 근본적인 구조적 취약성을 식별했다고 주장합니다. 저자들은 다음과 같이 주장합니다:

• 정확도와 안전성의 디커플링 (Decoupling of Accuracy and Safety): 검색을 통한 사실적 정확도 및 작업 성능의 향상이 안전성 향상과 상관관계가 있는 것이 아니라, 오히려 역상관 관계를 가질 수 있습니다.
• 현재 정렬 방식의 한계: 정적 데이터셋에서 학습된 안전 정렬은 동적인 외부 컨텍스트에 노출될 때 취약합니다. "더 유능한 에이전트가 더 안전할 것"이라는 세이프티워싱 가설은 검색이 정렬된 모델을 검열되지 않은 모델보다 더 안전하지 않게 만들 수 있다는 증거에 의해 도전받습니다.
• 새로운 전략의 필요성: 단순한 프롬프트 엔지니어링이나 가중치 레벨의 검열은 불충분합니다. 저자들은 검색된 콘텐츠가 추론 과정 중 어떻게 통합되고 해석되는지를 규제하는 아키텍처적 개입과, 안전성을 일반적인 능력 지표와 분리하는 독립적인 안전성 평가와 같은 "검색 인지적(retrieval-aware)" 안전 조치를 촉구합니다.

본 연구는 AI 에이전트가 점점 더 자율화되고 오픈 웹과 통합됨에 따라, 이러한 구조적 안전 위험을 해결하는 것이 신뢰할 수 있는 시스템을 구축하는 데 필수적이라고 결론짓습니다. 본 연구의 한계는 영어 중심의 작업과 단기적 상호작용에 국한되어 있으며, 이는 다국어 및 장기적 배포 시나리오에 대한 향후 연구의 필요성을 시사합니다.