기술 요약: SafeHarbor

문제 정의

수동적인 대화 상대에서 도구 실행 및 복잡한 추론이 가능한 자율 에이전트로의 거대 언어 모델(LLM)의 진화는 심각한 보안 취약점을 초래했습니다. 초기 적대적 공격이 독성 텍ền 생성 유도에 집중했다면, 에이전트 기반 공격은 권한 없는 파일 삭제, 권한 상승, 피싱과 같이 실제 디지털 환경에서 실행 가능한 해를 끼칠 수 있는 위험을 제기합니다.

기존의 방어 전략은 안전성과 유용성 사이의 중대한 트레이드오프에 직면해 있습니다. 현재의 접근 방식은 크게 두 가지 범주로 나뉩니다:

1. 내재적 정렬(Intrinsic Alignment): 안전 데이터셋(예: AgentAlign)을 통해 모델을 미세 조정하는 방식으로, 이는 높은 재학습 비용을 발생시키며 선의의 요청까지 거부하게 만드는 "과잉 정렬(over-alignment)"의 위험을 수반합니다.
2. 외부 가드레일(External Guardrails): 상호작용을 모니터링하기 위해 보조 에이전트나 정적 분류기(예: Llama-Guard, GuardAgent)를 배치하는 방식입니다. 이러한 방식은 경계의 모호성 문제를 겪으며, 맥락적 뉘앙스에 적응하지 못하는 정적 선형 분류기로 작동하는 경우가 많습니다. 이는 정당한 복잡한 워크플로우가 무차별적으로 차단되는 "과잉 거부(over-refusal)" 또는 미묘한 위협을 놓치는 "방어 부족(under-defensiveness)"을 초래합니다. 또한, 많은 외부 솔루션은 리소스 집약적인 프록시나 실시간 코드 실행으로 인해 과도한 지연 시간을 유발합니다.

핵-과제는 모델 재학습을 요구하거나 추론 효율성을 저해하지 않으면서, 선의의 의도와 악의적 의도를 구분할 수 있는 정밀하고 적응 가능한 결정 경계를 구축하는 것입니다.

방법론

저자들은 계층적, 메모리 증강 가드레일 시스템을 통해 정밀한 결정 경계를 정의하도록 설계된 프레임워크인 SAFEHARBOR를 제안합니다. 이 프레임워크는 세 가지 조율된 단계를 통해 작동합니다:

1. 적대적 규칙 생성 (오프라인 단계)

정적인 가이드라인에 의존하는 대신, SAFEHARBOR는 견고한 안전 규칙을 합성하기 위한 자동화된 파이프라인을 채택합니다.

• 공격 강화: 공격 생성기는 세 가지 사회 공학적 패러다임인 목표 분해(악의적 의도를 선의의 단계들로 원자화), 권한 상승(고순위 디버깅으로 가장), 맥락적 재구성(지시 사항을 교육적 서사로 감싸기)을 사용하여 정적인 유해 시드를 다양한 실행 지향적 공격 벡터로 변환합니다.
• 규칙 합성: 시스템은 다양한 스펙트럼의 안전 정책을 생성하며, 주입된 규칙의 정보 엔트로피를 극대화하여 메모리가 중복된 패턴이 아닌 잠재적 취약점을 포착하도록 합니다.

2. 이중 지식 저장 및 메모리 진화

프레임워크는 안전 지식을 조직하기 위해 정적 저장소나 단순 검색과는 차별화되는 동적 계층적 메모리 트리($M$)를 활용합니다.

• 노드 구조: 메모리 트리는 내부 라우팅 노드와 리프 노드로 구성됩니다. 결정적으로, 각 리프 노드 $N_i$는 악의적 궤적에서 도출된 금지 규칙과 선의의 궤적에서 합성된 그에 상응하는 예외 규칙으로 구성된 이중 정책 유닛 $\Pi_i = \{R_{harm}, E_{benign}\}$을 포함합니다. 이 명시적인 결합은 정밀한 결정 경계를 정의합니다.
• 자기 진화 메커니즘: 시스템은 샤논 엔트로피(Shannon entropy)에 기반한 정보 이득(Information Gain) 지표를 사용하여 트리의 토폴로지를 동적으로 관리합니다. 새로운 쿼리 임베딩이 도입될 때:
  • 정보 이득이 높은 경우(새로운 위협 패턴을 나타냄), 새로운 리프 노드가 생성됩니다.
  • 정보 이득이 낮은 경우(기존 패턴의 정교화를 나타냄), 시스템은 특정 규칙 경계를 정교화하기 위해 병합 작업을 수행합니다.
  • 이를 통해 시스템은 모델 재학습 없이 메모리를 확장하고 적응할 수 있습니다.

3. 온라인 추론 및 검색

지연 시간과 정밀도의 균형을 맞추기 위해, SAFEHARBOR는 게이팅 메커니즘에 의해 제어되는 2단계 추론 파이프라인을 채택합니다.

• 안전 투영기(Safety Projector): 경량 2계층 MLP가 쿼리를 선의($w_B$) 및 유해($w_H$) 중심을 위한 학습 가능한 글로벌 프로토타입에 고정된 잠재 공간으로 매핑합니다. 이는 이진 교차 엔트로피와 마진 기반 대조 손실을 결합한 하이브리드 목적 함수를 사용하여 학습되며, 이를 통해 컴팩트하고 구조적으로 의미 있는 잠재 공간을 보장합니다.
• 이중 점수 게이팅:
  • Fast Path (빠른 경로): 유해 확률이 낮고 선의 유사도가 높은 쿼리에 대해, 시스템은 무거운 검증 과정을 건너뛰어 표준 사용 시 최소한의 지연 시간을 보장합니다.
  • LLM 판단: 모호하거나 위험한 쿼리의 경우, 시스템은 인컨텍스트 학습(in-context learning)을 통해 기본 LLM을 호출하여 쿼리가 금지 사항을 위반하는지 또는 예외 사항에 해당하는지 평가합니다. 이는 별도의 가드레일 모델을 미세 조정할 필요를 없애줍니다.
• 중심점 기반 검색: 시스템은 의미론적 유사성을 바탕으로 메모리 트리에서 관련 금지 및 예외 규칙을 검색하여 로컬 안전 컨텍스트를 구성합니다.

주요 기여

1. 자동 적대적 규칙 생성: 악의적 궤적에 적대적 강화를 적용하고 적응형 클러스터링 프로세스를 활용하여 견고한 안전 규칙을 합성하는 프레임워크를 제공합니다.
2. 대조적 안전 투영기: 기하학적 인식을 갖춘 메트릭 공간을 통해 의미론적 및 맥락적 위험을 공동으로 평가함으로써 과잉 거부를 완화하는 투영 메커니즘을 제공합니다.
3. 자기 조직화 계층적 메모리: 적응형 리프 분할 및 병합 기능을 갖춘 메모리 구조를 통해, 모델 재학습 없이도 확장 가능한 규칙 관리와 고속 검색을 가능하게 합니다.
4. 최첨단 성능: 본 프레임워크는 GPT-4o에서 **63.6%**의 정점 선의 유용성을 달성하는 동시에 93% 이상의 유해 거부율을 유지하며 안전한 견고성과 추론 효율성의 균형을 효과적으로 맞춥니다.

실험 결과

저자들은 GPT-4o, Mistral-8B, Qwen2.5-7B의 세 가지 백본 모델과 AgentHarm, AgentSafetyBench의 두 가지 벤치마크에 대해 Rule Traverse, A-Mem, RAG, Llama-Guard-3, GuardAgent, AgentAlign을 포함한 베이스라인들과 비교 평가를 진행했습니다.

• AgentHarm (복잡한 에이전트 공격): SAFEHARBOR는 선의 작업에서의 유용성을 보존하는 데 있어 경쟁 모델들을 일관되게 앞질렀습니다. Qwen2.5-7B 백본에서, LlamaGuard의 22.7% 대비 현저히 낮은 **9.1%**의 선의 거부율을 기록하면서도 **89.2%**의 유해 거부율을 유지했습니다. 이를 통해 정적 분류기의 "과잉 방어" 행동과 규칙 기반 프롬프팅의 "방어 부족" 실패를 모두 피했습니다.
• AgentSafetyBench (일반적 견고성): 이 프레임워크는 환경 기반 상호작용 시나리오에서 최첨단 성능을 달축했습니다. GPT-4o에서 **62.05%**의 Refusal-Env 점수를 기록하여, A-Mem보다 14.7%, RAG보다 16.0% 높은 성과를 보였습니다.
• 절제 연구(Ablation Studies): 메모리 트리나 선의 규칙과 같은 구성 요소를 제거했을 때 성능이 크게 저하되었습니다 (예: 선의 거부율이 각각 37.3%와 25.0%로 증가). 이는 계층적 메모리와 이중 정책 구조의 필요성을 입증합니다.

의의

본 논문은 SAFEHARBOR가 현재 방어 체계의 근본적인 한계인 '모호한 시나리오에서 선의의 의도와 악의적 의도 사이의 정밀한 결정 경계를 구분하지 못하는 문제'를 해결한다고 주장합니다. 적응형 경계라는 추상적 개념을 구체적이고 실시간적인 방어 파이프라인으로 변환함으로써, SAFEHARBOR는 학습이 필요 없고, 효율적이며, 플러그 앤 플레이가 가능한 솔루션을 제공합니다.

그 의의는 다음과 같습니다:

• 안전성-유용성 트레이드오프 해결: 정적 가드레일의 심각한 과잉 거부나 무거운 외부 에이전트의 높은 계산 비용 없이도 높은 안전 준수율을 달성합니다.
• 동적 적응 가능성 제공: 자기 진화형 메모리 구조를 통해, 값비싼 모델 재학러 없이도 새로운 공격 벡터에 대응하여 방어 경계를 지속적으로 최적화할 수 있습니다.
• 세밀한 제어 제공: 이중 정책 메커니즘(금지 + 예외)을 통해 엣지 케이스에서도 정밀한 구분이 가능하며, 이를 통해 정당한 복잡한 워크플로우가 경직된 안전 마진에 의해 차단되지 않도록 보장합니다.

저자들은 결론적으로 SAFEHARBOR가 거친 수준의 정적 필터링에서 정밀하고 맥락을 인식하는 규칙 기반 안전 강제로의 전환을 나타낸다고 설명합니다.