1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 기반 에이전트의 성능은 도구 사용, 컨텍스트 관리, 상태 지속성 등을 조율하는 시스템 계층인 **'실행 하네스 (Execution Harness)'**에 크게 의존합니다. 그러나 이 하네스는 에이전트와 환경 간의 모든 상호작용을 중재하는 핵심 지점이므로, 공격자에게는 매우 가치 높은 표적이 됩니다.

기존의 보안 접근 방식은 다음과 같은 **세 가지 구조적 불일치 (Structural Mismatch)**로 인해 하네스 내부의 위협을 효과적으로 방어하지 못합니다.

• 컨텍스트 맹점 (Context Blindness): 기존 방어 수단 (예: NeMo Guardrails, Llama Guard) 은 하네스 외부의 대화 인터페이스에서만 작동하여, 하네스 내부 상태 (예: 오염된 도구 출력, 조작된 툴 명세) 를 볼 수 없습니다.
• 레이어 간 고립 (Inter-layer Isolation): 입력 필터, 도구 검증, 메모리 보호 등 여러 보안 체크포인트가 독립적으로 작동하여, 복합 공격 (입력, 도구 출력, 대화 기록을 동시에 타겟팅) 에 대해 체계적인 시스템 수준의 대응이 불가능합니다.
• 복원력 부족 (Lack of Resilience): 기존 방식은 '허용/차단'의 이진적 결정에 그치며, 공격이 침투한 후 권한을 점진적으로 제한하거나 기능을 안전하게 저하시켜 (Graceful Degradation) 핵심 기능을 유지하는 메커니즘이 부재합니다.

2. 방법론 (Methodology)

저자들은 SAFEHARNESS를 제안합니다. 이는 에이전트의 수명주기 (Lifecycle) 4 단계에 직접 보안 방어 메커니즘을 통합하고, 레이어 간 피드백을 통해 조율된 대응을 가능하게 하는 아키텍처입니다.

2.1. 4 단계 방어 레이어 (Four Defense Layers)

에이전트 실행의 네 가지 주요 단계에 각각 대응하는 레이어를 설계했습니다.

1. INFORM (입력 처리):

   • 에이전트 컨텍스트에 들어가는 모든 외부 콘텐츠 (사용자 입력, 도구 출력, 검색된 문서 등) 를 정제합니다.
   • 구조적 정제: 숨겨진 유니코드, HTML 주석 등 인코딩 기반 은닉 기법 제거.
   • 패턴 기반 탐지: "이전 지시 무시" 등 알려진 주입 패턴 탐지.
   • 의미론적 필터링: LLM 을 활용하여 명령어 위조나 시스템 행동 재정의 시도를 식별.
   • 출처 추적 (Provenance Tagging): 콘텐츠의 출처와 신뢰도를 태그하여 하위 레이어가 검증 강도를 조절하도록 합니다.

2. VERIFY (의사 결정):

   • 제안된 모든 도구 호출에 대해 3 단계 점진적 검증 캐스케이드를 적용합니다.
   • Tier 1 (규칙 기반): 도구 ID, 인수 패턴, 경로 제약에 따른 위험 점수 계산.
   • Tier 2 (맥락 판사): 컨텍스트와 최근 추론 이력을 바탕으로 도구 호출의 안전성 (SAFE/UNCERTAIN/UNSAFE) 을 LLM 이 판단.
   • Tier 3 (인과 진단): 모호한 경우, 해당 호출이 합법적 의도인지 적대적 주입인지 인과 관계를 분석하여 공격을 식별하고 롤백을 트리거합니다.

3. CONSTRAIN (실행 제어):

   • **최소 권한 원칙 (Least Privilege)**을 도구 실행 경계에 적용합니다.
   • 권한 분리: 도구를 5 단계 위험 등급 (read_only ~ destructive) 으로 분류.
   • 기능 토큰 (Capability Tokens): 세션 초기에 토큰을 발급하여 시간 제한 (TTL) 및 호출 횟수 제한을 둡니다.
   • 무결성 검증: 툴 레지스트리 설명에 HMAC 서명을 적용하여 툴 설명 조작 (Tool Tampering) 을 탐지합니다.

4. CORRECT (상태 업데이트):

   • 상태 체크포인트: 주기적으로 환경 상태 (파일 시스템, 메모리 등) 를 스냅샷으로 저장합니다.
   • 공격 유발 롤백: 공격이 확인되면 마지막 안전한 체크포인트로 즉시 복원합니다.
   • 적응적 저하 (Adaptive Degradation): 공격 감지 시 도구 접근 권한을 단계적으로 제한 (예: 네트워크 차단, 실행 도구 비활성화) 하다가, 일정 기간 안전이 확인되면 점진적으로 권한을 회복합니다.

2.2. 레이어 간 조율 메커니즘 (Cross-layer Mechanisms)

• 보호된 메모리 (Protected Memory): 모든 상태 저장소에 출처 태그를 부착하고, 비정상적인 변경 (엔트로피 위반) 을 감지합니다.
• 엔트로피 모니터 (Entropy Monitor): 최근 행동의 위반 비율을 추적하여, 짧은 시간 내에 다수의 위반이 감지되면 검증 강도를 자동 상향 (Escalation) 시킵니다.
• 피드백 루프:
  • L1(INFORM) 의 의심 콘텐츠 감지 $\rightarrow$ L2(VERIFY) 의 검증 강도 상향.
  • L2(VERIFY) 의 공격 확인 $\rightarrow$ L4(CORRECT) 의 롤백 및 저하 레벨 상승.
  • L4(CORRECT) 의 저하 상태 $\rightarrow$ L3(CONSTRAIN) 의 권한 상한선 하향.

3. 주요 기여 (Key Contributions)

1. 구조적 격차 식별: 기존 에이전트 프레임워크의 컨텍스트 맹점, 레이어 간 고립, 복원력 부재를 명확히 규명하고, 보안 메커니즘과 하네스 실행 수명주기의 분리에서 기인함을 주장했습니다.
2. SAFEHARNESS 제안: 에이전트 실행의 4 단계에 방어 메커니즘을 직접 통합하고, 레이어 간 피드백을 통해 복합 공격에 대응하는 최초의 보안 아키텍처를 제시했습니다.
3. 광범위한 평가: 3 가지 하네스 구성 (ReAct, Multi-Agent, Self-Evolving), 4 가지 보안 베이스라인, 5 가지 공격 시나리오 (6 가지 위협 벡터) 에 걸쳐 체계적으로 평가했습니다.

4. 실험 결과 (Results)

Agent-SafetyBench 벤치마크 (2,000 개 작업) 와 DeepSeek-V3.2 모델을 사용하여 평가한 결과입니다.

• 안전성 향상: 보호되지 않은 베이스라인 대비 SAFEHARNESS 는 UBR(위험 행동률) 을 평균 약 38% 감소시키고, ASR(공격 성공률) 을 약 42% 감소시켰습니다.
  • 예: ReAct 하네스 (DeepSeek-Chat) 에서 UBR 은 51.18% (Unprotected) 에서 28.74% (SAFEHARNESS) 로 대폭 개선되었습니다.
• 유용성 유지: 안전성 향상에도 불구하고 **TCR(작업 완료율)**은 크게 저하되지 않았으며, 공격 상황에서의 **UA(공격 하 유용성)**는 크게 향상되었습니다. 이는 SAFEHARNESS 가 무조건적인 차단이 아닌, 안전한 작업은 수행하도록 허용함을 의미합니다.
• 복합 공격 방어: 단일 레이어 방어 (Guardrail, LlamaFirewall 등) 가 실패하는 메모리 주입 (A4) 및 복합 공격 (A5) 에 대해서도 SAFEHARNESS 는 레이어 간 협력을 통해 효과적으로 대응했습니다.

5. 의의 및 결론 (Significance)

• 아키텍처적 패러다임 전환: 보안을 에이전트 실행의 외부에 추가하는 '패치' 방식이 아니라, 하네스 설계 단계부터 수명주기에 통합된 '내재적'인 보안 원칙을 제시했습니다.
• 실용적 가치: 실제 배포 환경에서 에이전트가 파일 시스템, 네트워크 등 위험한 도구에 접근할 때 발생할 수 있는 연쇄적 실패를 방지하며, 공격 발생 시에도 시스템이 완전히 마비되지 않고 점진적으로 대응할 수 있는 **복원력 (Resilience)**을 제공합니다.
• 미래 방향: 적응형 임계값 설정, 지속적 적대자 대응, 코드 생성 에이전트 (CodeAct 등) 로의 확장, 그리고 효율성을 위한 선택적 활성화 (Selective Activation) 등을 향후 과제로 제시했습니다.

결론적으로, SAFEHARNESS 는 LLM 에이전트의 보안 위협에 대해 단순한 필터링을 넘어, 시스템 전체의 상태를 인지하고 조율하며 대응하는 수명주기 통합 보안 아키텍처의 유효성을 입증한 중요한 연구입니다.