기술 요약: HarnessRisk: 에이전트 하네스 안전성을 위한 라이프사이클 지향적 벤치마크

문제 정의

대규모 언어 모델(LLM)은 도구, 파일, 지속적 메모리 및 실행 환경을 통해 외부 환경과 상호작용하는 에이전트로 점점 더 많이 배포되고 있습니다. 이러한 기능들은 도구를 관리하고, 권한을 강제하며, 확장을 로드하고, 모델이 생성한 동작을 실행하는 **에이전트 하네스(agent harness)**에 의해 매개됩니다. 기존의 안전성 벤치마크는 개별 공격 메커니즘(예: 프롬프트 인젝션)이나 제한된 운영 서브셋에 초점을 맞추고 있어, 하네스의 뚜렷한 책임 영역 전반에서 어떻게 안전성 실패가 발생하는지를 포착하지 못합니다.

안전성은 기본 모델과 하네스 설정의 결합된 속성입니다. 안전하지 않은 결과는 하네스가 신뢰할 수 없는 구성을 수락하거나, 과도한 권한을 부여하거나, 지속적 상태에 적대적 콘텐츠를 허용하거나, 결과적인 동작을 제약하는 데 실패할 때 발생합니다. 현재의 벤치마크는 이러한 위험을 전체 운영 라이프사이클 전반에 걸쳐 평가할 수 있는 통합된 프레임워크가 부족하며, 이로 인해 서로 다른 하네스 책임 간의 안전 행동을 비교하거나 높은 작업 유용성이 안전한 실행과 상관관계가 있는지 판단하기 어렵습니다.

방법론

라이프사이클 분류 체계

저자들은 에이전트 하네스 안전성을 여섯 가지 운영 단계로 구성하는 프레임워크를 제안합니다:

1. 하네스 구성 (Harness Configuration): 커넥터, 자격 증명, 정책 및 템플릿의 초기화.
2. 기능 확장 (Capability Extension): 기술 또는 플러그인의 선택, 설치 및 권한 부여.
3. 런타임 운영 (Runtime Operation): 작업 실행 중 신뢰할 수 없는 콘텐츠(이메일, 문서, 도구 출력)의 처리.
4. 상태 지속성 (State Persistence): 내구성이 있는 메모리, 선호도, 정책 및 정체성의 저장.
5. 동작 제어 (Action Control): 고영향 외부 동작(배포, 결제, 환불)의 승인.
6. 사고 복구 (Incident Recovery): 침해 발생 후 탐지, 조사, 롤백 및 상태 복구.

벤치마크 설계 (HarnessRisk)

HarnessRisk는 이 여섯 가지 단계에 걸쳐 분포된 128개의 샌드박스 케이스로 구성됩니다.

• 구조: 각 케이스는 선의의 사용자 목적과 신뢰할 수 없는 워크플로우 아티팩트(예: 악성 설정 파일, 플러그인 메타데이터, 복구 가이드)에 내장된 적대적 지시문을 쌍으로 결합합니다.
• 실행: 에이전트는 케이스별 파일, 도구 및 모의 서비스를 사용하여 세 번의 "소유자 턴(owner turns)" 워크플로우를 완료합니다. 모든 실행은 실제 외부 네트워크 접속 없이 새롭게 초기화된 환경에서 시작됩니다.
• 평가 지표: 각 궤적(trajectory)은 네 가지 이진 레이블로 평가됩니다:
  • 유용성 (Utility): 선의의 작업 완수 여부.
  • 공격 성공률 (ASR): 적대적 목적(예: 데이터 유출, 승인되지 않은 환불)의 실현 여부.
  • 지속성 (Persistence): 적대적 영향이 내구성이 있는 상태에 기록되어 효과가 유지되는지 여부.
  • 탐지 (Detection): 구체적인 보안 위험에 대한 모델의 명시적 식별 여부.

실험 설정

이 벤치마크는 세 가지 에이전트 하네스(OpenClaw, Hermes, Nanobot)와 여섯 가지 언어 모델(DeepSeek-V4-Pro, GLM-5.2, Kimi K2.6, MiniMax M3, GPT-5.5, Claude Opus 4.7)을 대상으로 평가되었으며, 결과적으로 14개의 모델-하네스 구성이 도출되었습니다. 각 구성은 128개 케이스 전체에 대해 세 개의 독립적인 샘플링 시드로 테스트되었습니다(구성당 384개 궤적). 평가는 결정론적 술어 및 인간 주석에 의해 검증된 통합 GPT-5.4 평가자를 사용하여 수행되었습니다.

주요 결과

높은 유용성이 안전하지 않은 실행을 은폐함

중심적인 발견은 높은 작업 유용성이 안전을 보장하지 않는다는 것입니다. 세 가지 하네스 전반에 걸쳐, OpenClaw에서는 59%, Nanobot에서는 38%, **Hermes에서는 43%**의 궤적이 "유용하지만 안전하지 않은(useful-but-unsafe)" 결과(높은 유용성, 높은 공격 성공)를 냈습니다. 공격 성공률은 12.6%에서 80.9% 사이였으나, 유용성은 높은 수준(75.0%~97.6%)을 유지했습니다.

하네스 구성이 주요 취약점임

하네스 구성은 세 가지 하네스 모두에서 가장 취약한 단계로 식별되었습니다. 이 단계에서의 공격은 권한이 부여된 워크플로우 내에서 보안 민감한 파라미터를 변경함으로써 성공합니다. 후기 단계에서 위험 프로필이 갈리기도 했지만(예: Nanobot은 상태 지속성에서 높은 위험을 보임), 구성(Configuration)은 일관되게 지배적인 취약점으로 남았습니다.

모델 안전 순위는 하네스에 의존함

모델의 안전 순위는 사용되는 하네스에 따라 크게 달라집니다. 예를 들어:

• GLM-5.2는 OpenClaw(54.7%)와 Nanobot(12.6%) 사이에서 공격 성공률(ASR)이 4.3배 차이를 보였습니다.
• MiniMax M3는 OpenClaw와 Hermes에서는 우수한 성능을 보였으나, Nanobot에서는 최고 성능을 기록하지 못했습니다.
  이는 안전성이 모델 단독의 속성이 아니라, 배포된 구성의 속성임을 입증합니다.

탐지가 안전을 보장하지 않음

명시적인 위험 인식은 반드시 안전한 동작으로 이어지지 않습니다. 일부 구성은 90% 이상의 실행에서 위험을 탐지했음에도 불구하고(예: OpenClaw에서의 MiniMax M3, 탐지율 97.9%), 상당한 공격 성공률(31.2%)을 유지했습니다. 에이전트들은 오염된 상태를 식별했음에도 불구하고 안전하지 않은 토큰, 기술 또는 정책을 제거하거나 복구 작업을 완료하는 데 실패했습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 라이프사이클 프레임워크: 에이전트 하네스 안전 책임을 여섯 가지 운영 단계로 조직하는 프레임워크를 도입하여, 서로 다른 하네스 역할 간의 안전 행동을 일관되게 비교할 수 있게 합니다.
2. HarnessRisk 벤치마크: 통합 프로토콜 하에 전체 라이프사이클을 다루는 128개의 샌드박스 워크플로우 벤치마크를 제시하며, 작업 완료를 안전하지 않은 동작, 지속적 침해 및 위험 탐지와 분리합니다.
3. 구성 위험에 대한 실증적 증거: 모델의 안전 순위가 고정적이지 않고 하네스에 따라 변하며, 높은 작업 유용성이 안전하지 않은 실행을 은폐할 수 있다는 실증적 증거를 제공합니다.

저자들은 에이전트 안전성을 평가하려면 모델 단독이 아닌 배포된 모델과 하네스 구성에 초점을 맞춰야 한다고 결론짓습니다. 또한 에이전트 라이프사이클 전반에 걸쳐 출처와 권한 컨텍스트를 보존하고, 지속적 상태를 보호하며, 결과적인 동작을 제약하고, 복구 메커니즘을 검증하는 안전장치의 필요성을 강조합니다.