기술 요약: OpenART: 개방형 환경 진화를 통한 에이전트 레드팀 스케일링

문제 정의

AI 에이전트는 도구 매개 행동(tool-mediated actions)을 통해 공유된 상태, 데이터, 권한 및 외부 리소스를 지속적으로 수정하는 지속적인 환경 내에서 점점 더 많이 운영되고 있습니다. 기존의 언어 모델 상호작용과 달리, 에이전트의 행동은 반복적으로 관찰, 업데이트 및 재사용되는 진화하는 환경과 결합되어 있습니다. 이러한 지속성은 AI 안전의 본질을 근본적으로 변화시킵니다. 단독으로는 무해해 보이는 행동이 잠재적인 상태 변화를 유발하여 미래의 상호작용을 통해 전파될 수 있으며, 이는 훨씬 나중에 해로운 행동으로 나타날 수 있습니다. 결과적으로, 안전 실패는 단일 행동이 아닌 전체 상호작용 궤적(trajectory)의 속성이 됩니다.

기존의 에이전트 안전 벤치마크는 주로 짧고 정적인 작업이나 리셋 가능한 환경을 평가하며, 이는 지속적인 상태 조작, 지연된 공격 전파 및 장기적 안전 실패에 대한 커버리지가 제한적입니다. 또한, 벤치마크 특화 인터페이스는 서로 다른 에이전트 런타임 및 파운데이션 모델 간의 직접적인 비교를 방해합니다. 따라서 격리된 프롬프트가 아닌, 실행 가능한 환경을 레드팀 테스트의 기본 단위로 취급하는 확장 가능한 프레임워크가 절실히 필요합니다.

방법론: OpenART 프레임워크

OpenART는 제어된 환경 진화를 중심으로 한 에이전트 안전 평가를 위한 대규모 아레나를 도입함으로써 이러한 한계를 해결합니다. 이 프레임워크는 세 가지 주요 단계를 통해 작동합니다.

1. 시나리오 구축

OpenART는 50만 개 이상의 도구(Tools), MCP(Model Context Protocols), 스킬(Skills) 코퍼스로부터 합성된 50개 도메인에 걸친 10,000개 이상의 검증된 시나리오 사양을 구축합니다.

• 설계: 시나리오는 선의적인 작업 목표(benign task objective), 실행 가능한 환경(초기 상태), 그리고 숨겨진 안전 계약(hidden safety contract)으로 구성된 대상 불가지론적(target-agnostic) 평가 계약으로 정의됩니다.
• 검증: 시나리오는 자동화된 행동 프로브(behavioral probes)를 갖춘 결정론적 평가기를 통과한 후에만 승인됩니다. 이는 워크플로가 실행 가능하며 평가자가 안전한 작업 완료와 안전하지 않은 누출을 확실히 구별할 수 있음을 보장합니다.
• 복잡도: 결과적으로 생성된 작업은 중간 97회의 도구 호출을 요구하며, 이는 기존 벤치마크(예: 1~15회 호출)의 복잡성을 크게 상회합니다.

2. 교차 에이전트 런타임 투영 (Cross-Agent Runtime Projection)

통합된 평가를 가능하게 하기 위해, OpenART는 공유된 시나리오를 배치된 에이전트의 네이티브 인터페이스로 투영하는 경량화된 타겟 특화 어댑터($\psi_r$)를 사용합니다.

• 대상 불가지론성: 시나리오의 의미론(semantics)과 평가기는 고정되어 있는 반면, 어댑터는 공유된 상태를 각 에이전트가 지원하는 특정 지침, 역량 및 상태 표면(예: 워크스페이스, 메모리, 플랜)에 매핑합니다.
• 커버리지: 이 프레임워크는 15개의 배치된 에이전트(OpenCode, Aider, Claude Code 등 포함)를 5개의 파운데이션 모델(GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro)과 결합하여 총 75개의 고유한 에이전트-모델 구성을 평가합니다.
• 공격 벡터: 시스템은 워크스페이스, 지침, 스킬, 도구, MCP, 단기 메모리, 플랜 상태, 장기 메모리의 8가지 타겟 가시적 상태 표면을 노출합니다.

3. 제어된 환경 진화 (EMHA)

핵-레드팀 프로토콜은 선의적인 작업 목표와 안전 계약을 변경하지 않은 채 타겟 가시적 환경 상태만을 진화시키는 것을 포함합니다. 이는 **진화적 마르코프 하이퍼그래프 공격(Evolutionary Markov Hypergraph Attack, EMHA)**을 통해 구현됩니다.

• 블랙박스 정책: EMHA는 모델 파라미터($\theta_{t+1} = \theta_t$)를 업데이트하지 않고 피드백 기반의 환경 진화를 수행하는 참조 정책입니다. 이는 인컨텍스트 러닝(in-context learning)과 외부 상태 관리에 의존합니다.
• 하이퍼그래프 트래벌: 조정된 환경 변화는 공격 서브골(subgoal)을 나타내는 정점과 전제 조건과 후속 관계를 연결하는 하이퍼엣지로 모델링된 하이퍼그래프로 모델링됩니다. EMHA는 이 그래프를 통한 경로를 샘플링하여 상태 전이를 제안합니다.
• 피드백 루프: 각 실행 후, 평가기는 피드백($Y_t$)을 제공합니다. EMHA는 이 피드백을 사용하여 전이를 위한 가치 함수를 업데이트하고, 예산 범위 내에서 공격 성공률(ASR)을 극대화하도록 미래의 경로 선택을 유도합니다. 또한 다양한 공격 전략의 팝퓰레이션을 유지하기 위해 아카이브 가이드 진화 탐색(MAP-Elites와 유사)을 활용합니다.

주요 기여

1. OpenART 아레나: 에이전트 레드팀을 위한 대규모 개방형 아레나로서, 안전 평가의 단위를 고립된 프롬프트에서 실행 가능하고 진화하는 환경으로 전환합니다. 이는 상태가 유지되는 현실적인 조건 하에서 에이전트 안전을 연구하기 위한 공유된 기반을 제공합니다.
2. 대상 불가지론적 표현: 이질적인 에이전트, 모델 및 인터페이스 전반에서 작업 의미론과 평가 기준을 보존하는 새로운 시나리오 표현 방식과 경량 런타임 어댑터를 제공합니다.
3. EMHA 알고리즘: 환경 진화를 블랙박스 최적화 문제로 정식화하고, 조정된 상태 전이를 하이퍼그래프 트래벌로 모델링하는 피드백 기반의 파라미터 프리(parameter-free) 정책을 통해 구현했습니다.
4. 포괄적 평가: 75개의 에이전트-모델 구성을 대상으로 한 체계적인 연구를 통해 환경 복잡성과 에이전트 구현이 어떻게 안전 결과를 공동으로 결정하는지 밝혀냈습니다.

실험 결과

평가는 10,000개의 검증된 시나리오를 사용하여 75개의 에이전트-모델 구성에 대해 수행되었습니다.

• 공격 성공률 (ASR): EMHA는 통합 **엄격 ASR(Strict ASR) 85.0%**를 달성했습니다. 엄격한 공격은 결정론적 평가기와 LLM 판독기(GLM-5.2) 모두가 공격 조건을 식별했을 때만 성공으로 간주됩니다.
• 복잡도의 영향: 전체 환경 진화가 지침 전용 진화보다 우세한 정도는 시나리오 복잡도와 높은 상관관계를 보입니다. 단순한 환경에서는 이득이 1.82.7%에 불과하지만, 가장 복잡한 환경에서는 **17.217.6%**까지 증가합니다. 이는 장기 워크플로가 지속적인 상태 진화의 영향을 증폭시킨다는 것을 입증합니다.
• 에이전트 구현의 역할: 파운데이션 모델의 정체성이 ASR 변동의 73.6%를 설명하는 반면, 타겟 에이전트의 정체를 포함하면 모델 및 역량 통제 외에도 추가로 **7.6%**의 변동을 설명합니다. 이는 런타임 구현이 에이전트 안전에 중요한 역할을 한다는 것을 시사합니다.
• 절제 연구 (Ablation Studies):
  • 벡터 제한: 워크스페이스 진화만으로 92.5%의 ASR을 달성하여, 지침 전용 진화보다 10.9% 높은 성능을 보였습니다.
  • 탐색 메커니즘: 아카이브 또는 크레딧 재분배 메커니즘을 제거하면 ASR이 각각 3.9%와 2.6% 감소하여, 전략을 정교화하는 데 있어 이들의 중요성을 확인했습니다.
• 전파 역학: 10,000개의 궤적 분석 결과, 안전 실패는 종종 중간값 37회의 타겟 행동 이후에 나타났습니다. 진화된 상태를 소비한 시점과 안전하지 않은 출력을 생성한 시점 사이의 중간 지연 시간은 워크플로의 41%였으며, 이는 정적 평가가 긴 실행 범위에서만 나타나는 취약점을 놓칠 수 있음을 나타냅니다.

의의 및 주장

본 논문은 OpenART가 복잡하고 진화하는 환경에서 에이전트 안전을 연구하기 위한 확장 가능한 토대를 구축한다고 주장합니다. 주요 의의는 에이전트 안전이 짧고 정적이며 모델 중심적인 평가만으로는 완전히 규정될 수 없다는 점을 입증한 데 있습니다.

저자들이 강조한 핵심 발견 사항은 다음과 같습니다:

• 환경 진화의 결정적 요인: 안전 실패는 상호작용 궤적의 속성입니다. 작업 복잡도가 증가함에 따라, 환경을 진화시키는 능력은 정적 테스트보다 훨씬 더 많은 취약점을 노출합니다.
• 구현의 중요성: 안전은 단순히 기초 모델뿐만 아니라 환경 복잡도와 특정 에이전트 구현(런타임)에 의해 공동으로 결정됩니다.
• 반복되는 취약점: 연구는 현재 에이전트에서 나타나는 세 가지 반복적인 실패 모드를 식별했습니다:
  1. 오래된 가정 (Stale Assumptions): 에이전트가 환경이 변할 때 이전에 형성된 가정(예: 플랜 참조 드리프트, 역량 재바인딩)을 무효화하지 못함.
  2. 전파된 안전 결정 (Propagated Safety Decisions): 에이전트가 컨텍스트가 변함에 따라 안전 판단을 재계산하는 대신 다운스트림 컴포넌트에 판단을 미룸.
  3. 조합적 위험 (Compositional Risk): 긴 워크플로 동안 여러 개의 개별적으로 무해한 변화들이 상호작용하여 안전하지 않은 행동이 발생함.

저자들은 향-미래의 안전 평가가 에이전트와 그들의 진화하는 환경 간의 장기적 상호작용을 반드시 고려해야 하며, 이를 통해 위험을 정확하게 평가하고 완화할 수 있다고 결론짓습니다.