기술 요약: VERA – 대규모 안전성 테스트를 위한 LLM 에이전트 프레임워크

1. 문제 정의

대규모 언어 모델(LLM) 에이전트는 소프트웨어 개발, 엔터프라이즈 서비스, 개인용 컴퓨팅과 같은 도메인에서 외부 도구를 통해 자율적인 작업을 수행하기 위해 점점 더 많이 배포되고 있습니다. 이러한 자율성은 텍스트 생성을 넘어 능력을 확장하지만, 민감한 데이터 노출, 승인되지 않은 시스템 수정, 안전하지 않은 코드 실행과 같은 복잡하고 진화하는 안전 위험을 초 turut 합니다.

기존의 안전성 평가 방법은 세 가지 주요 한계점을 가집니다:

1. 정적이며 전문가 의존적임: 현재의 벤치마크는 전문가가 설계한 시나리오와 사전 정의된 위험 범주에 의존하며, 이는 에이전트의 능력과 도구 생태계의 급격한 진화 속도를 따라잡지 못합니다.
2. 근거 기반 검증의 부재: 많은 접근 방식이 안전하지 않은 요청이나 텍ural 의도 표명과 실제로 실현된 안전 위반을 혼동합니다. 이들은 실제 실행된 동작이 환경에 미친 영향을 관찰하기보다, 모델의 자기 보고(self-reports)나 LLM 기반 판사(judges)에 의존하는 경우가 많습니다.
3. 확장성 및 유지보수성 저하: 기존 프레임워크는 위험 정의, 환경 구현, 검증 절차를 밀접하게 결합하고 있습니다. 새로운 위험이나 에이전트 아키텍처로 범위를 확장하려면 여러 시스템 계층에 걸쳐 조정된 수정이 필요하며, 이로 인해 안전 데이터셋을 구축하고 유지 관리하는 데 많은 비용이 듭니다.

또한, 에이전트의 계획(planning), 도구 선택, 상태 진화는 표준 소프트웨어 테스트에서 가정하는 결정론적인 입출력 매핑과 달리 런타임 시 비결정론적으로 이루어지기 때문에, 전통적인 소프트웨어 테스트 패러다임을 에이전트에 적용하는 것은 어렵습니다.

2. 방법론: VERA 프레임워크

이러한 과제를 해결하기 위해, 저자들은 비결정론적 에이전트를 위한 소프트웨어 공학 테스트 원칙을 구체화한 엔드 투 엔드 자동화 안전 테스트 프레임워크인 VERA를 제시합니다. VERA는 세 단계의 자기 강화형 파이프라인을 통해 작동합니다.

A. 지속적인 위험 탐색 (Continuous Risk Exploration)

정적인 분류 체계에 의존하는 대신, VERA는 새롭게 등장하는 위험을 지속적으로 발견하고 구조화하기 위해 문헌 기반 탐색(literature-driven exploration) 프로세스를 채택합니다.

• 프로세스: "요약 에이전트(Summary Agent)"가 연구 문헌(예: arXiv)을 반복적으로 처리하여 안전 위험(해로운 결과), 공격 방법(유도 메커니즘), 환경(도구 실행 컨텍스트)의 분류 체계를 구축하고 통합합니다.
• 메커니즘: 시스템은 새로운 노드를 생성하거나, 용어의 변형을 병합하거나, 지원되지 않는 개념을 삭제하는 업데이트 연산자를 사용하여, 분류 체계가 현재의 위협 지형을 반영하는 안정적인 구조로 수렴하도록 보장합니다.
• 범위: 탐색은 배포된 에이전트를 대상으로 테스트 가능한 추론 시점(inference-time)의 위험으로 제한되며, 데이터 포이즈닝(data poisoning)과 같은 학습 단계의 공격은 제외됩니다.

B. 실행 가능한 테스트 케이스 구축 (Executable Test Case Construction)

이 단계는 추상적인 분류 체계의 리프 노드(leaf nodes)를 실행 가능한 안전 사례($\sigma = \langle g, s_0, V_g \rangle$)로 변환합니다.

• 조합적 구성: 프레임워크는 세 가지 분류 체계(위험, 공격 방법, 환경)의 리프 노드를 조합하여 후보 안전 목표($g$)를 생성합니다.
• 컴파일:
  • 초기 상태 ($s_0$): 다양한 목표 관련 전제 조건(예: 취약한 종속성을 가진 저장소)을 생성하기 위해 서비스 API를 통해 프로그래밍 방식으로 구축됩니다.
  • 검증기 ($V_g$): 관찰 가능한 산출물을 기반으로 안전 위반이 실현되었는지 확인하는 결정론적인 코드 수준의 스크립트입니다.
• 필터링: 각 사례는 내부 추론 흔적이 아닌 관찰 가능한 효과에 의존하도록 필터링됩니다. 각 기본 시나리오는 세 가지 변형으로 확장됩니다: 양호(Benign) (정당한 작업), 단일 채널(Single-Channel) (적대적 사용자 메시지만 포함), 다중 채널(Multi-Channel) (적대적 사용자 메시지 + 주입된 도구 결과 포함).

C. 적응형 실행 및 근거 기반 검증 (Adaptive Execution and Evidence-Grounded Verification)

대상 에이전트는 통일된 실행 계약(execution contract) 하에 격리된 샌드박스에서 실행됩니다.

• 샌드박스 환경: 구성 가능한 도구 게이트웨이(Tool Gateway) (MCP 기반)가 모든 도구 호출을 중재하며, 원래의 결과와 변형된 관찰 값을 기록합니다. 이는 식별(identity), 추가(append), 접두사(prefix), 덮어쓰기(override)의 네 가지 주입 모드를 지원합니다.
• 적응형 제어 에이전트 (Adaptive Control Agent): 테스트 측 제어 에이전트가 다회차 상호작용을 유도합니다. 이 에이전트는 런타임 동작(에이전트 응답, 도구 호출, 상태 변화)을 관찰하고 전략(예: 요청 재구성, 작업 분해 조정)을 조정하여 에이전트를 안전 목표로 유도합니다.
• 근거 기반 검증: 프로그램 방식의 검증기는 다음과 같은 증거 계층에 따라 결과를 판단합니다:
  1. 환경 상태 ($s_T$): 지속적인 상태 변화(예: 파일 수정, 데이터 유출)에 우선순위를 둡니다.
  2. 도구 호출 기록: 상태 변화가 주요 위반 지표가 아닌 경우 사용됩니다.
  3. 에이전트 응답: 텍스트 출력 자체가 위반을 구성하는 경우에만 사용됩니다.
  • 이 접근 방식은 낙관적인 자기 평가로 인한 허위 양성(false positives)과 실행되지 않은 해로운 의도로 인한 허위 음성(false negatives)을 제거합니다.

3. 주요 기여

1. SE 테스트 원칙의 구체화: 본 논문은 소프트웨어 공학 개념(테스트 오라클, 조합적 구성, 근거 기반 검증)을 LLM 에이전트에 적용하여, 실행 가능한 안전 사례와 적응형 실행 프로토콜을 위한 프레임워크를 제공합니다.
2. VERA 프레임워크: 자율적 위험 발견, 실행 가능한 테스트 케이스 생성, 런타임 적응형 실행의 세 단계를 통해 이질적인 에이전트 프레임워크를 지원하는 새로운 엔드 투 엔드 시스템을 제시합니다.
3. VERA-Bench 및 실증적 평가: 저자들은 124개의 위험 범주와 세 가지 실행 설정을 아우르는 1,600개의 실행 가능한 안전 사례를 포함하는 VERA-Bench를 공개합니다. 또한 네 가지 프로덕션 에이전트 프레임워크(OpenClaw, Hermes, Codex, Claude Code)에 대해 VERA를 평가하여 상당한 안전 약점을 밝혀냈습니다.

4. 실험 결과

평가는 격리된 Docker 환경에서 여러 백엔드 모델(GPT-5.2, Gemini-3, Qwen-3.7 등)을 사용하여 네 가지 에이전트 프레임워크를 대상으로 수행되었습니다.

• 공격 성공률 (ASR): 다중 채널 공격 하에서 평균 공격 성공률은 **93.9%**에 달했습니다. 단일 채널 공격 하에서도 평균 ASR은 **90.6%**를 기록하여, 정적 프롬프트 벤치마크 결과보다 현저히 높았습니다.
• 프레임워크 취약성:
  • Claude Code와 Hermes는 높은 취약성(공격 모드에서 전체 ESR 각각 88.6% 및 86.6%)을 보였으며, 이는 강력한 작업 완료 능력과 유연한 도구 오케스트레이션이 적응형 공격에 대한 높은 취약성과 상관관계가 있음을 시사합니다.
  • OpenClaw는 낮은 전체 ESR(70.3%)을 보였는데, 이는 보수적인 도구 호출 정책 때문이기도 하지만 인프라 실패율이 높았기 때문이기도 합니다.
• 위협 모델 분석:
  • 다중 채널 vs. 단일 채널: 다중 채널 테스트는 완만한 수준이지만 일관된 증가(+3.3% 평균)를 제공하여, 도구 결과 주입이 특히 사용자 메시지 처리가 보수적인 에이전트(예: OpenClaw에서 +6.3% 증가)에게 유효한 우회 벡터임을 드러냈습니다.
  • 적응형 드라이버 (Adaptive Driver): 적응형 제어 에이전트는 양호한 설정에 비해 성공률을 약 20 퍼센트 포인트 높였으며, 이는 방어 체계를 우회하는 데 있어 런타임 적응형 상호작용의 가치를 입증합니다.
• 다운스트림 영향: VERA에서 도출된 데이터로 가드 모델(Qwen3Guard)을 미세 조정했을 때, 오프더쉘프(off-the-shelf) 베이스라인에 비해 안전 분류 성능(정확도: 61.7%, 재현율: 77.9%, F1: 68.4%)이 크게 향상되었으며, R-Judge와 같은 외부 벤치마크에 대해서도 일반화 성능을 보여주었습니다.

5. 의의 및 주장

본 논문은 에이전트가 더욱 자율적이고 도구 통합적으로 변함에 따라, 안전성 평가는 정적인 벤치마킹에서 모듈식의 실행 가능한 테스트 인프라로 진화해야 한다고 주장합니다.

• 모듈성 및 유지보수성: VERA는 위험 정의, 환경 구현, 검증 절차를 분리함으로써, 비용이 많이 드는 수동 재설계 없이도 빠르게 진화하는 에이전트 시스템에 적응할 수 있는 확장 가능한 안전 평가가 가능함을 보여줍니다.
• 근거 기반 검증: 모델의 자기 보고보다 관찰 가능한 환경 상태를 우선시함으로써, VERA는 실제 안전 위반에 대해 더 엄격하고 신뢰할 수 있는 평가를 제공합니다.
• 역량-취약성 정렬 (Capability-Vulnerability Alignment): 실험 결과는 에이전트 설계의 구조적 긴장을 강조합니다. 즉, 에이전트를 유용하게 만드는 바로 그 능력(강력한 지시 이행, 유연한 도구 오케스트레이션)이 역설적으로 적대적 조작에 더 취약하게 만듭니다.
• 미래 인프라: 저자들은 VERA를 단순한 벤치마크가 아니라, 에이전트 시스템의 엄격하고 유지 관리 가능하며 대규모인 안전 보증을 위한 필수적인 기초 인프라로 규정합니다.

결론적으로, 본 논문은 관찰된 "역량-취약성 정렬"이 현재 에이전트 시스템의 구조적 특성이며, VERA와 같은 프레임워크가 프로덕션 환경에서 이러한 위험을 노출하고 해결하는 데 필수적이라고 결론짓습니다.