기술 요약: MaMa – 안전한 에이전트 시스템 설계를 위한 게임 이론적 접근

문제 정의

대형 언어 모델 (LLM) 기반 다중 에이전트 시스템은 코드 생성, 의료 진단, 과학적 발견과 같은 분야에서 상당한 능력을 입증해 왔습니다. 그러나 이러한 시스템은 개별 에이전트가 실패하거나 환각을 경험하거나 적대적으로 행동할 때 특히 심각한 안전 위험을 초래합니다. 이전 연구들은 수동으로 설계된 시스템의 안전성을 탐구해 왔지만, 자동화된 설계 파이프라인은 대부분 강력한 안전 메커니즘이 부족합니다. 기존 위협 모델은 종종 에이전트에 간접적으로만 영향을 미칠 수 있는 약한 적을 가정합니다. 본 논문은 진정으로 견고한 시스템을 설계하려면, 에이전트 하위 집합의 지시를 덮어쓰고 이를 악의적인 목표 방향으로 조정함으로써 직접적으로 침해할 수 있는 훨씬 더 강력한 적에 대비해야 한다고 주장합니다. 핵심 문제는 이러한 최악의 적대적 조건 하에서도 안전을 유지하면서 높은 작업 성능을 유지하는 에이전트 시스템의 자동화된 설계입니다.

방법론

저자들은 안전한 에이전트 시스템 설계를 **스택헬버그 보안 게임 (Stackelberg Security Game)**으로 공식화하는 새로운 프레임워크인 MaMa(Meta-Adversary–Meta-Agent)를 제안합니다. 이 게임에는 두 명의 플레이어가 참여합니다.

1. 메타 에이전트 (리더): 에이전트, 도구, 통신 구조를 지정하는 에이전트 시스템 설계를 확정합니다. 그 목적은 선의의 환경에서의 작업 품질과 공격 하에서의 안전성을 가중합으로 최대화하는 것입니다.
2. 메타 적대자 (팔로워): 메타 에이전트가 제안한 시스템을 관찰한 후, 시스템의 안전성을 최소화하기 위해 $\epsilon$개의 에이전트 하위 집합을 선택하고 침해합니다. 이는 "최적 대응 (best response)" 공격을 탐색합니다.

MaMa 알고리즘

MaMa 는 LLM 기반 적대적 탐색을 활용하여 반복적으로 작동합니다.

• 초기화: 프로세스는 초기 시스템 설계의 아카이브 (예: 기본 가드레일이 있는 시스템) 로 시작됩니다.
• 메타 적대자 단계: 각 반복에서 메타 적대자는 현재 시스템을 분석합니다. $\epsilon$개의 에이전트에 대한 지시를 덮어쓰고 악의적인 행동 (예: 파일 삭제, 피싱 메시지 발송) 을 수행하도록 하여 공격 세트를 생성합니다. 이러한 공격은 안전성 함수 $s$를 사용하여 검증, 실행, 평가됩니다. 상위 $k$개의 가장 강력한 공격이 아카이브에 저장됩니다.
• 메타 에이전트 단계: 메타 에이전트는 아카이브에서 현재 시스템과 상위 $k$개의 공격을 검색합니다. 이러한 공격이 노출한 취약점을 분석하고, 작업 품질을 유지하면서 식별된 위협을 완화하기 위해 시스템 설계를 수정합니다 (예: "안전 에이전트" 추가, 통신 프로토콜 변경, 투표 메커니즘 도입).
• 평가 및 아카이브 업데이트: 새로운 시스템은 선의의 환경과 적대적 환경 모두에서 평가됩니다. 결과 (품질 점수 $q$ 및 안전성 점수 $s$) 가 기록되고 시스템이 아카이브에 추가됩니다.
• 종료: 고정된 수의 세대가 지난 후, 가장 높은 가중 점수를 가진 시스템이 선택됩니다.

탐색 공간은 $a = (A, T, G)$라는 튜플로 구조화되며, 여기서 $A$는 에이전트 집합, $T$는 도구 집합, $G$는 통신 그래프입니다. 이러한 구조화된 정의는 설계 및 공격 공간 모두에 대한 명확한 명세를 가능하게 합니다.

주요 기여

1. 프레임워크: 본 논문은 에이전트 실패 및 적대적 침해 하에서 안전성을 명시적으로 보장하는 에이전트 시스템의 자동화된 설계를 위한 최초의 프레임워크를 소개합니다. 이를 설계자와 최적 대응 공격자 간의 스택헬버그 보안 게임으로 공식화합니다.
2. 방법론: 저자들은 LLM 기반 탐색을 통해 발견된 최적 대응 적대적 공격 하에서 훈련함으로써 작업 성능과 안전성 모두를 위해 시스템을 반복적으로 최적화하는 알고리즘인 MaMa 를 제안합니다.
3. 평가: 본 논문은 Travel Planning, Personal Assistant, Financial Article Writing, Code Generation 및 BAD-ACTS 와 AgentDo 벤치마크의 기타 환경 등 여섯 가지 다양한 환경에 걸친 경험적 증거를 제공합니다.

실험 결과

평가 결과, MaMa 는 Guardian Agents 나 Least-Privilege Tool Gating 과 같은 기존 안전 메커니즘보다 초기 설계보다 훨씬 안전한 시스템을 생성하며, 동등하거나 향상된 작업 품질을 유지함을 입증했습니다.

• 견고성: MaMa 로 설계된 시스템은 일관되게 최악의 공격에 대응합니다. 예를 들어, Travel Planning 환경에서 MaMa 가 없는 초기 시스템의 안전성 점수는 깨끗한 상태에서 4.89 에서 공격 시 1.66 으로 하락한 반면, MaMa 로 설계된 시스템은 공격 하에서도 높은 안전성 점수를 유지했습니다.
• 품질 보존: 종종 성능을 저하시키는 안전 메커니즘과 달리, MaMa 로 설계된 시스템은 높은 작업 효율성을 유지했습니다. 일부 환경에서는 반복적인 방어 프로세스가 품질만을 최적화한 시스템에 비해 출력의 품질을 오히려 향상시키기도 했습니다.
• 일반화: 결과적으로 생성된 시스템은 훈련 설정을 넘어 견고한 안전성을 입증했습니다.
  • 다른 LLM: 에이전트와 적대자 모두의 기본 LLM 이 변경되어도 시스템은 안전을 유지했습니다.
  • 더 강력한 적대자: 단일 침해 에이전트 ($\epsilon=1$) 를 견디도록 설계된 시스템은 적대자가 최대 세 개의 에이전트를 제어할 때에도 견고함을 유지했습니다.
  • 다른 공격 유형: 시스템은 표적 공격 및 간접 프롬프트 주입 공격 (도구 조작) 으로 일반화되어 공격 성공률 (ASR) 에서 베이스라인을 능가했습니다.

중요성 및 주장

본 논문은 MaMa 가 에이전트 시스템에 대한 "구축 안전 (safety by construction)"을 위한 원칙적인 접근법임을 주장합니다. 설계 프로세스를 강력한 적대자에 대한 게임으로 명시적으로 모델링함으로써, 이 방법은 시스템이 직접적인 에이전트 침해에 견고한 방어를 진화시키도록 강제합니다.

저자들은 기존 자동화 설계 방법들이 작업 성능에 초점을 맞추는 반면, 에이전트 실패나 악의적인 행동의 치명적인 위험은 종종 간과한다고 강조합니다. MaMa 는 안전성을 최적화 루프에 직접 통합함으로써 이러한 격차를 해소합니다. 본 논문은 MaMa 로 설계된 시스템이 수동으로 제작된 대안이나 품질만을 최적화한 시스템보다 훨씬 안전하며, 더 큰 확신으로 고위험 환경에 에이전트 시스템을 배포할 수 있는 길을 제시한다고 결론지었습니다. 저자들은 겸손하게도 벤치마크가 실제 시나리오를 시뮬레이션하지만, 향후 연구에서는 더 복잡한 구체화된 AI 시스템에서 이러한 결과를 검증하고 반복적 평가 프로세스의 계산 비용을 해결해야 한다고 지적했습니다.