🤖 machine learning

Attacks and Mitigations for Distributed Governance of Agentic AI under Byzantine Adversaries

본 논문은 악의적 제공자에 대한 에이전트 AI 거버넌스를 위한 중앙집중식 SAGA 프레임워크의 취약성을 특정 공격 벡터를 분석하고 보안과 성능 간의 다양한 트레이드오프를 제공하는 완전한 비잔틴 내성부터 하이브리드 및 경량 모니터링 솔루션에 이르기까지 네 가지 구별된 완화 아키텍처를 제안함으로써 다루고 있습니다.

원저자: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matthew D. Laws, Alina Oprea, Cristina Nita-Rotaru

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수천 개의 자율 로봇 (AI 에이전트) 이 회의 예약, 데이터베이스 관리, 코드 작성 등의 업무를 수행하기 위해 고용된 활기찬 도시를 상상해 보십시오. 이 도시를 안전하게 유지하기 위해 신원증을 발급하고, 누가 누구와 대화할 수 있는지 확인하며, 모든 사람의 행동 기록을 보관하는 중앙"시청 (Provider)"이 있습니다. 이 시스템은 SAGA라고 불립니다.

문제는 다음과 같습니다: 시청을 운영하는 시장이 실제로 악당이라면 어떨까요? 혹은 해커가 시장 사무실을 장악한다면 어떨까요?

이 논문은 바로 그 시나리오를 탐구합니다. 부패한 시청이 전체 시스템을 어떻게 망가뜨릴 수 있는지 보여주며, 안전성과 실행 속도 사이의 균형에 따라 세 가지 다른 해결책을 제시합니다.

다음은 논문의 이야기 구조입니다:

1. 문제: 부패한 시청

원래 SAGA 시스템은 시청이 정직하다고 가정합니다. 하지만 저자들은 시청이 침해당하면 끔찍한 일들이 발생할 수 있음을 보여줍니다:

유령 에이전트: 실제 신원증 없이 로봇을 도시 안으로 들여보낼 수 있습니다. 따라서 그 로봇이 데이터를 훔치더라도 누가 보냈는지 아무도 알 수 없습니다.
데이터 도둑: 모든 사람의 개인 비밀번호와 이메일을 몰래 복사할 수 있습니다.
문지기: 좋은 로봇들이 서로 대화하는 것을 막아 업무를 중단시키거나, 나쁜 로봇들이 비밀 로봇들과 대화하게 하여 정보 유출을 초래할 수 있습니다.
지우개: 위험한 로봇을 삭제한 것처럼 가장하지만 실제로는 계속 작동하게 하거나, 삭제 요청을 거부할 수 있습니다.

요약하자면, 시청이 악의적이라면 전체 보안 시스템이 무너집니다.

2. 해결책: 시청을 고치는 세 가지 방법

저자들은 부패한 시청을 막기 위한 세 가지 다른"구제책"을 제안하며, 각각은 안전성과 속도 사이의 고유한 트레이드오프를 가집니다.

옵션 A:"초강경"시의회 (SAGA-BFT)

비유: 한 명의 시장 대신 7 명으로 구성된 의회가 있습니다. 로봇을 들여보내는 것과 같은 결정을 내리기 위해서는 최소 5 명이 동의해야 합니다. 2 명이 배신자라 하더라도 나머지 3 명의 정직한 의원이 다수결로 이를 막아 나쁜 결정을 저지할 수 있습니다.
장점: 가장 안전한 옵션입니다. 부패한 시장은 의회가 막기 때문에 아무것도 할 수 없습니다.
단점: 매우 느립니다. 5 명의 동의를 얻는 데는 많은 시간과 전화 통화가 필요합니다. 논문은 이 시스템이 원래 시스템보다 약 100 배 느리다고 밝혔습니다. 커피 한 잔을 사기 위해 위원회 회의를 기다리는 것과 같습니다.

옵션 B:"스파이" (SAGA-AUD)

비유: 평범한 시민인 척하는 사립 탐정 (감사관) 을 고용합니다. 이들은 가짜 로봇을 등록하거나 허용되지 않은 로봇과 대화하려는 등 어리석은 시도를 해봅니다. 시청이 이를 방치하면 탐정이 경보를 울립니다.
장점: 시청이 의회와 대화할 필요가 없기 때문에 매우 빠릅니다. 그냥 정상적으로 작동합니다.
단점: 완벽하지는 않습니다. 탐정은 가끔만 점검합니다. 시청이 악의적이라면 점검 사이사이에서 범죄를 저지를 수 있습니다. 또한, 탐정은 시청의 내부 개인 파일이 아니라 정문에서 일어나는 일만 볼 수 있습니다.

옵션 C:"보안 카메라" (SAGA-MON)

비유: 신뢰할 수 있는 제 3 자 (예: 클라우드 운영자) 가 운영하는 보안 카메라 시스템을 설치합니다. 이 카메라는 모든 요청과 응답을 지켜봅니다. 확인합니다:"시청이 이 로봇에게'예'라고 말했는가? 데이터베이스가 실제로'예'를 기록했는가?"카메라가 불일치를 발견하면 경보를 울립니다.
장점: 거의 모든 것을 포착하며 매우 빠릅니다 (원래 시스템보다 약간 느릴 뿐).
단점: 신뢰할 수 있는 카메라 운영자가 필요합니다. 카메라 운영자도 부패한다면 이 방법은 작동하지 않습니다.

3. 양쪽 세계의 최적화: 하이브리드 도시 (SAGA-HYB)

저자들은 모든 로봇이 동일한 수준의 보호를 필요로 하지 않는다는 점을 깨달았습니다.

비유: 서로 다른 구역을 가진 도시를 상상해 보십시오.
- 은행 지구: 가장 가치 있는 데이터를 포함합니다. 이 지구는 **초강경 의회 (옵션 A)**를 사용합니다. 느리지만 자금은 안전합니다.
- 쇼핑 지구: 일상적인 로봇들을 포함합니다. 이 지구는 **보안 카메라 (옵션 C)**를 사용합니다. 빠르며 카메라가 대부분의 도둑을 잡습니다.
결과: 가장 중요한 부분에서는 의회의 안전성을, 나머지는 카메라의 속도를 얻습니다. 논문은 이 하이브리드 시스템이 원래 시스템보다 약 2 배 느리다는 것을 보여주지만, 여전히 가장 중요한 비밀들을 보호한다고 합니다.

연구 결과 요약

공격: 부패한 중앙 권한은 전체 AI 보안 시스템을 파괴할 수 있습니다.
해결책: 한 사람만 신뢰해서는 안 됩니다. 투표 의회 (느리지만 안전함), 스파이 (빠르지만 점검이 필요함), 또는 카메라 (빠르고 효과적) 중 하나가 필요합니다.
승자: 하이브리드 접근 방식이 실질적인 승자입니다. 일상적인 작업은 AI 에이전트를 빠르게 실행하면서도 가장 민감한 데이터는 가장 강력한 보안으로 잠그도록 합니다.

이 논문은"초강경"방법이 이론적으로는 완벽하지만 현실에서는 너무 느리다고 결론지었습니다."하이브리드"방법은 시스템을 마비시키지 않으면서 강력한 보안을 제공하는 절충점입니다.

기술 요약: 비잔틴 적대자 하의 에이전트 AI 분산 거버넌스에 대한 공격 및 완화 방안

문제 정의

에이전트 AI 시스템의 급속한 배포는 안전한 거버넌스 인프라의 개발 속도를 앞지르고 있습니다. AutoGen 및 MetaGPT와 같은 프레임워크는 자율 에이전트를 가능하게 하지만, 내장된 보안 기능이 부재하여 악의적 행위자에 취약합니다. SAGA(Secure Agentic Governance Architecture)와 같은 기존 솔루션은 정책 시행, 에이전트 인증 및 귀속성 보장을 위한 중앙 집중식 거버넌스 계층을 제공합니다. 그러나 SAGA는 **논리적으로 중앙 집중화된 신뢰할 수 있는 공급자 (Provider)**에 의존합니다.

본 논문은 공급자가 정직하다는 가정에 있는 치명적인 취약점을 식별합니다. 실제 배포 환경 (개인 또는 공공 클라우드) 에서 공급자는 내부자 위협, 사이드 채널 공격, 권한 상승 (예: CVE-2024-21626) 에 취약합니다. 공급자가 침해당하여 비잔틴 방식으로 (프로토콜에서 임의로 이탈하는 방식) 행동할 경우, 시스템의 전체 보안 보장이 붕괴됩니다. 저자들은 이 모델 하에서 가능한 특정 공격을 분석하여, 악의적인 공급자가 에이전트 귀속성을 훼손하고, 개인 데이터를 추출하며, 접근 제어를 우회하고, 승인된 통신을 방해할 수 있음을 입증합니다.

방법론

저자들은 위협 환경에 대한 포괄적인 분석을 제안한 뒤, 보안과 성능 간의 상이한 트레이드오프를 제공하는 세 가지 고유한 완화 전략을 제시합니다.

1. 공격 분석

저자들은 침해된 공급자가 프로토콜 관리자 (PM), 접근 제어 엔진 (ACE), 데이터베이스 (DB) 와 같은 특정 구성 요소를 제어할 수 있는 공격자 모델을 정의합니다. 이를 바탕으로 여섯 가지 구체적인 공격 클래스를 분류하고 시연합니다:

C1 (생태계 접근 차단): 유효한 사용자의 등록 또는 로그인을 거부합니다.
C2 (에이전트 귀속성 훼손): 검증된 인간 신원과의 바인딩 없이 에이전트를 등록하여, 악의적인 에이전트가 결과 없이 작동하도록 합니다.
C3 (개인 정보 추출): 등록 중 또는 데이터베이스에서 PII(개인 식별 정보) 및 자격 증명을 탈취합니다.
C4 (에이전트 수명 주기 관리 차단): 업데이트, 취소 또는 정책 변경을 조용히 차단합니다.
C5 (승인되지 않은 통신 허용): 금지된 상호작용을 허용하도록 접근 제어 검사를 위조합니다.
C6 (승인된 통신 방해): 합법적인 에이전트 간 통신을 차단합니다.

2. 제안된 솔루션

본 논문은 공급자를 보호하기 위한 세 가지 아키텍처 변형을 소개합니다:

SAGA-BFT (비잔틴 장애 허용):
- 메커니즘: 컨트롤러와 데이터베이스 모두에 대해 내결함성 Raft 합의를 비잔틴 장애 허용 프로토콜 (예: PBFT/Tendermint) 로 대체합니다. $f$ 개의 장애를 허용하려면 $3f+1$ 개의 복제본이 필요합니다.
- 트레이드오프: 모든 무결성/가용성 공격에 대해 증명 가능한 가장 강력한 보안 보장을 제공하지만, 합의를 위한 $O(n^2)$ 통신 라운드 요구로 인해 상당한 성능 오버헤드가 발생합니다.
SAGA-MON (공급자 측 모니터링):
- 메커니즘: 클라우드 운영자가 실행하는 수동 모니터링 서비스로, 네트워크 로그 (요청/응답) 와 데이터베이스 상태 로그를 상관관계 분석합니다. 모든 요청이 해당 데이터베이스 변경으로 이어지고 접근 제어 결정이 정책과 일치하는지 등의 불변성을 검증합니다.
- 트레이드오프: 낮은 오버헤드; 로그를 신뢰할 수 있는 지점 (예: TLS 종단 또는 사이드카) 에서 캡처할 수 있으며 검증자가 신뢰할 수 있다는 가정에 의존합니다.
SAGA-AUD (클라이언트 측 감사):
- 메커니즘: 사용자 (또는 그들의 에이전트) 가 공급자의 응답을 검증하기 위해 능동적으로 '캐나리' 행동 (예: 유효하지 않은 자격 증명으로 사용자 등록, 차단된 에이전트와 통신 시도) 을 삽입합니다.
- 트레이드오프: 낮은 오버헤드; 공급자가 감사자를 일반 사용자와 구별할 수 없다는 가정에 의존합니다. 탐지는 확률적이며 감사 빈도에 따라 결정됩니다.
SAGA-HYB (하이브리드 아키텍처):
- 메커니즘: 샤딩 아키텍처를 사용하여 위의 접근 방식을 결합합니다. 라우팅 계층이 트래픽을 다양한 샤드로 분배합니다. 고보안 에이전트는 BFT 샤드로 라우팅되고, 지연 시간에 민감하거나 위험도가 낮은 에이전트는 MON 또는 AUD 샤드를 사용합니다.
- 트레이드오프: 시스템 운영자가 비잔틴 복원력의 비용을 분산할 수 있게 하여, 필요한 곳에만 강력한 보안을 제공하면서도 높은 집계 처리량을 유지합니다.

주요 결과

저자들은 16 코어 CPU 와 다양한 워크로드 (OTK 새로고침, 에이전트 간 통신, 엔드투엔드 다중 에이전트 작업) 를 사용하여 이러한 아키텍처를 기준 SAGA 와 비교 평가했습니다.

보안: 평가 결과, 악의적인 공급자가 기준 SAGA 에 대해 식별된 16 가지 공격 변형 중 모든 것을 성공적으로 실행할 수 있음을 확인했습니다. SAGA-BFT 는 모든 무결성 및 가용성 공격을 성공적으로 완화했습니다. SAGA-MON 과 SAGA-AUD 는 모니터링/감사 주기에 내재된 지연을 통해 높은 확률로 공격을 탐지했습니다.
성능 오버헤드:
- SAGA-BFT: 높은 비용의 비잔틴 합의로 인해 일반적인 요청에 대해 기준 SAGA 처리량의 약 **1%**만 달성하여 극심한 성능 저하를 겪었습니다.
- SAGA-MON: 기준 처리량의 약 **95%**를 달성했습니다.
- SAGA-AUD: 기준 처리량의 약 **85%**를 달성했습니다.
- SAGA-HYB: 샤드를 혼합함으로써 시스템이 에이전트 하위 집합에 대해 BFT 수준의 보안을 제공하면서도 평균 지연 시간을 기준선에 가깝게 유지할 수 있음을 입증했습니다 (예: 전체 BFT 의 막대한 오버헤드에 비해 하이브리드 구성의 경우 SAGA 대비 2 배의 지연 시간).
엔드투엔드 지연 시간: 실제 다중 에이전트 작업 (스케줄링, 경비 보고서 작성 등) 에서 SAGA-MON 과 SAGA-AUD 의 오버헤드는 LLM 사고 시간에 비해 무시할 수 있었습니다. SAGA-BFT 는 상당한 지연 시간을 추가했지만, 보안이 중요한 작업의 경우 합리적인 범위 내에 있었습니다.

중요성 및 주장

본 논문은 에이전트 AI 거버넌스에서 침해된 공급자의 파멸적인 영향을 체계적으로 분석하고 입증한 최초의 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

위협 식별: 이론적 위험을 넘어 분산 공급자 환경에서 귀속성, 기밀성 및 무결성을 훼손하는 구체적인 공격을 실행합니다.
실용적 완화 방안: 단일 '일률적' 접근법 대신 BFT, 모니터링, 감사, 하이브리드 등 다양한 솔루션 스펙트럼을 제공하여, 고처리량 및 저지연 시스템의 실용적 제약을 인정합니다.
트레이드오프 분석: 전체 비잔틴 복원력이 일반 용도로는 과도하게 비용이 들지만, 경량 모니터링과 감사가 높은 탐지 확률과 함께 기준선에 가까운 성능을 제공한다는 실증 데이터를 제공합니다. 하이브리드 모델 (SAGA-HYB) 은 운영자가 보안 요구 사항과 성능 요구 사항 사이의 균형을 맞출 수 있도록 대규모로 안전한 거버넌스를 배포할 수 있는 실현 가능한 경로로 제시됩니다.

저자들은 구성 요소가 신뢰할 수 없더라도 복제, 모니터링, 감사를 결합하여 비잔틴 행동을 탐지하고 완화하도록 아키텍처가 설계된다면, 에이전트 AI 를 위한 안전한 거버넌스는 실현 가능하다고 결론지었습니다.