Fail-Closed Authorization for Tool-Using AI Agents: A Capability Contract and Case Study
이 논문은 정책 제약이 있는 도구 허용 목록과 무결성이 검증된 증거를 통해 실행 전 게이트를 강제하는 도구 사용 LLM 에이전트용 기본 차단(deny-by-default) 권한 부여 프레임워크인 에이전트 보안 계약(Agent Security Contract, ASC)을 소개하며, 정적 트레이스 평가를 통해 업데이트된 정책 버전이 이전 반복 모델들과 비교하여 오탐을 최소화하면서 적대적 공격을 효과적으로 차단함을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단순히 질문에 답하는 것을 넘어, 실제로 파일을 열고, 이메일을 보내고, 컴퓨터에서 명령어를 실행할 수 있는 디지털 비서를 상상해 보십시오. 이것이 현대적 AI 에이전트가 약속하는 미래이지만, 동시에 위험한 새로운 현실을 가져옵니다. 만약 공격자가 AI를 속여 해로운 명령을 유익한 제안인 것처럼 믿게 만든다면, AI는 망설임 없이 그 명령에 따를 수 있습니다. 핵심 문제는 AI가 혼란에 빠진 것이 아니라, 실행되기 전에 모든 동작을 점검할 신뢰할 수 있는 문지기가 없다는 것입니다. 컴퓨터 보안의 세계에서 가장 안전한 접근 방식은 명시적으로 허용되지 않는 한 아무것도 허용하지 않는다고 가정하는 것이며, 이는 '페일 클로즈드(fail-closed)'라고 알려진 원칙입니다. 문지기가 요청을 검증할 수 없다면, 해커가 데이터를 훔치거나 중요한 시스템을 삭제하는 실수를 저지를 위험을 감수하기보다 단순히 '아니오'라고 말해야 합니다.
안드레이 레스니코프(Andrey Lesnikov)라는 연구자는 이 문지기 역할을 할 '에이전트 보안 계약(Agent Security Contract)'이라는 시스템을 구축했습니다. AI가 도구를 사용하기 전에, 이 시스템은 어떤 도구가 허용되는지, 어떤 인자(argument)를 받을 수 있는지, 그리고 어떤 동작에 인간의 승인이 먼저 필요한지를 나열한 디지털 계약을 확인합니다. 이 시스템은 AI가 제안한 동작을 고정되어 변경할 수 없는 승인된 도구 목록과 비교하는 방식으로 작동합니다. 만약 도구가 목록에 없거나 인자가 수상해 보이면, 해당 동작은 즉시 차단됩니다. 만약 파일 삭제나 송금처럼 위험한 동작이 포함된 경우, 시스템은 일시 중단하고 외부 채널을 통한 인간의 승인을 요구하여, 고위험 결정이 기계 단독으로 내려지지 않도록 보장합니다.
이 접근 방식이 실제로 효과가 있는지 테스트하기 위해, 레스니코프는 너무 위험한 실제 환경에서 라이브 AI를 실행하는 대신, 무해한 작업과 보안 규칙을 우회하도록 설계된 정교한 공격을 모두 포함한 기록된 시나리오 모음을 만들었습니다. 그는 이 기록된 시나리오들을 그의 시스템에 버전별로 통과시키며 문지기가 어떻게 반응하는지 관찰했습니다. 초기 버전에서 시스템은 대부분의 명백한 공격은 차단했지만, 파일 경로 안에 악성 명령을 숨기거나 특수 문자를 사용하여 보안 규칙을 탈출하는 것과 같은 교묘한 속임수는 놓쳤습니다. 이러한 격차를 발견한 후, 연구자는 규칙을 더욱 강화했습니다. 업데이트된 시스템은 민감한 비밀번호 파일을 읽으려고 하거나 셸 명령을 사용하여 허용된 작업 공간 밖으로 나가는 것과 같은 특정 우회 시도를 인식하고 차단하는 법을 배웠습니다.
결과는 이 시스템이 승인되지 않은 동작을 막는 데 매우 효과적임을 보여주었지만, 여기에는 트레이드오프(trade-off)가 따릅니다. 100개 이상의 기록된 작업이 포함된 테스트에서, 엄격한 새 규칙은 거의 모든 공격 시도를 차단했습니다. 그러나 시스템은 엄격한 규칙이 예상하지 못한 인자를 사용했다는 이유로 상당수의 무해한 작업도 차단했습니다. 예를 들어, 어떤 작업이 파일을 첨부하지 않고 이메일을 보내려 했을 때, 시스템이 파일 첨부를 요구하도록 설정되어 있었다면 그 작업은 안전함에도 불구하고 차단되었습니다. 연구자는 단순히 허용된 도구의 이름만을 나열하는 것으로는 공격을 막기에 충분하지 않으며, 시스템이 모든 인자의 세부 사항을 확인해야 한다는 것을 발견했습니다. 하지만 어떤 인자가 선택 사항인지 이해하도록 규칙을 조정하자, 시스템은 무해한 동작을 차단하지 않으면서도 안전하지 않은 동작을 구별할 수 있었습니다.
가장 중요한 발견 중 หนึ่ง은 시스템의 공격 차단 능력은 전적으로 규칙이 얼마나 세심하게 작성되었는지에 달려 있다는 점이었습니다. 연구자가 다른 프로젝트의 실제 공격 목표 세트를 대상으로 시스템을 테스트했을 때, 시스템은 데이터가 변경되거나 메시지가 전송되는 모든 동작에 대해 인간의 승인을 요구했기 때문에 거의 모든 공격을 성공적으로 막아낼 수 있었습니다. 시스템은 합법적인 이메일과 피싱 시도를 마법처럼 이해한 것이 아니라, 그러한 동작에는 반드시 인간의 "예"라는 답변이 필요하다는 규칙을 집행한 것뿐이었습니다. 이는 중요한 한계를 시사합니다. 즉, 시스템은 그것이 집행하는 계약만큼만 강력하다는 것입니다. 만약 계약이 너무 느슨하면 AI는 여전히 해를 끼칠 수 있고, 만약 너무 엄격하면 AI가 자신의 일을 하는 것을 방해하게 됩니다.
연구는 또한 이 보안 검사가 프로세스에 얼마나 많은 시간을 추가하는지도 측정했습니다. 시스템은 동작 허용 여부를 결정하는 데 0.01초도 걸리지 않을 만큼 매우 빠릅니다. 이 속도는 보안 검사가 AI의 작업을 늦추지 않으므로 실제 사용이 가능하다는 것을 의미합니다. 그러나 연구자는 이 시스템이 완전한 해결책은 아니라고 언급했습니다. 이 시스템은 AI가 안전한 주소로 메시지를 보내면서 그 안에 바이러스를 담는 것과 같이, 허용된 도구를 해로운 방식으로 사용하는 것을 막지는 못합니다. 또한 AI가 실행 중인 컴퓨터를 이미 해커가 장악한 경우에도 보호할 수 없습니다. 이 시스템은 특정 작업에 대한 특정 도구로서, 모든 도구 호출이 사전 승인된 계획과 일치하는지를 보장하는 역할을 합니다.
궁극적으로, 이 논문은 단순하고 경직된 규칙 세트가 AI의 승인되지 않은 명령어 실행을 효과적으로 방지할 수 있음을 보여줍니다. 이 시스템은 불확실할 때 행동하기를 거부함으로써 작동하며, 이는 편의성보다 안전을 우선시하는 전략입니다. 현재 버전은 세심한 설정이 필요하고 때때로 지나치게 조심스러울 수 있지만, 연구는 더 나은 규칙과 인간의 감독이 있다면 AI와 그것이 제어하는 시스템 사이에 신뢰할 수 있는 장벽을 구축하는 것이 가능하다는 것을 보여줍니다. 이 연구는 안전한 AI 에이전트의 미래가 더 똑똑한 AI가 아니라, 더 엄격하고, 단순하며, 투명한 문지기에 달려 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.