현대 디지털 세상에서 대규모 조직들은 자신들을 대신해 행동하는 소프트웨어 프로그램에 의존합니다. 수십 년 동안 이러한 프로그램들은 예측 가능했습니다. 인간 엔지니어가 코드를 작성하고, 프로그램을 설치하며, 특정 명령 세트를 부여했습니다. 만약 프로그램이 이메일을 보내거나 돈을 옮겨야 한다면, 그것은 지시받은 그대로만 수행했을 뿐 그 이상도 그 이하도 아니었습니다. 이러한 프로그램들을 안전하게 유지하기 위해 기업들은 마치 보안 요원이 문에서 배지를 확인하는 것처럼, 프로그램의 신원을 확인하고 활동을 기록하는 시스템을 구축했습니다. 하지만 규칙을 바꾸는 새로운 종류의 소프트웨어가 등장했습니다. 이것들은 자율 에이전트(autonomous agents)로, 단순히 고정된 스크립트를 따르는 것이 아니라 인공지능을 사용하여 다음에 무엇을 할지 스스로 결정하는 프로그램입니다. 이들은 몇 초 만에 나타났다 사라질 수 있고, 인간이 미리 작성하지 않은 방대한 선택지 중에서 행동을 선택할 수 있으며, 인터넷 연결이 있는 사람이라면 누구나 이를 생성할 수 있습니다. 이러한 에이전트들은 기존의 예측 가능한 프로그램들과 매우 다르기 때문에, 과거를 위해 설계된 보안 시스템으로는 이들을 보호할 수 없습니다.

Aurite AI의 연구팀은 이러한 예측 불가능한 에이전트들이 실행되는 동안 이를 관리하는 새로운 방법을 구축하는 데 시간을 할애해 왔습니다. 그들은 에이전트가 시작되기 전에 코드를 고정하여 제어하려는 시도는 불가능하다고 주장하는데, 왜냐하면 에이전트는 마지막 순간에 자신의 행동을 스스로 결정하기 때문입니다. 대신, 그들은 에이전트가 시도하는 모든 개별 행동을 감시하고, 허용되지 않은 경우 이를 차단하는 시스템을 제안합니다. 이를 실현하기 위해, 그들은 모든 행동에 대해 답해야 하는 다섯 가지 필수 질문을 식별했습니다. 첫째, 시스템은 에이전트의 존재를 알아야 합니다. 둘째, 에이전트가 누구인지 증명해야 합니다. 셋째, 에이전트가 요청하는 일을 수행할 권한이 있는지 결정해야 합니다. 넷째, 나중에 누구나 확인할 수 있는 영구적이고 변경 불가능한 기록을 생성해야 합니다. 다섯째, 에이전트가 변조되지 않았는지 확인하기 위해 무엇으로 구성되어 있는지 검증해야 합니다. 연구진은 첫 네 가지 질문에 실시간으로 답하는 시스템을 구축했으며, 현재 다섯 번째 질문을 별도의 도구로 개발 중입니다. 그들은 이러한 접근 방식이 필요하지만 비용이 따른다는 점을 발견했습니다. 즉, 시스템 속도를 약간 늦추고 모든 에이전트 옆에서 실행될 작은 보조 프로그램이 필요하다는 것입니다.

연구진이 직면한 핵심 문제는 전통적인 보안이 프로그램가 시작되기 전에 정확히 무엇을 할지 아는 것에 의존한다는 점입니다. 만약 인간 직원이 채용된다면, 그에게는 배지와 규칙 목록이 주어집니다. 만약 서비스가 설치된다면, 특정 직무 기술서가 주어집니다. 하지만 자율 에이전트는 다릅니다. 그것은 비자 없이 도착하여 자신이 시민이라고 주장하며, 어떤 나라를 방문하고 그곳에서 무엇을 할지를 현장에서 즉석으로 결정하는 여행자와 같습니다. 연구진은 사람과 고정된 서비스를 위해 만들어진 기존 보안 도구들이 이를 처리할 수 없다는 것을 발견했습니다. 표준 보안 점검은 에이전트가 주장하는 바가 맞는지 확인할 수는 있지만, 아무도 예상하지 못한 위험한 행동을 선택하는 것을 막을 수는 없습니다. 마찬가지로, 승인된 행동 목록만을 확인하는 보안 요원은 에이전트가 즉석에서 새로운 해로운 행동을 만들어내는 것을 막을 수 없습니다. 연구진은 이러한 에이전트를 통제하는 유일한 방법은 그들이 행동하려고 하는 바로 그 순간에 개입하여, 진행하기 전에 그들의 요청을 규칙 세트와 대조하여 확인하는 것이라고 결론지었습니다.

이를 해결하기 위해 팀은 함께 작동하는 다섯 가지의 뚜렷한 부분, 즉 프리미티브(primitives)를 중심으로 설계된 시스템을 만들었습니다. 첫 번째 부분은 발견(discovery)입니다. 에이전트는 어디서나 언제든 나타날 수 있기 때문에, 시스템은 그들을 찾아낼 수 있어야 합니다. 연구진은 알려진 에이전트 목록을 단순히 나열하는 것만으로는 충분하지 않다는 것을 깨달았는데, 가장 위험한 에이전트는 아직 등록되지 않은 에이전트이기 때문입니다. 그들의 시스템은 에이전트가 시스템이 인식하지 못하는 무언가를 하려고 시도할 때 이를 감지하도록 설계되었습니다. 단순히 차단하는 대신, 시스템은 해당 시도를 기록하고 인간 운영자에게 알림을 보내며, 운영자는 이 새로운 행동을 향후 허용할지 여부를 결정할 수 있습니다. 이는 잠재적인 실패를 규칙을 배우고 업데이트하는 방법으로 전환합니다.

두 번째 부분은 신원(identity)입니다. 과거에는 프로그램이 특정 서비스라고 주장할 수 있었지만, 연구진은 에이전트가 자신이 누구인지 거짓말을 할 수 있다는 것을 발견했습니다. 그들의 시스템은 에이전트가 실행되는 위치와 구성 요소를 기반으로 자동 생성된 디지털 자격 증명을 사용하여 신원을 증명하도록 요구합니다. 이 증명은 에이전트가 연결을 시도하는 바로 그 순간에 확인되므로, 시스템이 임포스터(imposter)가 아닌 실제 에이전트와 통신하고 있음을 보장합니다. 이 증명은 수명이 짧고 끊임없이 변하기 때문에, 해커가 자격 증명을 훔치더라도 빠르게 만료됩니다.

세 번째 부분은 거버넌스(governance)로, 실제 의사결정 과정입니다. 에이전트가 이메일을 보내거나 자금을 이체하기 전에 반드시 허가를 요청해야 합니다. 시스템은 해당 조직에 특화된 규칙 세트에 따라 요청을 검사합니다. 행동이 허용되면 에이전트는 진행합니다. 허용되지 않으면 요청은 즉시 차단됩니다. 이것은 행동이 일어나기 전에 발생하며, 이것이 에이전트를 진정으로 통제할 수 있는 유일한 방법입니다. 연구진은 또한 디지털 자격 증명이 만료될 때까지 기다리지 않고도 에이전트가 나쁘게 행동하기 시작하면 즉시 중단할 수 있는 "킬 스위치(kill switch)"를 포함했습니다.

네 번째 부분은 입증(attestation)으로, 신뢰할 수 있는 기록을 만드는 것에 관한 것입니다. 과거에 기업들은 프로그램이 무엇을 했는지 로그를 남겼지만, 그 로그들은 감시 대상인 동일한 프로그램들에 의해 작성되었습니다. 만약 프로그램이 탈선한다면, 그 프로그램은 흔적을 숨기기 위해 로그를 수정할 수도 있었습니다. 연구진은 모든 결정을 특별하고 변경 불가능한 기록 체인에 기록하는 시스템을 구축했습니다. 이 체인은 조직만이 보유한 비밀 키로 서명되며, 외부인이라 할지라도 기록이 실제이며 조작되지 않았음을 검증할 수 있도록 설계되었습니다. 이는 법정이나 조사 과정에서 무슨 일이 일어났는지 증명하는 방법을 제공합니다.

다섯 번째 부분은 공급망 검증(supply chain verification)으로, 에이전트가 실제로 무엇으로 만들어졌는지 묻는 것입니다. 에이전트가 식별되고 그 행동이 승인되었다 하더라도, 컴프로마이즈된(compromised) 버전의 소프트웨어 위에서 실행될 수 있습니다. 연구진은 에이전트의 재료, 즉 코드, 데이터, 종속성을 확인하는 도구를 구축했지만, 이 도구들은 현재 실시간 보안 점검과는 별개로 작동합니다. 연구진은 완벽하게 식별된 에이전트라 할지라도 부서진 부품들로 만들어졌다면 여전히 위험하기 때문에 이 검증이 필수적이라고 주장하지만, 이 특정 점검은 아직 발생하는 순간에 행동을 차단하지는 않습니다. 이는 즉각적인 승인 프로세스의 통합된 일부라기보다는 별도의 개발 단계로 남아 있습니다.

연구진은 몇몇 조직과의 비공개 시험을 통해 시스템을 테스트했습니다. 그들은 다섯 가지 부분 중 네 가지는 완전히 구축되어 작동하고 있으며, 다섯 번째는 여전히 별도의 도구로 개발 중임을 확인했습니다. 그들은 이 새로운 접근 방식의 비용에 대해 솔직했습니다. 시스템이 발생하기 전에 모든 요청을 확인하기 때문에 프로세스에 약간의 지연이 발생합니다. 또한 에이전트의 신원을 관리하기 위해 에이전트 옆에서 실행될 '사이드카(sidecar)'라고 불리는 작은 보조 프로그램이 필요합니다. 가장 중요한 것은, 보안 시스템 자체가 다운되면 안전을 위해 에이전트들도 작동을 멈춰야 한다는 점입니다. 즉, 보안 시스템의 장애는 비즈니스의 중단으로 이어지는데, 연구진은 이를 방지하기 위해 필요한 트레이드오프(trade-off)라고 믿습니다.

가장 놀라운 발견 중 하나는 시스템 또한 스스로를 관리해야 한다는 것이었습니다. 연구진은 에이전트를 관리하기 위해 만든 도구들 역시 그 자체로 자동화된 프로그램이라는 점을 깨달았습니다. 그들은 자신들의 관리 도구들을 고객 에이전트와 동일한 보안 점검을 거치도록 하기로 결정했습니다. 이는 시스템이 자신의 신원을 확인하고, 자신의 행동이 허용되는지 결정하며, 자신의 결정을 동일한 변경 불가능한 체인에 기록함을 의미합니다. 이를 통해 보안 시스템을 만든 사람들이 자신들이 만든 규칙을 우회할 수 없도록 보장합니다.

연구진은 자신들의 작업이 인공지능 모델이 어떻게 생각하거나 행동하는지를 바꾸는 것이 아니라고 강조합니다. 그들은 모델이 의도한 대로 작동한다고 가정하며, 대신 모델이 무엇을 할 수 있는지에 대한 규칙에 집중합니다. 그들은 모델을 개선하는 것만으로는 문제를 해결하기에 충분하지 않다고 주장하는데, 잘 행동하는 모델이라 할지라도 무엇에 접근하고 무엇을 변경할 수 있는지에 대한 제한이 필요하기 때문입니다. 그들의 솔루션은 조직이 오늘날 이러한 예측 불가능한 에이전트들을 관리하기 위해 사용할 수 있는 실용적인 프레임워크입니다. 문제를 다섯 가지 명확한 질문으로 나눔으로써, 그들은 이 강력한 도구들을 안전하고 통제된 환경으로 가져오려는 모든 이들에게 로드맵을 제공합니다. 작업은 아직 끝나지 않았으며, 시스템의 다섯 번째 부분은 여전히 통합 단계에 있지만, 핵심 아이디어인 "에이전트들을 실시간으로 감시하고 확인해야 한다"는 점은 광범위한 배포 인구에 걸친 측정된 결과보다는 구현을 통한 설계 근거 검증을 통해 그 타당성이 입증된 필수적인 아키텍처 접근 방식으로 제안되었습니다.