인공지능의 세계는 조용하지만 결정적인 갈림길에 서 있습니다. 수년 동안 이 시스템들은 텍스트를 생성하거나, 코드를 작성하거나, 뉴스를 요약하는 능력을 통해 생각하고 말하는 강력한 조수로서 찬사를 받아왔습니다. 하지만 이제 이 시스템들이 단순히 말하는 것을 넘어 '행동'하는 새로운 단계가 시작되고 있습니다. 이들은 물품을 구매하거나, 디지털 계정을 관리하거나, 서로 다른 소프트웨어 플랫폼 간의 워크플로우를 조정하는 것과 같은 복잡한 과업을 수행하도록 요청받고 있습니다. 이러한 생성(generating)에서 실행(performing)으로의 전환은 근본적인 문제를 야기합니다. 즉, 기계가 현실 세계에서 움직이기 시작할 때 우리는 어떻게 그들을 신뢰할 것인가 하는 문제입니다. 인간 직원이 실수를 하면 우리는 그 업무를 검토하고 수정할 수 있습니다. 하지만 자율 에이전트가 워크플로우를 실행하는 동안 잘못된 결정을 내린다면, 그것은 즉시 돈을 송금하거나, 파일을 삭제하거나, 시스템을 존재하지 않는 상태로 잠가버릴 수도 있습니다. 과제는 단순히 AI를 더 똑똑하게 만드는 것이 아니라, AI의 행동을 실시간으로 감시하면서도 속도를 늦추거나 막대한 비용을 들지 않도록 규칙 준수를 보장하는 안전 시스템을 구축하는 것입니다.

이러한 맥락에서, 변대중 연구원은 EGA V9이라 불리는 '실행 거버넌스 AI(Execution Governance AI)'라는 새로운 프레임워크를 제안했습니다. 이 시스템은 이러한 자율 에이전트를 위한 엄격하고 자동화된 감독관 역할을 하도록 설계되었습니다. EGA V9은 확률에 기반하여 AI의 결정이 좋은지 나쁜지를 추측하는 대신 다른 접근 방식을 취합니다. 즉, 과업의 실행을 즉시 재생할 수 있는 녹화된 영화처럼 취급합니다. 핵심 아이디어는 AI가 무엇을 하기로 되어 있었는지 정확히 알고 있고, 실제로 무엇을 했는지에 대한 완벽한 기록을 가지고 있다면, 그 차이를 즉시 포착할 수 있다는 것입니다. 이 시스템은 AI가 과업을 시작하는 순간부터 마치는 순간까지 모든 단계를 캡처함으로써 작동합니다. 그런 다음 그 단계들을 순식간에 '재생'하여 결과가 계획과 일치하는지 확인합니다. 만약 AI가 허용되지 않은 도구를 사용하거나 거래의 숫자를 변경하는 등 경로를 이탈하려고 시도하면, 시스템은 불일치를 감지하고 피해가 발생하기 전에 동작을 중단시킵니다.

연구진은 이 프레임워크가 현실 세계의 혼란스러운 시나리오를 처리할 수 있는지 확인하기 위해 이를 엄격하게 테스트했습니다. 그들은 물건을 구매하는 간단한 작업부터, 공격자가 승인되지 않은 구매를 하거나 안전 규칙을 우회하도록 시스템을 속이려는 복잡하고 악의적인 시도에 이르기까지 수천 개의 테스트 상황을 만들었습니다. 이 테스트에서 시스템은 최대 10,000개의 서로 다른 워크플로우를 처리하도록 요청받았습니다. 결과는 평가된 시나리오 내에서 놀라울 정도로 일관적이었습니다. 프레임워크는 이 특정 테스트들 내에서 AI가 규칙을 위반하려 했던 모든 사례를 찾아냈으며, 단 하나의 오류도 놓치지 않고 100% 잡아내는 동시에 안전한 동작을 위험한 것으로 잘못 분류하는 일도 없었습니다. 시스템은 가장 까다로운 사례들, 즉 합법적인 업무와 똑같이 보이도록 설계된 경우를 포함하여 전체 테스트 범위에서 오보(false alarm)나 놓친 위협 없이 완벽한 정확도로 작동했습니다. 그러나 연구진은 이러한 결과가 평가된 시나리오 내에서의 '실행 편차 탐지(execution-divergence detection)'를 특징짓는 것이며, 모든 런타임 보안 속성을 보장하는 것으로 해석되어서는 안 된다고 명시했습니다.

이 접근 방식이 특히 주목할 만한 점은 얼마나 효율적으로 작동하느냐 하는 것입니다. 보통 컴퓨터 시스템에 안전 계층을 추가하면 속도가 느려지거나 값비싼 추가 컴퓨팅 자원을 필요로 합니다. 하지만 EGA V9은 별도의 강력한 컴퓨터에 도움을 요청할 필요 없이 AI와 동일한 기기에서 로컬로 실행되도록 설계되었습니다. 테스트 결과, 시스템은 프로세스에 거의 지연을 주지 않았습니다. 단일 단계를 검증하는 데 걸린 시간은 0.003 밀리초 정도로, 매우 빠른 체크의 경우 천 분의 1초 단위로 측정되었습니다. 더욱이, 이 시스템은 AI를 구동하는 대규모 언어 모델에 추가 호출을 요구하지 않았으며, 외부 서비스에 추가 요청을 보낼 필요도 없었습니다. 이는 안전 점검이 시간과 비용 측면에서 즉각적이고 무료로 이루어짐을 의미하며, AI가 지속적인 감시 하에 있으면서도 전속력으로 작업할 수 있게 해줍니다.

이 프레임워크는 함께 작동하여 보안 환경을 조성하는 다섯 가지 별도의 계층으로 구축되었습니다. 첫 번째 계층인 트리니티 코어(Trinity Core)는 메모리 역할을 하며, 나중에 재생할 수 있도록 모든 상태 변화와 행동을 기록합니다. 두 번째 계층인 프로비넌스 레이어(Provenance Layer)는 인과관계의 지도를 구축하여 어떤 결정이 어떤 행동으로 이어졌는지 정확히 추적합니다. 만약 지도에서 끊어진 연결이나 누락된 단계가 발견되면 시스템은 문제가 있음을 인지합니다. 세 번째 계층인 컨테인먼트 레이어(Containment Layer)는 문제가 발견되었을 때 개입하는 가드 역할을 합니다. 시스템이 AI가 규칙을 벗어나 행동하고 있다고 감지하면, 이 계층은 즉시 동작을 차단하고 워크플로우를 격리하여 피해가 확산되는 것을 방지합니다. 네 번째 계층은 운영자가 무슨 일이 일어나고 있는지 볼 수 있는 창을 제공하며, 다섯 번째 계층은 연구자들이 안전하고 통제된 환경에서 새로운 유형의 공격에 대해 시스템을 테스트할 수 있게 해줍니다. 이 계층들은 함께 '페일-클로즈드(fail-closed)' 시스템을 만듭로, 즉 시스템이 불확실하거나 위협을 감지하면 진행을 허용하기보다 동작을 중단하는 쪽을 기본값으로 설정합니다.

이러한 인상적인 결과에도 불구하고, 연구진은 시스템이 할 수 있는 일의 한계를 정의하는 데 주의를 기울였습니다. 본 연구는 프레임워크가 테스트된 특정 유형의 과업과 공격에 대해 매우 효과적으로 작동함을 확인했지만, 이것이 가능한 모든 위험에 대한 보편적인 해결책이라고 주장하지는 않습니다. 예를 들어, 시스템은 활성 불일치가 존재하는 동안 실행을 효과적으로 억제하지만, 아직 즉각적인 위협이 사라진 후 AI가 동일한 나쁜 행동을 다시 시도하는 것을 영구적으로 방지하는 능력은 갖추지 못했습니다. 또한, 금융 거래에서 중요한 기능인 복잡한 일련의 행동이 중복 없이 정확히 한 번만 발생하도록 보장하는 기능도 아직 갖추지 못했습니다. 아울러, 시스템은 AI가 내부적으로 무엇을 하는지는 추적할 수 있지만, 데이터 자체가 시스템에 도달하기 전에 누락되거나 조작된 경우 모든 증거의 무결성을 완전히 검증할 수는 없습니다. 이는 현재 테스트의 실패가 아니라, 현재 기술이 존재하는 명확한 경계입니다.

이 연구의 의의는 AI 자체를 변경하지 않고도 빠르고 저렴하며 신뢰할 수 있는 자율 AI를 위한 안전망을 구축할 수 있음을 보여준 데 있습니다. 실행을 결정론적 과정(즉, 절대적인 확실성을 가지고 재생 및 검증할 수 있는 과정)으로 취급함으로써, 연구진은 이러한 시스템을 안전하게 유지하기 위해 추측에 의존할 필요가 없음을 입증했습니다. 시스템은 모든 움직임을 감시하고, 평가된 범위 내의 모든 실수를 포착하며, 활성화된 거버된 요청 중에 감지된 모든 위협을 차단하면서도 컴퓨터 성능에 거의 부담을 주지 않고 작동할 수 있음을 증명했습니다. 이는 강력한 AI 에이전트를 실제 과업 수행에 사용하고자 하는 조직들에게, 해당 과업이 안전하고 정확하게 완료되도록 보장하는 메커니즘이 마련되어 있다는 확신을 주는 실질적인 경로를 제시합니다. 이 연구는 과학계가 이 결과를 검증하고 자율 안전의 경계를 넓힐 수 있도록 다른 이들의 테스트와 도전, 개선을 기다리고 있습니다.