Runtime Risk Detection and Control for AI Agents and LLM Applications

컴퓨터 프로그램이 단순히 질문에 답하는 것을 넘어, 정보를 수집하고 결정을 내리며 스스로 행동하기 위해 디지털 세계로 직접 나가는 세상을 상상해 보십시오. 이러한 것들을 AI 에이전트라고 부릅니다. 이들은 마치 비행기를 예약하거나, 데이터를 분석하거나, 여러 작은 단계들을 사슬처럼 연결하여 스마트 기기를 제어할 수 있는 디지털 직원과 같습니다. 그러나 이러한 새로운 능력은 특정한 종류의 위험을 동반합니다. 이 에이전트들은 인터넷에서 정보를 읽고 그에 따라 행동할 수 있기 때문에, 무해해 보이는 웹사이트 안에 숨겨진 교묘한 속임수가 에이전트를 속여 데이터를 훔치거나 파일을 삭제하는 것과 같은 해로운 행동을 하게 만들 수 있습니다. 문제는 인간이 실수를 알아차렸을 때는 이미 에이전트가 피해를 입힌 후일 수 있다는 점입니다. 이를 막기 위해서는, 우리가 이 에이전트들이 작업하는 동안 관찰하고, 위험한 움직임을 하려는 순간을 포착하며, 행동하기 전에 인간이 확인할 수 있도록 일시 정지시키는 방법이 필요합니다.

이것이 바로 '에이전트가드 AI(AgentGuard AI)'라는 연구 프로젝트가 다루는 과제입니다. 인도의 한 대학교에서 연구 중인 연구진은 이러한 자율 프로그램의 파수꾼 역할을 하도록 설계된 프로토타입 시스템을 구축했습니다. 그들의 목표는 실제 세상에서 사용할 완벽한 보안 제품을 만드는 것이 아니라, 위험 행동 감지, 그 행동의 위험도 점수 산정, 그리고 다음 단계 결정이라는 세 가지 핵심 아이디어를 어떻게 연결할 수 있는지 보여줄 수 있는 작동 모델을 만드는 것이었습니다. 그들은 단순히 문제를 포착하는 것을 넘어, 모든 결정 과정을 명확하고 변경 불가능한 기록으로 남겨서, 인간이 나중에 정확히 무슨 일이 일졌고 왜 그랬는지 검토할 수 있는 시스템을 구축할 수 있는지 확인하고자 했습니다. 그 결과는 AI 에이전트의 혼란스러운 세계에 질서와 인간의 감독을 가져오려고 시도하는 소프트웨어 도구에 대한 상세한 고찰입니다.

에이전트가드 AI라는 이름의 이 시스템은 디지털 에이전트의 관제탑처럼 작동합니다. 이 시스템은 에이전트가 작업하는 과정에서 발생하는 이벤트의 흐름을 감시하는 것으로 시작합니다. 시스템은 비밀 파일을 접근하려 하거나 함정일 수 있는 혼란스러운 지시를 따르는 것과 같이, 위험을 암시하는 특정 패턴을 찾습니다. 의심스러운 정황을 포착하면, 시스템은 단순히 경고를 띄우는 데 그치지 않고 위험 점수를 계산합니다. 이 점수는 아무 근거 없이 뽑아낸 단일 숫자가 아닙니다. 대신, 에이전트가 사용하는 도구의 위험성, 시스템의 보안성, 그리고 사용자의 행동 양식을 포함한 6가지 서로 다른 요소의 조합입니다. 이 요소들은 함께 가중치가 부여되어 최종 점수를 만들어내며, 이 점수는 상황이 얼마나 심각한지를 시스템에 알려줍니다.

위험 점수가 계산되면, 시스템은 결정 단계로 넘어갑니다. 시스템은 네 가지 가능한 권장 상태를 가집니다: 에이전트가 계속 진행하도록 허용하거나, 밀착 감시하거나, 에이전트가 할 수 있는 일을 제한하거나, 혹은 해당 행동을 완전히 차단하는 것입니다. 결정적으로, 이 시스템은 투명하게 설계되었습니다. 시스템은 초기 경보부터 최종 권고에 이르기까지 모든 단계에 대한 상세한 로그를 기록합니다. 또한 다양한 역할을 가진 사람들이 존재할 수 있도록 합니다. 관리자는 규칙을 변경할 수 있고, 연구자는 테스트를 수행할 수 있으며, 검토자는 로그를 보고 행동을 승인하거나 거부할 수 있습니다. 시스템에는 로그에서 민감한 부분을 숨기는 것과 같은 개인정보 보호 기능도 포함되어 있으며, 기록의 이력을 조작하기 매우 어렵게 만드는 디지털 '체인' 형태의 기록을 생성합니다.

이 아이디어가 실제로 작동하는지 테스트하기 위해, 연구진은 특정 실험을 수행했습니다. 그들은 실제 에이전트나 실제 해커를 사용하지 않았습니다. 대신, 내장된 시뮬레이터를 사용하여 25개의 가짜 이벤트를 생성했습니다. 이 이벤트 중 일부는 안전했고, 일부는 공격처럼 보이도록 설계되었습니다. 시스템은 이 이벤트들을 처리하고 원시 데이터, 위험 점수, 경보, 그리고 최종 결정을 포함한 완전한 증거 패키지를 생성했습니다. 연구진은 시스템이 화면에 보여준 내용과 디지털 파일에 저장된 내용을 비교하며 이 패키지를 면밀히 조사했습니다.

조사 결과, 시스템은 실제로 모든 점들을 연결할 수 있음을 보여주었습니다. 시스템은 이벤트를 받아 위험 점수를 매기고, 권고안을 만들었으며, 나중에 검토할 수 있는 방식으로 증거를 저장하는 데 성공했습니다. 이는 기본적인 워크플로우가 가능하다는 것을 입증했습니다. 그러나 이 테스트는 이 시스템이 즉시 사용할 수 있는 보안 도구가 되기에는 중요한 결함이 있음을 드러냈습니다. 연구진은 시스템이 완벽하게 일관되지 않다는 것을 발견했습니다. 예를 들어, 화면에는 한 버전의 위험 점수 산정 규칙이 표시되었지만, 저장된 파일에는 다른 버전이 나타났습니다. 또 다른 사례에서는 시스템이 높은 위험의 행동을 차단하겠다고 했으나, 저장된 기록에는 단순히 인간의 검토를 요청한다고 되어 있었습니다. 이러한 불일치는 나중에 실험을 재현하려고 할 때 정확히 같은 결과를 얻지 못할 수도 있음을 의미하며, 이는 신뢰성을 주장하는 시스템에 있어 중대한 문제입니다.

나아가, 시스템에는 진정한 증명을 위해 필요한 필수적인 세부 사항들이 부족했습니다. 시스템은 테스트 이벤트를 생성하는 데 사용된 특정 랜덤 시드(random seed)를 기록하지 않았으며, 실행 중인 컴퓨터 코드의 정확한 버전도 기록하지 않았습니다. 이러한 세부 정보 없이는 다른 연구자가 결과를 검증하기 위해 실험을 똑같이 재현하는 것이 불가능합니다. 또한 연구는 이 시스템이 복잡하고 빠른 속도로 실제 트래픽을 처리할 수 있는 고성능 서비스가 아니라, 단일 컴퓨터에서 실행되는 단순한 시뮬레이션이었다는 점을 언급했습니다. 이것은 연구용 프로토타입이지 완성된 제품이 아니었습니다.

연구진은 자신들의 작업이 무엇을 달성했고 무엇을 달성하지 못했는지 매우 명확하게 밝혔습니다. 그들은 자신들의 시스템이 실제 해커를 막을 수 있다거나 다른 보안 도구보다 뛰어나다는 것을 증명하지 않았습니다. 또한 경보를 검토하는 실제 사람들을 대상으로 시스템이 그들의 업무량을 줄이거나 의사결정을 개선하는지 테스트하지도 않았습니다. 그들이 증명한 것은 탐지, 점수 산정, 그리고 인간의 검토를 하나의 검사 가능한 프로세스로 연결하는 프레임워크를 구축할 수 있다는 것이었습니다. 그들은 위험한 이벤트와 인간의 결정을 연결하는 디지털 흔적을 만드는 것이 가능하다는 것을 보여주었지만, 동시에 일관성 있고 재현 가능하며 현실 세계에 준비된 시스템을 만드는 데는 훨씬 더 많은 작업이 필요하다는 것도 보여주었습니다.

이 연구의 가치는 그 정직함에 있습니다. 연구진은 다듬어진 완벽한 해결책을 제시하는 대신, 작동하는 모델을 제시한 뒤 그것을 해체하여 어디가 강점이고 어디가 약점인지를 보여주었습니다. 그들은 거버넌스를 고려한 AI 감시자라는 아이디어는 타당하지만, 세부 사항이 매우 중요하다는 것을 입증했습니다. AI 에이전트를 보호한다고 주장하는 시스템은 자신의 기록을 일관되게 유지하고, 규칙이 일관되게 적용되도록 보장하며, 인간이 그 결정들을 신뢰할 수 있도록 충분한 정보를 제공할 수 있어야 합니다. 그러한 부분들이 해결되기 전까지, 이 시스템은 연구를 위한 강력한 도구이자 미래를 위한 청사진일 뿐, 아직 현재를 위한 방패는 아닙니다.