DualTrust: Asymmetric Bayesian Reputation and Cryptographic Gating for Autonomous AI Agents

컴퓨팅의 세계가 조용히 변화하고 있습니다. 수십 년 동안 우리는 화면을 통해 기계와 상호작용하며, 유리창을 두드리고 마우스를 클릭하여 명시적인 명령을 내렸습니다. 이제 스마트 글래스, 시계, 센서가 배경에서 작동하며 우리의 음성 요청을 듣고 버튼을 누르지 않고도 실행에 옮기는 '앰비언트 인텔리전스(ambient intelligence)'의 새로운 시대가 열리고 있습니다. 이러한 미래에는 개인용 소프트웨어 에이전트가 "나의 일상적인 출근길을 확보해 줘"라는 말을 들으면, 자동으로 차량을 예약하고, 교통 상황을 확인하며, 요금을 결제할 수 있습니다. 이러한 에이전트는 강력하지만 위험하기도 합니다. 실수할 수 있거나 악의적인 행위자에게 속을 수 있는 대규모 언어 모델(LLM)에 의해 구동되기 때문에, 이들에게 당신의 은행 계좌나 홈 보안 시스템의 열쇠를 맡기는 것은 공포스러운 일입니다. 만약 에이전트가 폭주한다면, 당신의 자산을 탕진하거나 문을 열어버릴 수도 있습니다. 과학자들의 핵심 과제는 이 에이전트들이 자유롭게 작동하게 하면서도, 경험을 저해하거나 막대한 컴퓨팅 비용을 들이지 않고서도 해로운 행동을 하려 할 때 즉각적으로 차단하는 방법을 찾는 것입니다.

연구자들은 에이전트가 취하려는 모든 행동을 검사하는 두 번째의 느린 AI를 판사로 사용하는 방식으로 이를 해결하려 노력해 왔습니다. 하지만 이 접근 방식은 현실 세계에서 너무 느립니다. 자동차가 교통 상황을 주행하거나 의료 기기가 환자에게 반응해야 하는 상황에서 수백 밀리초(ms)가 걸리는 것은 영겁의 시간과 같습니다. 게다가 매번 두 번째 AI에게 허가를 구하는 것은 비용이 많이 들고 웨어러블 기기의 배터리를 소모시킵니다. 또 다른 방식은 입구에서 신분증을 한 번 확인하는 보안 요원처럼 정적인 규칙을 사용하는 것이지만, 이는 에이전트가 시간이 지남에 따라 행동을 서서히 바꾸거나 작은 불법 행위를 하나씩 몰래 수행하려 할 때 실패합니다. 이 간극을 메우기 위해 카이란 누르 파들리라(Khairan Noor Fadhlillah)라는 연구자는 '듀얼트러스트(DualTrust)'라고 불리는 새로운 시스템을 개발했습니다. 이 시스템은 에이전트와 그 에이전트가 사용하고자 하는 도구 사이에 위치하여, 밀리초가 아닌 마이크로초 단위로 결정을 내리는 고속 게이트키퍼 역할을 하도록 설계되었습니다.

듀얼트러스트의 핵심 아이디어는 인간 소유자와 소프트웨어 에이전트를 분리하는 것입니다. 이 시스템에서 인간은 일정 금액의 크레딧이 있는 금융 계좌를 가지며, 에이전트는 자신의 행동에 기반한 평판 점수를 가집니다. 만약 에이전트가 실수를 하거나 위험한 행동을 시도하더라도, 시스템은 인간을 처벌하지 않고 대신 에이전트의 평판을 깎습니다. 이를 통해 특정 소프트웨어 비서가 해킹당하거나 혼란에 빠지더라도 인간은 자신의 기기를 계속 사용할 수 있습니다. 시스템은 수학적 방법을 사용하여 선한 행동과 나쁜 행동을 가중치로 계산하여 에이전트의 이력을 추적합니다. 결정적으로, 이 시스템은 단 한 번의 오류보다 반복되는 실수를 훨씬 더 엄격하게 처벌합니다. 만약 에이전트가 '살라미 슬라이싱(salami slicing)'이라 알려진 전술처럼 일련의 작은 불법 행위를 몰래 시도한다면, 각 실수에 대한 벌칙은 점점 더 빠르게 증가하여 에이전트를 순식간에 완전히 격리된 상태로 몰아넣습니다.

악의적인 행위자들이 이 규칙을 우회하기 위해 단순히 새로운 깨끗한 에이전트를 만드는 것을 방지하기 위해, 듀얼트러스트는 모든 새로운 에이전트를 원래 인간의 검증된 신원 및 크레딧과 연결합니다. 새로운 에이전트는 낮은 수준의 신뢰도를 가지고 시작하며, 금융 이체나 물리적 제어와 같은 위험한 도구에 접근하기 전에 많은 안전한 작업을 수행함으로써 스스로를 증명해야 합니다. 이는 공격자가 평판을 초기화하는 것을 어렵고 비용이 많이 들게 만드는 장벽을 만듭니다. 또한 시스템은 가짜 에이전트 집단이 선량한 에이전트를 모함하는 것을 방지합니다. 만약 낮은 신뢰도를 가진 에이전트가 높은 신뢰도를 가진 에이전트를 범죄로 고발하려고 하면, 시스템은 그 고발을 무시하여 검증된 에이전트가 거짓말쟁이 떼에 의해 깎아내려지는 것을 방지합니다.

연구진은 이 시스템이 실제 사용 환경의 속도와 혼란을 처리할 수 있는지 확인하기 위해 광범위한 테스트를 수행했습니다. 그들은 에이전트가 작은 오류를 몰래 숨기려 하거나 가짜 고발로 시스템을 압도하려는 공격 사이클을 포함하여 수천 번의 시뮬레이션을 실행했습니다. 결과에 따르면 듀얼트러스트는 약 47마이크로초(μs) 만에 승인 결정을 내릴 수 있었는데, 이는 신경망에 의존하는 현재의 AI 기반 안전 시스템보다 6,000배 이상 빠른 속도입니다. 심지 even 기록을 남기기 위해 결정을 영구 저장 장치에 기록하는 중에도 지연 시간은 여전히 1밀리초 미만이었습니다. 이 속도는 매우 중요한데, 이는 안전 점검이 너무 빠르게 일어나 사용자가 멈춤을 전혀 느끼지 못하면서도, 시스템이 느린 규칙 기반 필터를 통과할 수 있는 복잡한 공격을 잡아낼 만큼 견고하다는 것을 의미하기 때문입니다.

가장 중요한 발견 중 하나는 이 시스템이 안전의 '트릴레마(trilemma)', 즉 속도, 비용, 보안 사이의 갈등을 어떻게 다루는지에 관한 것이었습니다. 모든 움직임을 판단하기 위해 두 번째 AI를 사용하는 대신 결정론적인 규칙 기반 엔진을 사용함으로써, 듀얼트러스트는 높은 토큰 비용과 거대 모델 실행에 따른 막대한 에너지 소모를 제거했습니다. 이는 에이전트를 안전하게 지키기 위해 슈퍼컴퓨터가 필요한 것이 아니라, 스마트하고 빠르며 수학적으로 엄격한 게이트키퍼가 필요하다는 것을 입증했습니다. 시스템은 자원을 낭비하거나 규칙을 우회하려는 시뮬레이션된 공격자들을 성공적으로 차단했으며, 종종 몇 번의 잘못된 행동만으로도 그들을 격리했습니다. 또한 네트워크 오류와 같은 일시적인 오류와 의도적인 공격을 구분함으로써 오경보로부터 회복할 수 있음을 보여주었습니다.

이 연구는 또한 모든 결정에 대해 변조 불가능한 기록을 유지하는 것의 중요성을 강조했습니다. 듀얼트러스트는 모든 행동, 모든 처벌, 모든 승인을 보안이 강화된 변경 불가능한 원장에 기록합니다. 이는 나중에 감사할 수 있는 영구적인 이력을 생성하여, 문제가 발생했을 때 정확히 누가 언제 무엇을 했는지에 대한 명확한 수학적 증거를 제공합니다. 이 기능은 자율 에이전트가 현실 세계의 결정을 내리는 세상에서 신뢰를 구축하는 데 필수적입니다. 연구진은 이 시스템이 시뮬레이션과 통제된 테스트에서는 매우 효과적이지만, 여전히 오류를 보고하는 센서와 도구의 정확성에 의존한다는 점을 언급했습니다. 시스템이 실수를 감지할 수 없다면 처벌할 수도 없으므로, 향후 연구는 이러한 에이전트가 실제 세계의 살아있는 예측 불가능한 AI 모델과 상호작용할 때 얼마나 잘 작동하는지에 집중해야 할 것입니다.

궁극적으로 이 작업은 우리가 지속적인 감독 없이도 기기가 우리를 대신해 행동하도록 신뢰할 수 있는 미래를 위한 실질적인 청사진을 제시합니다. 이는 느리고 비싼 AI 판사라는 개념에서 벗어나, 빠르고 효율적이며 수학적으로 건전한 수호자를 향한 움직임입니다. 인간의 신원과 에이전트의 행동을 분리하고, 실시간으로 위협을 학습하고 적응하는 시스템을 사용함으로써, 듀얼트러스트는 차세대 웨어러블 기술의 토대를 제공합니다. 이는 우리가 단순히 똑똑할 뿐만 아니라 안전하고, 빠르며, 책임감 있는 강력한 자율형 조력자를 가질 수 있음을 시사하며, 통제력을 잃을 두려움 없이 앰비언트 세상으로 발을 내디딜 수 있게 해줍니다.