From Human Approval to Current Authority: Adaptive Runtime Governance at the Execution Boundary of AI-Enabled Organizational Workflows

당신이 가장 좋아하는 로봇 비서가 단순히 당신과 대화하는 것을 넘어, 실제로 당신을 대신해 돈을 송금하거나, 은행 계좌 설정을 변경하거나, 거대한 건설 프로젝트를 승인하는 등의 일을 수행하는 세상을 상상해 보십시오. 우리는 이것을 "직장 내 AI(AI in the workplace)"라고 부릅니다. 하지만 여기에 까다로운 문제가 있습니다. 어제 인간 상사가 로봇에게 "예"라고 말했다고 해서, 오늘 그 로봇이 여전히 그 일을 할 수 있다는 뜻일까요?

콘서트 티켓을 생각해보십시오. 만약 당신이 금요일 공연을 위한 티켓을 샀다면, 그 티켓은 오직 그 특정 밤에만 유효합니다. 만약 당신이 그 티켓을 가지고 토요일에 나타난다면, 경비원은 당신의 손에 종이가 들려 있더라도 당신을 막아야 합니다. AI의 세계에서 "인간의 승인"은 바로 그 티켓과 같습니다. 때로는 승인을 했던 상사가 해고되기도 하고, 게임의 규칙이 바뀌기도 하며, 혹은 티켓 자체가 만료되기도 합니다. 만약 로봇이 행동을 하기 '직전'에 티켓이 여전히 유효한지 확인하지 않는다면, 로봇은 비록 인간으로부터 "서명된 쪽지"를 가지고 있음에도 불구하고 법을 어기거나 난장판을 만들 수 있습니다. 이 논문은 AI 로봇이 행동을 하기 직전에 티켓의 유효성을 마지막으로 한 번 더 확인하는, 매우 엄격한 경비원을 구축하는 것에 관한 것입니다.

---

논문: 로봇 행동을 위한 경비원

Maria Kollia가 작성한 이 연구는 **적응형 런타임 거버넌스(Adaptive Runtime Governance, ARG)**라는 새로운 개념을 소개합니다. ARG를 AI의 의사결정 과정 출구에 위치한 스마트하고 투명한 보안 계층이라고 생각할 수 있습니다. 이 계층의 역할은 AI의 아이디어가 '좋은' 아이디어인지(예: "이 대출이 공정한가?")를 결정하는 것이 아니라, 훨씬 더 단순하지만 결정적인 질문을 던지는 것입니다: "인간 상사가 '지금 당장' 이것에 대해 '예'라고 말할 권한이 여전히 있는가?"

이 논문은 이 거대한 시스템의 한 가지 특정 부분인 **결정론적 실행 게이트(deterministic execution gate)**를 테스트하는 데 집중합니다. 이 게이트를 비디오 게임의 최종 체크포인트라고 상상해 보십시오. 캐릭터가 보물을 잡기 위해 절벽 아래로 뛰어내리기 전에, 게임은 잠시 멈추고 다음의 규칙 목록을 확인합니다:

1. 명령을 내린 플레이어가 실제로 게임을 그만두었는가?
2. 플레이어의 역할이 변경되었는가? (예: "관리자"에서 "게스트"로 강등됨)
3. 명령이 내려진 이후에 게임의 규칙이 업데이트되었는가?
4. 명령이 너무 오래되어 더 이상 사용할 수 없는 상태인가?

만약 이 체크 중 하나라도 실패하면, 게이트는 쾅 닫히며 "안 돼, 행동 거부!"라고 말합니다. 로봇은 과거의 승인 기록이 있더라도 결코 그 일을 수행할 수 없습니다.

실제로 무엇을 만들고 테스트했는가

저자는 단순히 머릿속으로 구상만 한 것이 아니라, Python과 FastAPI(웹 앱 구축 도구)를 사용하여 작동하는 프로토타입을 만들었고, 안전하고 격리된 환경(프라이빗 데이터베이스)에서 테스트했습니다. 실제 은행이나 병원에서 테스트한 것이 아니라, 게이트가 약속대로 작동하는지 확인하기 위해 223개의 구체적인 테스트 케이스가 포함된 "시뮬레이션 실험실"을 구축했습니다.

실험실에서 일어난 일은 다음과 같습니다:

• 긍정적인 결과: 모든 것이 완벽한 30개의 시나리오를 만들었습니다. 인간 상사가 여전히 활동 중이었고, 규칙이 변경되지 않았으며, 티켓이 신선한 상태였습니다. 이 30가지 사례 모두에서 게이트는 "그린 라이트"(HTTP 200 상태)를 주어 행동이 진행되도록 허용했습니다.
• 차단된 결과: 무언가 잘못된 192개의 시나리오를 만들었습니다. 상사가 해고되었거나, 정책이 변경되었거나, 승인이 25시간 전의 것이었을 수도 있습니다(규칙은 24시간이었습니다). 이 192가지 사례 모두에서 게이트는 올바르게 "아니오"라고 답하며 행동을 차단했습니다.
• 기록의 흔적: 또한 디지털 로그인 "감사 추적(audit trail)"을 확인했습니다. 492개의 감사 이벤트가 서로 올바르게 연결되어 있음을 검증하여, 시스템이 누가 언제 무엇을 했는지에 대한 완벽한 기록을 유지하고 있음을 증명했습니다.

결과는 명확했습니다: 이 통제된 테스트에서 게이트는 설계된 대로 정확하게 작동했습니다. 게이트는 일어나지 말아야 할 행동은 성공적으로 막았고, 일어나야 할 행동은 통과시켰습니다.

이 논문이 말하고자 하는 것이 아닌 것

이 논문이 무엇을 주장하지 않는지 이해하는 것이 매우 중요합니다. 저자는 과도한 약속을 하지 않기 위해 매우 조심스럽게 접근하고 있습니다.

• AI를 더 똑똑하게 만드는 것이 아닙: 게이트는 AI의 아이디어가 공정한지, 안전한지, 혹은 정확한지를 확인하지 않습니다. 만약 인간 상사가 편향되거나 위험한 계획을 승인했고, 그 상사가 여전히 그것을 승인할 권한이 있다면, 게이트는 이를 통과시킬 것입니다. 게이트는 '지혜'가 아니라 '권한'만을 확인합니다.
• 아직 실세계용 완성 제품이 아닙니다: 저자는 이것이 프로토타입임을 명시적으로 밝히고 있습니다. 이들은 로컬 컴퓨터 실험실에서 테스트했을 뿐, 실제 해커, 실제 비밀번호, 혹은 수백만 명의 사용자가 있는 거대한 네트워크에서 테스트한 것이 아닙니다. 저자는 "동시성"(두 사람이 정확히 같은 밀리초에 동일한 것을 승인하려고 할 때 발생하는 일)이나 "운영 보안"(실제 해킹 방어)과 같은 요소들이 테스트되지 않았음을 인정합니다.
• 모든 것을 해결하는 것이 아닙: 논문은 "비상 거버넌스"(위기 상황 시 대처법)나 "적응형 치명도"(리스크에 따라 엄격함을 자동으로 결정하는 것)와 같은 다른 멋진 아이디어들을 언급하지만, 이는 단지 제안일 뿐입니다. 이 연구에서 구축되거나 테스트되지 않았습니다.

핵심 요약

주요 결론은 단순하지만 강력한 진리입니다: 과거의 인간 승인이 현재의 권한과 동일한 것은 아닙니다. 인간이 어제 무언가에 서명했다고 해서, 오늘 그가 그것을 승인할 권한이 있다는 뜻은 아닙니다.

이 논문은 우리가 행동이 일어나기 직전에 이러한 조건들을 자동으로 확인하는 소프트웨어를 구축할 수 있음을 증명합니다. 조건이 충족되지 않으면 소프트웨어는 행동을 거부할 수 있으며, 이를 통해 단순한 형식적인 승인(rubber stamp)에 그칠 수 있었던 "인간의 감독"을 실제 작동하는 안전망으로 바꿀 수 있습니다.

그러나 저자는 이것이 첫 단계일 뿐이라고 분명히 말합니다. 우리는 시뮬레이션을 위한 작동하는 "경비원"을 가졌지만, 여전히 전체 보안 시스템을 구축해야 하고, 실세계에서 테스트해야 하며, 압박이 가해지는 상황에서도 제대로 작동하는지 확인해야 합니다. 현재로서는, 우리가 AI를 통제하기 위해 필요한 규칙 중 일부를 권한이 사라졌을 때 "아니오"라고 말하는 게이트에 코드로 구현할 수 있다는 점을 알 수 있습니다.