GAAR: Runtime Governance for Scalable Agentic Retrieval and Tool- Orchestrated Enterprise AI Systems
이 논문은 플래너 에이전트와 도구 실행 사이에 위치하여 기업용 AI 시스템에서 정책 위반과 안전하지 않은 도구 호출을 유의미하게 줄이는 동시에 충실도와 감사 준수성을 향상시키지만, 광범위한 합성 벤치마킹을 통해 입증된 바와 같이 약간의 지연 시간을 수반하는 런타임 거버넌스 아키텍처인 GAAR를 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터가 단순히 당신과 대화하는 것을 넘어 실제로 '행동'하는 세상을 상상해 보십시오. 컴퓨터가 당신의 은행 기록을 조회하고, 비행기를 예약하거나, 서버 장애를 복구할 수 있습니다. 이것이 바로 "에이전틱 AI(Agentic AI)"라는 흥미로운 최전선입니다. 이 에이전트들을 아주 똑똑한 디지털 인턴이라고 생각하십시오. 이들은 **검색 증강 생성(RAG, Retrieval-Augmented Generation)**이라는 토대 위에 구축되었습니다. 일반적인 AI가 기억력에 의존해 시험 문제를 푸는 학생이라면, RAG는 교과서를 펼쳐 볼 수 있는 권한이 있는 동일한 학생과 같습니다. 답변하기 전에 사실 관계를 찾아보기 때문에 훨씬 더 정확합니다.
하지만 여기 함정이 있습니다. 디지털 인턴에게 사무실 열쇠와 건물 출입권, 그리고 은행 계좌까지 맡기려면, 매우 엄격한 관리자가 필요합니다. 인턴이 금고를 열어도 되는지 스스로 추측하게 해서는 안 됩니다. 인턴은 자신의 신분증을 확인하고, 시간을 검증하며, 상사가 "승인"했는지 확인하고, 가짜 지침을 읽은 것은 아닌지 반드시 확인해야 합니다. 이것이 바로 **런타임 거버넌스(Runtime Governance)**의 문제입니다. 이는 AI가 작업하는 도중에 발생하는 규칙과 점검 체계로, AI가 실수로 법을 어기거나, 비밀을 유출하거나, 위험한 행동을 하지 않도록 보장합니다. 이것이 없다면, 도움이 되는 AI는 혼란스러운 AI가 될 수 있습니다.
문제점: 디지털 인턴들의 "서부 개척 시대"
여기에 GAAR(Governance-Aware Agentic Retrieval, 거버넌스 인지형 에이전트 검색)라는, AI 에이전트를 위한 엄격하고 조직적인 관리자 역할을 수행하도록 설계된 새로운 시스템이 등장합니다. 이 논문의 연구진들은 AI 에이전트들이 다단계 과업을 계획하는 능력은 향상되고 있지만, 종종 너무 무방비하게 신뢰한다는 점에 주목했습니다. 에이전트가 유용해 보이는 문서를 찾았을 때, 만약 그 문서가 구식이라면 어떻게 될까요? 질문을 하는 사용자가 실제로 그 문서를 볼 권한이 없다면 어떨까요? 혹은 에이전트가 권한이 없는 도구(예: 이메일 발송)를 사용하려고 한다면 어떻게 될까요?
과거에는 AI가 말을 한 후에 가드레일을 설치하는 방식(예: 나쁜 단어를 차단하는 필터)이나 단순하고 정적인 규칙을 사용하는 방식으로 이를 해결하려 했습니다. 하지만 저자는 이러한 방법들이 마치 결승선에 과속 방지턱을 설치하여 달리는 자동차를 멈추려는 것과 같다고 주장합니다. 그때는 이미 피해가 발생한 후이기 때문입니다. 또한, 단순히 AI가 스스로 "자기 수정(self-correct)"하도록 두는 것만으로는 부족하다고 주장하는데, 왜냐하면 AI는 자신이 복잡한 기업 규칙을 어기고 있다는 사실 자체를 인지하지 못할 수도 있기 때문입니다.
해결책: "결정 여권 (Decision Passport)"
이 논문은 GAAR를 미들웨어 레이어로 소개합니다. 이는 AI의 "두뇌"(플래너)와 "손"(사용하는 도구) 사이에 위치하는 디지털 체크포인트입니다.
예를 들어, AI 에이전트가 "CEO에게 보고서를 보내라"와 같은 과업을 수행하려고 한다고 가정해 봅시다. 단순히 실행하는 대신, AI는 GAAR 관리자에게 **결정 여권(Decision Passport)**을 제출해야 합니다. 이 여권은 단순한 요청서가 아니라 다음과 같은 구조화된 문서를 포함합니다:
- 증거(The Evidence): "이 보고서를 뒷받침하기 위해 제가 찾은 문서들입니다."
- 권한(The Authority): "이 사용자가 이 정보를 볼 권한이 있다는 증거입니다."
- 리스크 점검(The Risk Check): "이 주제가 민감한 사안인지 확인했습니다."
- 감사 추적(The Audit Trail): "제가 수행하려는 모든 작업에 대한 기록입니다."
그러면 GAAR 관리자는 신속한 검사를 실시합니다. 관리자는 여권을 규칙집(정책)과 대조합니다. 만약 증거가 너무 오래되었다면, 여권에는 "수정(Revise)" 도장이 찍힙니다. 사용자의 신원이 불분명하다면 "차단(Block)" 도장이 찍힙니다. 리스크가 너무 높다면 "인간 검토(Human Review)"를 위해 전달됩니다. 오직 여권에 모든 승인 도장이 찍혔을 때만 AI는 동작을 실행할 수 있습니다.
수치가 말해주는 것 (시뮬레이션)
연구진은 단순히 이 시스템을 구축한 것에 그치지 않고, 거대하고 통제된 시뮬레이션 환경에서 이를 테스트했습니다. 그들은 12,000개의 서로 다른 시나리오(환불 요청, IT 작업자의 서버 재시작 시도, 매니저의 예산 확인 등)가 포함된 가상의 기업 환경을 조성했습니다. 그들은 GAAR를 일반 AI, 도구를 사용하는 AI, 그리고 단순한 규칙 필터를 사용하는 AI와 비교했습니다.
시뮬레이션 결과는 다음과 같습니다:
- 안전 우선: GAAR는 "정책 위반"(규칙 위반)을 **12.9%**에서 **5.0%**로 줄였습니다. 또한 "안전하지 않은 도구 호출"(사용해서는 안 될 도구 사용)을 **8.6%**에서 **3.6%**로 낮췄습니다.
- 신뢰할 수 있는 답변: AI의 답변은 더욱 "충실(faithful)"해졌습니다(찾은 사실에 충실함). 수치는 0.79에서 0.86으로 상승했습니다.
- 기록의 흔적: 가장 인상적이게도, GAAR는 "감사 준수율"(모든 결정에 대한 기록 유지)을 **63.4%**에서 **96.2%**로 개선했습니다.
- 비용: 이 안전함을 위해 치러야 할 작은 대가가 있었습니다. 답변을 얻는 데 걸리는 평균 시간이 2.7초에서 3.2초로 늘어났습니다. 저자는 이를 합리적인 거래라고 제안합니다. 즉, 중대한 보안 사고를 피하기 위해 0.5초를 더 기다리는 것은 가치 있는 일이라는 것입니다.
또한 연구진은 시스템이 압박 속에서도 제대로 작동하는지 확인하기 위해 최대 100,000번의 에피소드로 스트레스 테스트를 진행했습니다. 속도는 약간 느려졌지만 계속 작동했으며, 이는 시스템이 확장 가능하다는 것을 입증했습니다.
"만약에" 시나리오와 한계점
논문은 또한 시스템에 대한 "만약에" 테스트를 진행했습니다. 다른 사용자인 척 속이는 '역할 사칭(role spoofing)'이나 오래된 규칙을 주입하는 '오래된 정책 대체(stale-policy substitution)'와 같은 가짜 공격을 시도했습니다. GAAR는 이러한 속임수 대부분을 잡아냈으며, 탐지율은 약 94%에서 97% 사이였습니다. 그러나 저자는 이들이 시뮬레이션된 공격이었음을 매우 강조합니다. 즉, 실제 해커가 시스템을 뚫으려고 시도하는 상황은 아니라는 점입니다. 저자는 자신들의 테스트가 시스템을 속일 수 있는 모든 가능한 방법을 다루지는 못했으므로, 아직 보안 문제가 완전히 "해결"된 것은 아니라고 인정했습니다.
또한 어떤 부분이 가장 중요한지 알아보기 위해 "책임 소재 실험(ablation study)"을 수행했습니다. 그 결과는 다음과 같습니다:
- 증거를 확인하는 것이 답변의 정확도를 높이는 핵심이었습니다.
- 권한(당신이 누구인지)을 확인하는 것이 안전하지 않은 행동을 막는 핵심이었습니다.
- 감사 추적은 발생한 일을 기록하는 데 필수적이었습니다.
결론
이 논문은 만약 우리가 AI 에이전트가 실제 기업에서 일하게 하려면, 단순히 그들을 자유롭게 풀어두어서는 안 된다고 제안합니다. 우리는 모든 단계마다 AI의 행동을 검사하는 게이트키퍼 역할을 하는 GAAR와 같은 시스템이 필요합니다. 시뮬레이션 결과는 이 접근 방식이 효과적임을 보여줍니다. 즉, 아주 약간의 속도 저하만으로도 AI를 더 안전하고, 정직하며, 추적하기 쉽게 만듭니다.
하지만 저자는 명확히 밝힙니다: 이것은 시뮬레이션입니다. 아직 실제 기업 환경에서 테스트되지 않았습니다. 저자는 향후 연구에서 실제 인간이 개입하고 규칙이 실시간으로 변하는 상황에서 이 시스템이 어떻게 버텨내는지 확인해야 한다고 제切합니다. 하지만 현재로서 GAAR는 미래의 야생적인 디지털 인턴들을 길들이기 위한 유망한 청사진을 제시하고 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.