Governable agentic intelligence: a lifecycle framework linking capability, assurance, and oversight in large language model agents
이 논문은 에이전트형 AI 시스템에 내재된 '보증 부채(assurance debt)'를 해결하기 위해 역량, 평가 및 거버넌스를 통합하는 6계층 프레임워크인 에이전트 지능 라이프사이클(Agentic Intelligence Lifecycle, AIL)을 소개하며, 관찰 가능하고 설명 가능하며 통제 가능한 에이전트를 생성하기 위한 새로운 연구 의제를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
지난 몇 년간 인공지능은 조용하지만 심오한 변화를 겪었습니다. 오랫동안 이 시스템들은 매우 유능한 사서와 같았습니다. 질문을 하면 그들은 방대한 내부 지식을 검색하여 답을 주었습니다. 만약 답이 틀렸다면, 당신은 단순히 다시 묻거나 직접 찾아보면 그만이었습니다. 컴퓨터가 생각을 했지만, 결정은 인간이 했습니다. 그러나 오늘날, 단순히 질문에 답하는 것을 넘어 행동을 취하는 새로운 세대의 소프트웨어가 등장하고 있습니다. 흔히 "에이전틱(agentic)" AI라고 불리는 이 시스템들은 목표를 설정하고, 이를 단계별로 나누며, 인터넷에서 정보를 검색하고, 계산이나 창작을 위해 소프트웨어 도구를 사용하며, 심지어 유사한 다른 시스템들과 대화하여 업무를 완수할 수 있습니다. 이들은 더 이상 문장의 다음 단어를 예측하는 것에 그치지 않고, 디지털 세계를 항해하며 그 세계를 변화시키고 있습니다.
이러한 새로운 능력은 독특한 과제들을 불러옵니다. 컴퓨터가 단순히 이야기를 쓰는 경우, 실수는 그저 오타에 불과합니다. 하지만 컴퓨터에게 항공권을 예약하거나, 돈을 송금하거나, 산업 기계를 제어할 권한이 부여될 때, 실수는 현실 세계에서 실제적인 결과를 초래할 수 있습니다. 연구자들의 핵심 질문은 이제 이 시스템들이 문제를 해결할 만큼 똑똑한가가 아니라, 안전하게 수행할 수 있을 만큼 신뢰할 수 있는가로 바뀌었습니다. 만약 시스템에 너무 많은 자유를 주면, 누군가 알아차리기도 전에 해로운 결정을 내릴 수 있습니다. 반대로 너무 적은 자유를 주면, 쓸모가 없어집니다. 적절한 균형을 찾는 것이 이 새로운 시대의 결정적인 문제입니다.
아덴 대학교(Arden University)의 해리 우도(Harry Udoh)라는 연구자는 최근 이러한 지능형 에이전트에 관한 최신 연구의 전체 지형을 살펴봄으로써 이 문제를 다루었습니다. 우도는 단일 소프트웨어를 연구하는 대신, 2024년에서 2026년 사이에 발표된 19개의 주요 리뷰 논문들을 검토했습니다. 이 리뷰들은 기술의 기본 구성 요소부터 테스트 방법, 그리고 안전 유지 방법까지 모든 것을 다루었습니다. 이러한 별개의 실타래들을 엮어냄으로써, 우도는 우리가 이 시스템들을 단순히 똑똑한 모델들의 집합체로 보는 것을 멈추고, 사고(thinking), 행동(acting), 점검(checking)이 연속적으로 일어나는 복잡한 루프로 보아야 한다고 주장하며 전체 그림을 보는 새로운 방식을 제시했습니다.
우도 연구의 핵심은 '에이전틱 인텔리전스 라이프사이클(Agentic Intelligence Lifecycle)'이라 불리는 프레임워크입니다. 시스템을 6개의 층으로 이루어진 구조로 상상해 보십시오. 각 층은 아래의 층에 의존하면서도 새로운 위험을 도입합니다. 맨 아래 층은 기초(foundation)로, 원시 지능을 제공하는 기본 모델입니다. 두 번째 층은 인지(cognition)로, 시스템이 단계를 계획하고 과거의 사건을 기억하는 단계입니다. 세 번째 층은 접지(grounding)로, 도구와 정보 검색을 통해 시스템을 외부 세계와 연결합니다. 네 번째 층은 오케스트레이션(orchestration)으로, 시스템이 자신의 행동을 조정하거나 다른 에이전트와 협력하는 단계입니다. 다섯 번째 층은 평가(evaluation)로, 시스템이 자신이 일을 잘하고 있는지 확인하는 단계입니다. 맨 위 층은 거버넌스(governance)로, 인간의 감독과 안전 규칙을 포함합니다.
이 연구의 가장 중요한 발견은 '확신 부채(assurance debt)'라는 개념입니다. 소프트웨어 세계에서 부채는 보통 개발 과정에서 취한 지름길을 의미하며, 나중에 반드시 갚아야 하는 것을 말합니다. 우도는 우리가 AI 에이전트에게 새로운 능력을 부여할 때마다, 그 능력이 도입하는 위험과 그 위험을 관리하기 위해 마련된 통제 장치 사이에 새로운 격차가 발생한다고 제안합니다. 예를 들어, 에이전트에게 인터넷을 검색하는 능력을 주는 것은 시스템을 더 똑똑하게 만들지만, 동시에 잘못되거나 오래된 정보를 찾게 될 위험을 만듭니다. 기억력을 부여하는 것은 시간이 흐를수록 시스템을 더 유용하게 만들지만, 개인 데이터를 실수로 유출할 위험을 만듭니다. 연구에 따르면 이러한 위험은 단순한 부수 효과가 아니라, 새로운 능력에 따른 직접적인 비용입니다. 만약 시스템이 강력한 새 도구를 얻었음에도 그 도구를 감시할 수 있는 동등하게 강력한 방법을 얻지 못한다면, "부채"는 늘어납니다.
우도는 이 부채가 왜 많은 AI 시스템이 테스트에서는 인상적으로 보이지만 현실 세계에서는 실패하는지를 설명한다고 주장합니다. 테스트에서 시스템은 퍼즐을 푸는 요청을 받고 성공할 수 있습니다. 하지만 현실 세계에서 동일한 시스템은 되돌릴 수 없는 변경 사항을 만들기 위해 도구를 사용하거나, 며칠 전의 오류가 포함된 기억에 의존할 수 있습니다. 이 연구는 우리가 단순히 시스템이 과업을 얼마나 잘 완수하는지를 테스트하는 것이 아니라, 그곳에 도달하기 위해 거친 전체 경로를 테스트해야 한다고 제고합니다. 사실 관계를 확인했는가? 행동하기 전에 허가를 구했는가? 상황이 잘못될 경우 스스로를 멈출 수 있는 수단이 있었는가?
이를 해결하기 위해, 이 논문은 단순한 체크리스트를 넘어선 새로운 평가 방식을 제안합니다. "에이전트가 일을 끝냈는가?"라고 묻는 대신, 에이전트가 시도하는 모든 작업에 대해 다섯 가지 구체적인 질문을 던져야 합니다. 첫째, 에이전트가 볼 수 있도록 허용된 정보는 무엇인가? 둘째, 에이전트가 내릴 수 있는 결정은 무엇인가? 셋째, 에이전트가 외부 세계에 가할 수 있는 변화는 무엇인가? 넷째, 그것이 성공했다는 것을 어떻게 알 수 있는가? 다섯째, 필요할 때 인간이 개입하여 중단할 수 있는 방법은 무엇인가? 이 접근 방식은 안전을 부가적인 기능이 아니라 설계의 근본적인 부분으로 취급합니다. 이는 에이전트가 더 강력해질수록, 그것을 제한하는 규칙을 더욱 세심하게 설계해야 함을 시사합니다.
또한 이 논문은 많은 에이전트가 함께 작동하는 것이 항상 더 안전하다는 생각에 이의를 제기합니다. 여러 에이전트가 서로의 작업을 검토할 수 있으므로 더 안전해 보일 수 있지만, 연구는 만약 그들이 모두 동일한 기반 모델이나 동일한 정보원을 사용한다면, 모두가 동시에 같은 실수를 저지를 수 있다고 지적합니다. 이는 에이전트 그룹이 때때로 잘못된 답에 대해 모두가 동의하는 상황을 만들어, 잘못된 안전감을 조성할 수 있음을 의미합니다. 마찬가지로, 자동화된 시스템이 다른 자동화된 시스템의 품질을 판단하도록 지나치게 의존하는 것에 대해서도 경고하며, 이들이 자체적인 편향을 가질 수 있다고 말합니다.
궁극적으로, 이 논문은 인공지능의 미래가 통제에 대한 우리의 사고방식의 전환에 달려 있다고 결론짓습니다. 우리는 단순히 더 똑똑한 기계를 만들고 그것들이 잘 행동하기를 바랄 수 없습니다. 우리는 행동할 수 있는 능력과 더불어 관찰되고, 중단되며, 교정될 수 있는 능력이 갖춰진 시스템을 구축해야 합니다. 목표는 이러한 시스템의 유용성을 막는 것이 아니라, 그 유용성이 안전을 희생시키지 않도록 보장하는 것입니다. 이 에이전트들의 라이프사이클과 그 힘에 따르는 부채를 이해함으로써, 연구자와 개발자들은 유능할 뿐만 아니라 통제 가능한 시스템을 구축하여, 가장 중요한 순간에 인간이 그 과정에 개입할 수 있도록 할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.