거대한 AI의 혼돈과 교통경찰의 필요성

당신이 단순히 하나의 지침 세트를 따르는 것이 아니라, 생각하고, 계획하며, 세상에 나가서 일을 완수할 수 있는 로봇을 만들고 있다고 상상해 보세요. 이것이 바로 **에이전틱 AI(Agentic AI)**라는 흥る진한 새로운 개척지입니다. 질문을 입력하기를 기다렸다가 답변을 주는 과거의 챗봇들과 달리, 이 새로운 "에이전트"들은 마치 작은 디지털 직원과 같습니다. 이들은 정보를 찾아보고, 도구를 사용하며, 다른 로봇들과 대화하고, 심지어 복잡한 문제를 해결하기 위해 스스로 결정을 내릴 수도 있습니다.

하지만 까다로운 점이 있습니다. 로봇이 하나일 때는 관찰하기 쉽지만, 서로 대화하고, 도구를 빌려 쓰고, 실시간으로 결정을 내리는 로-봇 팀 전체가 있을 때는 상황이 빠르게 엉망이 될 수 있습니다. 누가 책임자인가요? 만약 로봇 A가 로봇 B에게 무언가를 하라고 명령했다면, 로봇 B는 그것을 할 권한이 있을까요? 만약 로봇 B가 실수를 한다면 어떻게 될까요? 컴퓨터 과학의 세계에서 우리는 보통 기초적인 사항을 관리하기 위해 운영 체제(Windows나 Linux 같은)에 의존합니다. 운영 체제는 클럽의 보안 요원과 같습니다. 그들은 신분증을 확인하고 인원수를 세지만, 당신이 왜 거기에 있는지 또는 당신의 계획이 타당한지는 이해하지 못합니다. 그들은 로봇이 시를 쓰려고 하는 것과 은행 계좌를 삭제하려고 하는 것의 차이를 알지 못합니다.

이것이 바로 우리가 새로운 무언가를 필요로 하는 이유입니다. 우리는 단순히 수학적 계산이 아니라, 작업의 의미를 이해하는 시스템이 필요합니다. 우리는 AI 에이전트들이 확률적인 추측(이는 그들이 정답에 대해 100% 확신하지 못한다는 것을 의미합니다)을 하더라도, 전체 팀이 안전을 유지하고, 규칙을 준수하며, 나중에 자신이 한 일을 설명할 수 있는 방법을 필요로 합니다. 이것이 바로 "AOS-0001" 논문이 해결하고자 하는 문제입니다.

---

에이전트 운영 체제: 디지털 도시를 위한 청사진

당신이 읽고 있는 이 논문은 **에이전트 운영 체제(Agent Operating System, AOS)**라고 불리는 새로운 청사진을 제안합니다. 이것을 오늘 당장 다운로드할 수 있는 특정 소프트웨어라고 생각하지 말고, AI 에이전트를 위한 안전하고 조직적인 도시를 구축하기 위한 건축 규칙, 즉 "헌법"이라고 생각하십시오. 저자인 Ankur Sharma와 Deep Shah는 현재 AI 에이전트의 세계가 마치 모두가 자신만의 울타리와 규칙을 세우며 혼란과 잠재적 위험을 초래하는 서부 개척 시대의 마을과 같다고 제안합니다. 그들은 모두가 동의할 수 있는 지도를 그리고자 합니다.

두 개의 평면 도시: 시장실과 건설 현장

이 논문의 핵심 아이디어는 AI 에이전트의 관리를 매우 다르지만 서로 협력하는 두 개의 별개 "평면(plane)" 또는 계층으로 나누는 것입니다. 저자들은 도시의 비유를 사용하여 이를 설명합니다.

1. 제어 및 거버넌스 평면 (시장실): 이곳은 운영의 두뇌입니다. 이 평면의 역할은 다음과 같은 큰 질문에 답하는 것입니다: 우리가 무엇을 하려고 하는가? 누가 이것을 할 권한을 주었는가? 우리가 따라야 할 규칙은 무엇인가? 이것이 좋은 아이디어라는 확신이 얼마나 있는가?

   • 시장이 "공원을 고치라"는 요청을 검토하는 모습을 상상해 보세요. 시장은 삽을 들지 않습니다. 대신, 시장은 예산을 확인하고, 요청한 사람이 수리 명령을 내릴 권한이 있는지 확인하며, 공원이 홍수 구역에 있는지 확인하고, 그 계획이 안전한지 결정합니다.
   • AI 세계에서 이 평면은 의도(Intent)(목표), 권한(Authority)(누가 무엇을 할 수 있는지), 정책(Policy)(규칙), 그리고 신뢰도(Confidence)(우리가 얼마나 확신하는지)를 처리합니다. 이 평면이 "진행(Go)" 또는 "중단(No-Go)" 결정을 내립니다.

2. 런타임 및 코디네이션 평면 (건설 현장): 이곳은 근육입니다. 시장이 "진행"이라고 말하면, 이 평면은 실제 작업을 처리합니다. 적절한 도구를 찾고, 적절한 인력을 고용하며(이는 다른 AI 모델, 인간 작업자 또는 소프트웨어 도구가 될 수 있음), 작업이 완료되도록 보장합니다.

   • 시장이 "공원을 고쳐라"라고 하면, 건설 현장은 가장 좋은 삽, 가장 좋은 노동자, 그리고 작업하기에 가장 좋은 시간을 찾습니다. 이들은 물류, 교통, 그리고 일정을 관리합니다.
   • AI 세계에서 이 평면은 에이전트 라이프사이클(에이전트가 올바르게 시작되고 종료되는지 확인)을 관리하고, 라우팅(작업을 적절한 곳으로 전송)과 스케줄링(작업이 밀리지 않게 유지)을 담당합니다.

저자들은 오랫동안 이 두 가지 역할을 혼동해 왔다고 주장합니다. 우리는 건설 현장(AI를 실행하는 코드)이 어떤 일을 해도 안전한지 스스로 결정하게 해 왔는데, 이는 마치 건설 노동자가 자신에게 건축 허가가 있는지 스스로 결정하게 하는 것과 같습니다. 저자들은 이러한 역할을 분리하는 것이 안전과 통제를 위해 필수적이라고 제안합니다.

"역량(Capability)"이라는 마술

이 논문에서 가장 흥미롭고 중요한 개념 중 하나는 **역량(Capability)**이라는 개념입니다. 보통 우리가 AI와 대화할 때, "서버의 Python 코드를 사용하여 이것을 계산하라"고 말할 수 있습니다. 하지만 이 논문은 어떻게 수행되는지에 집중하기보다 무엇이 수행되는지에 집중해야 한다고 제안합니다.

피자를 주문하는 상황을 상상해 보세요. 당신은 식당에 "오븐으로 가서 페퍼로니 한 조각을 집어 들어 반죽 위에 올리고 400도에서 구우세요"라고 말하지 않습니다. 단지 "페퍼로니 피자 하나 주세요"라고 말할 뿐입니다. 식당(AI 시스템)은 어떤 요리사가 한가한지, 어떤 오븐이 뜨거운지, 어디에 반죽이 있는지를 알아서 파악합니다.

AOS에서 "페퍼로니 피자"는 **역량(Capability)**이라고 불립니다. 이는 "이 문서를 요약하라" 또는 "날씨를 확인하라"와 같이 결과에 대한 안정적인 레이블입니다. 시스템은 당신이 전혀 모르는 사이에 "요리사"(특정 AI 모델이나 도구)를 교체할 수 있습니다. 만약 한 명의 요리사가 아프다면, 시스템은 그냥 동일한 피자를 만들 수 있는 다른 요리사에게 주문을 보냅니다. 이 덕분에 전체 시스템은 유연하고 신뢰할 수 있게 됩니다.

"위임(Delegation)"의 지휘 체계

이 논문은 또한 까다로운 문제인 **위임(Delegation)**을 다룹니다. 메인 AI 에이전트가 더 작은 AI 에이전트에게 작업을 요청할 때 어떤 일이 벌어질까요? 작은 에이전트가 갑자기 무엇이든 할 수 있는 권한을 갖게 될까요?

저자들은 "절대 안 된다"고 말합니다. 그들은 **권한 보존(Authority Preservation)**이라는 엄격한 규칙을 제안합니다. 이것은 부모가 자녀에게 점심을 사 먹으라고 적은 돈을 주는 것과 같습니다. 자녀는 점심을 살 수는 있지만, 자동차를 살 수는 없습니다. 만약 자녀가 자동차를 사려고 한다면, 시스템은 이를 차단해야 합니다.

AOS 청사진에서, 에이전트가 작업을 위임할 때마다 시스템은 엄격하게 제한된 "허가증"을 전달합니다. 자녀 에이전트는 부모가 허용한 범위 내에서만, 부모가 허용한 시간 동안만, 그리고 부모가 준 돈으로만 행동할 수 있습니다. 만약 자녀가 그 한계를 넘어서려 한다면, 시스템이 이를 잡아냅니다. 이는 작은 실수가 AI 에이전트가 실수로 너무 많은 권한을 부여받아 데이터베이스를 삭제하는 것과 같은 거대한 재앙으로 이어지는 것을 방지합니다.

"신뢰도(Confidence)" 대시보드

또 다른 핵심 기능은 시스템이 **신뢰도(Confidence)**를 처리하는 방식입니다. 과거에 AI 모델은 단순히 답변을 제공하고, 아마도 자신이 얼마나 확신하는지를 나타내는 작은 숫자를 덧붙였을 것입니다. 하지만 이 논문은 "신뢰도"가 교통 신호등처럼 실제 제어 신호가 되어야 한다고 제안합니다.

시스템이 99% 확신한다면, 신호는 초록불입니다: "진행하세요!"
시스템이 80% 확신하지만 작업이 위험하다면(예: 돈을 옮기는 일), 신호는 노란불일 수 있습니다: "잠시 기다리세요, 인간에게 확인을 요청합시다."
시스템이 50% 확신한다면, 신호는 빨간불입니다: "멈추세요! 무슨 일이 일어나고 있는지 모르겠습니다."

논문은 시스템이 다음과 같은 다양한 요소들을 살펴보는 "신뢰도 대시보드"를 가져야 한다고 제안합니다: 데이터가 최신인가? 도구가 신뢰할 수 있는가? 계획이 명확한가? 이 모든 단서들을 바탕으로, 시스템은 진행할지, 재시도할지, 아니면 인간에게 도움을 요청할지를 결정합니다.

이 논문이 하는 것(과 하지 않는 것)

이 논문이 실제로 무엇을 하고 있는지 이해하는 것이 중요합니다. 저자들은 아직 완벽한 AI 운영 체제를 구축했다고 말하는 것이 아닙니다. 그들의 시스템이 기존의 것들보다 더 빠르거나 더 똑똑하다고 주장하는 것도 아닙니다.

대신, 그들은 **참조 아키텍처(Reference Architecture)**를 제안하고 있습니다. 이것은 새로운 형태의 집을 위한 설계도를 그리는 건축가와 같습니다. 그들은 집을 짓고 있는 것이 아니라, 서로 다른 건설 회사들이 모두 동일하게 안전하고 견고한 기초를 가진 집을 지을 수 있도록 계획을 그리고 있는 것입니다.

논문은 몇 가지 사항을 명시적으로 제외합니다:

• 이것은 당신이 구매할 수 있는 특정 제품이 아닙니다.
• 이것은 당신의 컴퓨터에서 실행되는 Linux나 Windows 운영 체제를 대체하는 것이 아닙니다.
• 이것은 단일 프로그래밍 언어나 특정 AI 모델이 아닙니다.
• 이것은 현재 발생할 수 있는 모든 AI 문제를 해결한다고 주장하지 않습니다.

저자들은 이것이 하나의 제안이자 기반임을 매우 분명히 하고 있습니다. 그들은 우리가 안전하고 통제 가능한 AI 시스템을 구축할 수 있도록 혼란을 정리하는 방법을 제시하고 있는 것입니다. 그들은 국가마다 다른 규칙을 어떻게 처리할지, 또는 "신뢰도" 수치를 어떻게 실제로 정확하게 만들 것인지와 같이 여전히 답해야 할 질문들이 많다는 점을 인정합니다.

거시적 관점

그렇다면 왜 이것이 호기심 많은 십 대에게 중요할까요? 왜냐하면 AI의 미래는 단순히 더 똑똑한 챗봇에 관한 것이 아니라, AI가 현실 세계에서 무언가를 할 수 있는 것에 관한 것이기 때문입니다. 그것은 스마트 홈을 관리하거나, 의사를 도와 질병을 진단하거나, 복잡한 비즈니스 운영을 수행하는 AI에 관한 것입니다.

만약 우리가 이 에이전트들을 관리할 좋은 시스템을 갖추지 못한다면, 우리는 강력하지만 예측 불가능한 로봇들이 가득한 디지털 세계를 마주하게 될 위험이 있습니다. AOS 청사진은 "규칙에 대해 생각하는 것"과 "실제로 일을 하는 것"을 분리하고, 누가 무엇을 할 권한이 있는지에 대해 매우 엄격하게 규정함으로써, AI 에이전트가 혼란스러운 변수가 아닌 도움이 되는 파트너가 될 수 있는 미래를 구축할 수 있다고 제안합니다.

논문은 이것이 시작에 불과하다고 말하며 끝을 맺습니다. 그들은 지도를 그렸지만, 실제 시스템을 구축하기 위한 여정은 이제 막 시작되었습니다. 그들은 다른 연구자와 개발자들이 이 아이디어들을 사용하고, 테스트하며, 안전하고 통제 가능한 AI의 미래를 함께 만들어가기를 촉구합니다. 이것은 우리가 만들고 있는 디지털 세계가 우리 모두가 신뢰할 수 있는 곳이 되도록 하기 위한 다음 세대의 구축자들을 향한 행동 촉구입니다.