Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
이 논문은 "위임된 자율성 경계(delegated-autonomy boundary)"라는 개념을 도입하고, 자율 시스템에 위임되는 결정의 범위를 체계적으로 정의, 정당화 및 관리하기 위한 두 가지 상호 보완적인 산출물인 '에이전시 정당화 기록(Agency Justification Record, AJR)'과 '계층적 에이전트 위임 정책(tiered Agentic Delegation Policy, ADP)'을 제안함으로써 에이전틱 AI(Agentic AI)의 고유한 요구사항 공학적 과제를 다룬다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 우주선의 선장이라고 상상해 보십시오. 인류 역사의 대부분 동안, 배를 만든다는 것은 엄격한 지침서를 작성하는 것을 의미했습니다: "빨간 불이 보이면 왼쪽으로 돌고, 파란 불이 보이면 오른쪽으로 돌아라." 그 배는 명령을 완벽하게 따르는 로봇이었지만, 스스로 생각할 수는 없었습니다. 그러다 우리는 데이터를 통해 학습할 수 있는 '스마트'한 컴퓨터를 발명했습니다. 마치 도서관의 책들을 읽고 답을 추측하는 학생처럼 말이죠. 하지만 그 스마트한 컴퓨터들조차도 대부분은 그저 추측하는 존재에 불ло였습니다. 그들은 당신이 질문을 던질 때까지 기다렸다가 답을 내놓을 뿐이었습니다. 그들은 실제로 스스로 무언가를 '행하지'는 못했습니다.
이제 우리는 "에이전틱 AI(Agentic AI)"라는 새로운 시대로 진입하고 있습니다. 이것을 단순한 추측자가 아니라, 새로운 종류의 선원이라고 생각해 보십시오. 이 선원은 단순히 명령을 기다리는 것이 아니라, 지도를 보고, 렌치를 집어 들기로 결정하고, 문을 열고, 다른 선원과 대화하고, 누수되는 곳을 고치는 등, 당신이 모든 단계를 일일이 지시하지 않아도 스스로 판단하여 행동할 수 있습니다. 그것은 약간의 자의식을 가지고 있습니다. 이는 흥orous한 일이지만, 동시에 조금 두렵기도 합니다. 만약 당신이 그 선원에게 엔진실 열쇠를 맡긴다면, 그들이 실수로 배를 충돌시키지 않을 것이라고 어떻게 확신할 수 있을까요? 그들에게 무엇을 만질 수 있게 허용할지, 그리고 언제 당신이 개입하여 키를 잡아야 할지를 어떻게 결정할까요? 이것이 바로 핵심적인 질문입니다: 스스로 행동할 수 있는 로봇에게 어떻게 규칙을 설정할 것인가?
이 논문은 바로 그 문제를 다룹니다. 저자인 체탄 아로라(Chetan Arora), 안드레아스 보겔상(Andreas Vogelsang), 그리고 애비 샤르마(Abbi Sharma)는 우리가 현재 이러한 '행동하는' 로봇들을 만들면서, 그들의 자유에 대한 규칙을 명문화하지 않고 있다고 주장합니다. 명확한 규칙 대신, 우리는 복잡한 컴퓨터 코드와 모호한 프롬프트 속에 지침을 숨겨두고 있습니다. 그들은 두 가지 특별한 도구인 "정당화 기록(Justification Record)"과 "위임 정책(Delegation Policy)"을 사용하여 이러한 시스템을 설계하는 새로운 방법을 제안합니다.
먼저, **에이전시 정당화 기록(AJR)**입니다. 당신이 새로운 인턴을 채용한다고 상상해 보십시오. 사무실 열쇠를 건네주기 전에 당신은 다음과 같이 물어야 합니다: "우리가 정말 인턴이 필요한가, 아니면 그냥 자판기를 사용하면 되는가?" AJR은 팀들이 이 질문에 답하도록 강제하는 체크리스트입니다. 이 리스트는 다음과 같이 묻습니다: 이 작업이 단순한 스크립트로 처리하기에는 너무 복잡한가? 여러 시스템과 대화해야 하는가? 인턴이 실수를 했을 때 우리가 멈출 수 있는가? 논문은 만약 당신이 이 목록의 모든 항목을 체크할 수 없다면, '에이전트'를 만들지 말아야 한다고 제안합니다. 대신 더 단순하고 안전한 도구를 사용해야 합니다. 예를 들어, 저자들은 이를 "코드 리뷰" 아이디어에 테스트했습니다. 그 결과, 코드 리뷰는 명확한 규칙이 있는 매우 구조화된 작업이기에, 화려하게 생각하는 로봇은 필요하지 않았으며 단순한 스크립트가 더 잘하고 더 안전하게 수행할 수 있다는 것을 발견했습니다. AJR은 이렇게 말합니다. "계산기가 할 수 있는 일이라면 로봇을 만들지 마십시오."
하지만 만약 당신에게 정말로 로봇이 필요하다면 어떻게 될까요? 거기서 두 번째 도구가 등장합니다: **에이전틱 위임 정책(ADP)**입니다. 이것은 당신의 로봇 선원을 위한 "자유의 규칙서"와 같습니다. 단순히 "배를 고쳐라"라고 말하는 대신, ADP는 계층적인 권한 시스템을 사용하여 로봇이 할 수 있는 것과 할 수 없는 것을 정확하게 나눕니다.
ADP를 로봇의 행동을 제어하는 신호등 시스템이라고 생각해 보십시오:
- 초록불 (자율 단계 - Autonomous Tier): 로봇은 지도를 읽거나 온도를 확인하는 것처럼 혼자서 할 수 있는 일들을 수행합니다. 인간의 감시가 필요 없습니다.
- 노란불 (자문 단계 - Advisory Tier): 로봇은 "엔진 오일을 교체해야 할 것 같습니다"와 같이 제안을 할 수 있지만, 실제로 실행하기 전에는 반드시 인간이 "네, 진행하세요"라고 승인할 때까지 기다려야 합니다.
- 빨간불 (금지 단계 - Prohibited Tier): 이곳은 "만지지 마시오" 구역입니다. 로봇은 배를 충돌시키거나 중요한 파일을 삭제하는 등의 행동을 하는 것이 엄격히 금지됩니다.
ADP는 또한 다음과 같은 다른 중요한 규칙들도 다룹니다:
- 메모리: 로봇은 무엇을 기억할 수 있습니까? 환자나 코드에 대한 비밀을 유지할 수 있습니까, 아니면 작업이 끝나면 반드시 잊어야 합니까?
- 팀워크: 만약 로봇이 혼란에 빠지거나 두 로봇의 의견이 충돌한다면, 누구에게 연락해야 합니까? ADP는 이렇게 말합니다. "두 번 시도해도 해결되지 않는다면, 멈추고 인간에게 물어보십시오."
- 안전: 로봇이 진실을 말하고 있는지 어떻게 알 수 있습니까? 이 정책은 인간이 나중에 확인할 수 있도록 로봇이 수행한 모든 일에 대한 로그를 남길 것을 요구합니다.
저자들은 이 아이디어들을 두 가지 매우 다른 사례로 테스트했습니다. 첫 번째는 병원에서 환자를 퇴원시키는 것을 돕도록 설계된 로봇인 "병원 퇴원 에이전트(Hospital Discharge Agent)"입니다. 이 작업은 복잡하며, 보험사 및 의사들과 대화해야 하고, 잘못될 경우 위험이 큽니다. AJR은 "네, 이것은 로봇에게 적합한 작업입니다"라고 판정했고, ADP는 엄격한 규칙을 부여했습니다: 로봇은 환자의 차트를 읽을 수는 있지만(초록불), 의사의 승인 없이 퇴원 명령에 서명할 수는 없습니다(빨간불). 두 번째 사례는 앞서 언급한 "코드 리뷰 에이전트"입니다. AJR은 이를 검토한 후 "아니오, 이것은 너무 단순하고 구조적입니다. 로봇을 사용하지 말고 스크립트를 사용하십시오"라고 결론지었습니다.
이 논문은 모든 것을 해결했다고 주장하는 것이 아닙니다. 저자들은 우리가 여전히 이러한 작성된 규칙들을 로봇이 이해할 수 있는 실제 컴퓨터 코드로 어떻게 변환할지, 그리고 그것들을 어떻게 제대로 테스트할지를 알아내야 한다고 인정합니다. 하지만 핵심 아이디어는 명확합니다: 우리는 이 강력한 로봇들을 통제 없이 내버려 두어서는 안 됩니다. 우리는 규칙을 코드 속에 숨기는 것을 멈추고, 얼마나 많은 자유를 줄 것인지, 그리고 언제 그 자유를 회수할 것인지를 명확하게 글로 써 내려가야 합니다. AJR을 통해 로봇이 필요한지 결정하고, ADP를 통해 로봇이 어떻게 행동할지 결정함으로써, 우리는 이 디지털 선원들이 위험한 변수가 아닌 유능한 조력자가 되는 미래를 건설할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.