💻 computer science

Agentic AI Autonomy Assessment: A Decision-Support Framework Towards Governed Supply Chain Systems

이 논문은 지속적인 거버넌스와 리스크 평가를 가능하게 하기 위해 세 가지 차원에서 과업 수준의 자율성을 측정하는 의사결정 지원 도구인 에이전틱 AI 자율성 평가(AAAA) 프레임워크를 소개하며, 자율성이 공급망 성과에 미치는 영향은 네트워크 내 위치에 따라 달라진다는 점을 밝힌다.

원저자: Lennart Trumpler, Rodrigo Furlan de Assis, Elias Ribeiro da Silva, Luis Antonio de Santa-Eulalia, Christian Hendriksen

게시일 2026-07-29✓ Author reviewed ⓘ

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lennart Trumpler, Rodrigo Furlan de Assis, Elias Ribeiro da Silva, Luis Antonio de Santa-Eulalia, Christian Hendriksen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신의 피자, 운동화, 비디오 게임이 집 앞까지 도착하게 만드는 보이지 않는 그물망인 트럭, 창고, 공장의 공급망이 초지능 디지털 비서들에 의해 운영되는 세상을 상상해 보십시오. 이들은 단순히 질문에 답하는 챗봇이 아닙니다. 바로 '에이전틱 AI(Agentic AI)'입니다. 이들을 생각할 때, 이들은 복잡한 문제를 보고, 이를 분해하고, 인간이 모든 버튼을 누를 필요 없이 원자재 주문부터 배송 일정 관리까지 스스로 해결할 수 있는 자율적인 로봇과 같습니다. 이것은 인공지능이 단순한 도움을 주는 도구에서 벗어나 실제로 자동차를 운전할 수 있는 부조종사로 진화하고 있는 컴퓨터 과학의 최첨단 분야입니다. 하지만 여기에는 함정이 있습니다. 만약 당신이 자율주행 자동차에 키를 맡긴다면, 그 차가 절벽 아래로 질주하지 않을 것이라고 어떻게 확신할 수 있을까요? 그 독립성을 어떻게 측정하며, 그 독립성이 실제로 좋은 것일까요? 이것이 바로 공급망 관리자들을 밤잠 설치게 하는 큰 질문입니다. 이러한 디지털 에이전트들이 더 똑똑해지고 더 독립적으로 변함에 따라, 기업들은 이들이 혼란을 야기하거나, 돈을 잃거나, 실수로 팀 전체를 해고하는 일이 없도록 그들의 '자유'를 추적할 방법이 필요합니다.

이러한 디지털 노동자들을 위한 '자유 측정기' 역할을 하는 새로운 연구가 등장했습니다. 덴마크와 캐나다의 전문가들로 구성된 연구진은 우리가 AI에 대해 이야기할 방법은 많지만, AI 에이전트가 자신의 작업에 대해 정확히 어느 정도의 통제권을 갖는지 측정할 좋은 자가 없다는 사실을 깨달았습니다. 그들은 **에이전틱 AI 자율성 평가(AAAA)**라는 프레임워크를 구축했습니다. 이 프레임 much는 AI가 '자율적'인지 단순히 추측하는 대신, AI가 인간 및 다른 시스템과 어떻게 상호작용하는지를 관찰합니다. 이들은 협업이 이루어지는 세 가지 구체적인 방식을 살펴봅니다: 위임(인간이 "이것은 당신이 처리하세요, 믿습니다"라고 말할 때), 컨설팅(AI가 "계획은 세웠지만, 확인해 주시겠어요?"라고 말할 때), 그리고 협업(그들이 동일한 과업을 수행하며 나란히 일할 때)입니다. 이러한 상호작용을 계산함으로써, 이 프레임워크는 AI가 얼마나 주도권을 쥐고 있는지, 혹은 얼마나 허락을 구하고 있는지를 나타내는 정확한 수치인 점수를 부여합니다.

이 '자유 측정기'가 실제로 작동하는지 테스트하기 위해, 연구진은 단순히 실험실에 앉아 있지 않고 게임을 수행했습니다. 그들은 양조장을 위한 공급망을 관리하는 디지털 보드게임과 같은 유명한 시뮬레이션인 **맥주 분포 게임(Beer Distribution Game)**을 사용했습니다. 이 게임에서는 공장, 유통업자, 도매업자, 소매업자가 되어 비용을 낮게 유지하면서 고객에게 맥주를 제때 전달하기 위해 노력해야 합니다. 연구진은 AI 에이전트들이 이러한 역할을 수행하도록 프로그래밍했지만, 에이전트들의 성격을 더 독립적이거나 덜 독립적으로 조정했습니다. 어떤 에이전트들은 모든 움직임에 대해 승인을 요청하는 불안한 인턴 같았고(낮은 자율성), 다른 에이전트들은 자신감 넘치는 매니저처럼 스스로 결정을 내리고 비상시에만 도움을 요청했습니다(높리 자율성).

결과는 놀랍고 다소 직관에 어긋났습니다. 숙련된 운전자에게 운전대를 맡기는 것처럼, AI에게 더 많은 자유를 주는 것이 항상 전체 시스템을 더 매끄럽고 저렴하게 만들 것이라고 생각할 수도 있습니다. 하지만 연구에 따르면 그것은 그렇게 간단하지 않았습니다. '자율성 점수'는 일정한 효과를 나타내지 않았으며, 이는 전적으로 에이전트가 공급망의 어느 위치에 있느냐에 따라 달랐습니다. 상류(Upstream) 플레이어들(공장과 유통업자)의 경우, 높은 자율성은 오히려 비용을 낮추었습니다. 마치 공장에 더 많은 자유를 주어 계획을 세우고 대응하게 하는 것이 공급망의 혼란을 더 잘 처리하도록 도운 것과 같았습니다. 그러나 하류(Downstream) 플레이어들(도매업자와 소매업자)의 경우, 높은 자율성은 비용을 증가시켰습니다. 고객과 가장 가까운 곳에 있는 에이전트들에게 너무 많은 자유를 주면, 그들이 실수를 하거나 과잉 반응하여 가격을 올리는 것으로 보입니다.

저자들은 이것이 공장은 불확실성을 다루며 선제적으로 행동해야 하는 반면, 소매업자는 고객의 즉각적인 요구에 더 가깝기 때문에 패닉에 빠지지 않도록 약간의 인간의 감독이 필요할 수 있기 때문이라고 설명합니다. 이 연구는 어떤 수준의 자유가 모두에게 '최선'인지 증명한 것이 아니라, 자율성은 주의 깊게 조정되어야 하는 도구라는 것을 보여주었습니다. 만약 잘못된 부분에 너무 많은 자유를 준다면, 비용을 줄이는 것이 아니라 오히려 더 지불하게 될 수도 있습니다.

궁극적으로, 이 논문은 공급망 내의 AI에 대한 미스터리를 해결했다고 주장하거나, 자율적인 에이전트 사용을 중단해야 한다고 말하는 것이 아닙니다. 대신, 미래를 위한 실질적인 툴킷을 제공합니다. 기업들은 더 나은 성과를 기대하며 맹목적으로 '자율성 다이얼'을 높여서는 안 된다고 제안합니다. 대신, 이 새로운 프레임워크를 사용하여 자신의 AI가 얼마나 독립적인지 정확히 측정하고, 지속적으로 모니터링하며, 해당 AI가 공급망의 어디에 위치하느냐에 따라 규칙을 조정해야 합니다. 이는 자율성을 단순히 완벽함을 만드는 마법의 스위치가 아니라, 디지털 공급망이 무너지지 않고 원활하게 돌아가도록 관리, 측정 및 통제되어야 하는 변수로 취급하는, 더 통제되고 투명한 접근 방식에 대한 촉구입니다.

기술 요약: 에이전틱 AI 자율성 평가 (AAAA) 프레임워크

문제 정의

고도로 자율적인 시스템으로서 복잡하고 장기적인 과업을 수행할 수 있는 에이전틱 AI(Agentic AI)의 급격한 도입은 공급망 관리 내의 거버넌스 메커니즘 발전을 앞지르고 있습니다. 자율성에 관한 기존 문헌은 세 가지 결정적인 한계를 가집니다:

이산적 분류 (Discrete Classification): 현재의 분류 체계는 불연속적인 자율성 클래스만을 제공하여 미묘한 차이를 평가하는 데 한계가 있습니다.
주관성 (Subjectivity): 평가는 휴리스틱 가이드와 주관적 판단에 의존하며, 이는 인간의 편향을 유입시킵니다.
생애주기적 맹목성 (Lifecycle Blindness): 기존 프레임워크는 자율성을 개발부터 실행, 그리고 수명 종료에 이르기까지 측정 가능한 특성이 아닌, 창발적 행동(emergent behavior)으로 취급하는 경향이 있습니다.

결과적으로 기업들은 에이전틱 공급망 시스템에서 자율성의 정도를 객적하게 정의, 할당 및 모니터링할 능력이 부족합니다. 이러한 격차는 인간의 통제력 상실, 목표 불일치, 예측 불가능한 창발적 행동, 그리고 조정 실패에 관한 상당한 리스크를 초래하여, 통제된 에이전틱 AI의 도입을 저해합니다.

방법론

이러한 격차를 해결하기 위해 저자들은 에이전틱 AI 자율성 평가 (AAAA) 프레임워크를 제안하고, 이를 통제된 시뮬레이션을 통해 검증합니다.

AAAA 프레임워크

이 프레임워크는 자율성을 에이전트 수준이 아닌 태스크(task) 수준에서 작동화하며, 에이전트의 내부 역량이 아닌 실행 중 관찰 가능한 상호작용에 초점을 맞춥니다. 이는 세 가지 핵심 구성 요소로 구축됩니다:

구조적 구성 요소 (Structural Components): 프레임워크는 상태(State) (내부 지식), 목표(Goal) (원하는 결과), 태스크(Task) (목표로부터 파생된 실행 단위), 행동(Action) (운영 실행), 그리고 외부 상호작용(External Interactions) (인간 또는 다른 시스템의 기여)를 통해 에이전트 시스템을 모델링합니다.
상호작용 메커니즘 (Interaction Mechanisms): 자율성은 태스크 소유권, 의사결정 권한, 실행 책임을 수정하는 세 가지 반복적인 상호작용 패턴을 통해 평가됩니다:
- 위임 (Delegation): 사전 정의된 경계 내에서 태스크 실행에 대한 책임을 에이전트에게 이전함.
- 컨설테이션 (Consultation): 진행하기 전 외부의 검증, 승인 또는 지식을 요청함. 이때 에이전트는 실행 책임을 유지함.
- 협업 (Collaboration): 계획 및 실행에 공동으로 참여함 (확장 가능한 메커니즘으로 언급되었으나, 주요 지표에서는 완전히 정량화되지 않음).
운영 지표 (Operational Metrics): 프레임워크는 두 가지 차원을 결합하여 **자율성 점수 (AS)**를 사용하여 자율성을 정량화합니다:
- 주도율 (Initiative Rate, IR): 전체 실행 가능 태스크 대비 내부적으로 생성된 태스크의 비율 ( $IR = N_I / N$ ).
- 컨설테이션율 (Consultation Rate, CR): 외부 컨설테이션이 필요한 태스크 대비 전체 태스크의 비율 ( $CR = N_C / N$ ).
- 자율성 점수 (Autonomy Score): $AS = w_1(IR) + w_2(1 - CR)$ , 여기서 가중치 $w_1$ 과 $w_2$ 는 맥락에 따라 달라짐.

실험 설정

프레임워크는 네 단계(공장, 유통업자, 도매업자, 소매업자)를 포함하는 표준 공급망 시뮬레이션인 변형된 **맥주 게임(Beer Distribution Game)**을 통해 테스트되었습니다.

아키텍처: LangGraph를 사용하여 ReAct 기반의 에이전트 아키텍처로 구현되었습니다. 각 단계는 목표 분해 및 도구 사용(예: 주문 넣기, 출하 생성)이 가능한 서브 그래프로 작동합니다.
변수: 시스템 프롬프트를 다섯 단계(L1–L5)로 조정하여, 에이전트의 행동을 "사용자 주도형"(L1)에서 "완전 독립형"(L5)까지 조절했습니다.
절차: 한 단계의 자율성을 변경하면서 다른 단계들은 균형 잡힌 수준(L3)으로 고정하는 방식으로 총 240회의 실험 실행을 수행했습니다 (단계당 60회).
지표: 성능은 단계별 총 비용(재고 유지 비용 + 백로그)과 **충족률(Fill Rate)**을 통해 측정되었습니다.

주요 결과

실험 결과, 자율성과 공급망 성과 사이에는 **위치 의존적 관계(position-dependent relationship)**가 있음이 드러났으며, 이는 자율성이 높을수록 무조건 성과가 향상될 것이라는 가설에 도전합니다.

상류(Upstream)와 하류(Downstream)의 괴리:
- 상류 단계 (공장, 유통업자): 높은 자율성은 낮은 비용과 상관관계가 있었습니다. 회귀 분석 결과 이 단계들에서 비용에 대한 음(-)의 기울기가 나타났으며, 이는 수요 불확실성과 정보 왜곡(채찍 효과)이 가장 높은 곳에서 자율적인 목표 분해와 선제적 의사결정이 유익함을 시사합니다.
- 하류 단계 (도매업자, 소매업자): 높은 자율성은 높은 비용과 상관관계가 있었습니다. 특히 소매업자의 경우 자율성과 비용 사이에 유의미한 양(+)의 상관관계가 나타났는데, 이는 고객 수요에 직접 노출된 하류 행위자들의 경우 과잉 반응을 방지하기 위해 더 엄격한 인간의 감독이 필요할 수 있음을 시사합니다.
통계적 유의성: 상류의 이점과 하류의 불이익 사이의 전환점은 도매업자 단계 부근에서 관찰되었습니다. 통합 선형 회귀 분석 결과 양의 계수( $\beta=+109.6, p=0.015$ )가 확인되었으며, 이는 공급망을 따라 아래로 내려갈수록 자율성에 따른 비용 구배(gradient)가 증가함을 나타냅니다.
거버넌스 변수로서의 자율성: 연구 결과 자율성은 **역량(capability)과 직교(orthogonal)**한다는 점이 입증되었습니다. 높은 자율성이 반드시 더 나은 의사결정 품질이나 낮은 비용을 보장하는 것은 아니었습니다. 대신, 자율성은 의사결정이 어떻게 이루어지는지를 결정했습니다. 프레임워크는 특정 성과를 예측하지 않고도 이러한 행동 변화를 성공적으로 추적했습니다.

주요 기여

새로운 프레임워크 (AAAA): 본 논문은 시스템 생애주기 전반에 걸쳐 에이전틱 AI의 자율성을 지속적으로 측정할 수 있는, 구현 독립적인 최초의 프레임워크를 도입합니다. 이는 불연속적인 분류 체계를 넘어 관찰 가능한 상호작용(위임, 컨설테이션, 협업)에 기반한 연속적인 태스크 수준의 지표로 나아갑니다.
위치 의존성에 대한 실증적 증거: 본 연구는 공급망 내에서의 자율성 가치가 균일하지 않다는 실증적 증거를 제공합니다. 자율성이 최적의 구성을 갖기 위해서는 행위자의 구조적 위치에 따라 달라져야 함을 밝혀냈습니다. 즉, 상류 행위자는 독립성으로부터 이득을 얻는 반면, 하류 행위자는 자율성으로 인해 손해를 볼 수 있습니다.
거버넌스 메커니즘: 프레임워크는 자율성을 성능 변수가 아닌 거버넌스 변수로 위치시킵니다. 이를 통해 기업은 허용 가능한 자율성 범위를 정의하고, 편차를 모니터링하며, 에이전트의 행동을 리스크 허용 범위 및 규제 요구사항에 정렬할 수 있습니다.

의의 및 주장

저자들은 AAAA 프레임워크의 주요 가치가 성능 극대화가 아니라, 통제 가능하고 투명한 에이전틱 AI 도입을 가능하게 하는 것에 있다고 주장합니다.

리스크 완화: 표준화된 측정 기준을 제공함으로써, 프레임워크는 기업이 인간의 통제력 상실 및 목표 불일치와 같은 리스크가 발생하기 전에 에이전트의 "독립 정도"를 모니터링할 수 있게 합니다.
맥락 인식 설계: 본 연구 결과는 에이전틱 AI에 대한 "원 사이즈(one-size-fits-all)" 접근 방식에 반대합니다. 대신, 상류의 계획 활동은 높은 자율성을 부여하고, 하류의 실행은 더 엄격한 인간의 감독이 필요한 것처럼 차별화된 자율성 구성을 옹호합니다.
정책의 토대: 이 프레임워크는 투명한 AI 정책(예: 가드레일) 개발을 지원하며, 인간-AI 협업 연구와 통합되어 복잡한 공급망 내에서 에이전틱 시스템의 통제된 기업 도입을 위한 경로를 제시합니다.

본 논문은 시뮬레이션 환경이 실제 세계의 복잡성을 완전히 포착하지 못할 수 있고, 대규모 언어 모델(LLM)의 확률적 특성이 자율성 수준에 변동성을 줄 수 있음을 인정하며 겸허히 결론을 맺습니다. 그러나 AAAA 프레임워크가 디지털화된 공급망의 거버넌스 메커니즘 발전을 위한 필수적인 토대를 제공한다고 주장합니다.