Governing agentic AI autonomy: an accountability-contingent frontier of organizational decision outcomes

기술 요약: 에이전트형 AI 자율성의 거버넌스

문제 제기
조직들은 의사결정 권한을 에이전트형 AI 시스템에 빠르게 위임하고 있으 있으나, 기존 문헌은 이러한 자율성의 안전한 한계에 대해 상충하는 지침을 제공하고 있다. 두 가지 지배적인 이론적 전통은 서로 반대되는 답을 제시한다:

1. 위임 전통(The Delegation Tradition): 에이전시 이론(agency theory)과 인적 요인에 뿌리를 둔 이 전통은 자율성을 에이전트의 역량이 높아질수록 가치가 단조 증가하는 자원으로 취급한다. 이는 더 많은 재량권이 주의력을 절약하고 의사결정을 가속화한다고 가정하며, 오류의 비용이나 이를 관리하기 위해 필요한 감독의 필요성을 종종 누락한다.
2. 책임 전통(The Accountability Tradition): 책임 및 감독 이론에 뿌리를 둔 이 전통은 자율성을 '책임의 공백(responsibility gaps)'을 만드는 리스크로 취급한다. 이들은 거버넌스를 제약이나 브레이크로 간주하며, 자율성이 제공하는 효율성 이득을 종종 누락한다.

본 논문은 이 두 전통이 자율성의 가치를 구성하는 서로 다른 요소들을 억제함으로써 서로 엇갈린 논의를 하고 있다고 주장한다. 경험적으로 이러한 분리는 결과의 차이로 나타난다. 자율성을 예측 정확도에 따라 평가한 연구들은 단조 증가를 보고하는 반면, 의사결정 결과(오류 비용 및 감독 부하를 차감한 순가치)에 따라 평가한 연구들은 감소하거나 음(-)의 수익을 보고한다. 현재 이 분야에는 효율성, 오류 비용, 감독 부하를 공동으로 가중하는 통합된 가치 함수가 결여되어 있으며, 책임 구조(accountability architecture)는 외생적 한계가 아닌 설계 변수로 다루어지지 않고 있다.

연구 방법론
본 논문은 이론적 격차를 진단하고, 정식 모델을 구축하며, 이를 경험적 데이터로 검증하기 위해 네 가지 측면의 접근 방식을 채택한다:

1. 코딩된 합성(Coded Synthesis): 최근 연구 16개(2023~2026년)에 대한 체계적 검토를 수행하여, 평가 지표(정확도 vs. 의사결정 결과 vs. 감독)가 보고된 자율성의 수익률 차이를 설명하는지 테스트하였다.
2. 정식 모델링(Formal Modeling): 계산 조직 이론 프레임워크를 개발하였다. 모델은 기대 의사결정 결과 $D$를 자율성 수준($a$), 책임 구조($r$), 과업 복잡도($c$), 환경 불확실성($u$)의 함수로 정의한다.
   • 효율성 이득: 자율성에 따라 선형적으로 증가하는 것으로 모델링된다.
   • 오류 비용: 자율성 및 과업 복잡도에 따라 볼록하게(convex) 증가하지만, 책임 구조의 완화 능력에 의해 할인된다.
   • 감독 부하: 자율성에 따라 감소하지만(검토해야 할 결정의 감소), 거버넌스 구조의 특정 오버헤드에 따라 증가한다.
   • 모델은 책임 구조(없음, 사후 추적성, 사전 경계 설정, 하이브리드)를 설계 변수로 취급하여, 이들이 최적 자율성 수준의 높이와 위치를 변화시킨다고 본다.
3. 실제 데이터 패널 분석(Real-Data Panel Analysis): AI Incident Database(2019~2026년 2분기)의 1,383개 AI 사고 데이터를 사용하여 포아송 회귀 모델을 추정하였다. 분석은 분기별 사고 건수를 조직의 도입률 및 거버넌스 강도 지수(주요 AI 거버넌스 도구의 누적 수)에 대해 회귀 분석하였다.
4. 정형화된 계산 실험(Stylized Computational Experiment): 시뮬레이션을 실행하여 모델의 예측(서로 다른 구조가 최적 자율성 수준을 어떻게 변화시키는지)을 입증함으로써 '거버넌스 프런티어(governance frontier)'를 시각화하였다.

주요 결과

• 지표 의존적 분산: 코딩된 합성은 평가 지표가 보고된 패턴을 결정함을 확인하였다. 정확도로 측정된 연구의 100%가 단조 증가를 보고한 반면, 의사결정 결과로 측정된 연구는 9%, 감독 기준으로 측정된 연구는 0%만이 그러한 경향을 보였다. 피셔 정확 검정(Fisher exact test) 결과 p-값이 0.025로 나타나, 이러한 분산이 체계적이며 지표와 연관되어 있음을 보여주었다.
• 역 U자형 관계: 실제 데이터 패널 분석은 조직의 도입 강도와 사고 노출 사이의 역 U자형 관계를 지지한다. 사고 노출이 정점에 달하는 지점은 조직 도입률이 약 73%에 달할 때로 추정되었다. 이 지점을 넘어서면 사고 증가율이 둔화되는데, 이는 오류 비용과 감독 포화 상태가 효율성 이득을 압도한다는 모델의 예측과 일치한다.
• 거버넌스의 조절 효과: 거버넌스 강도와 시간 추세 사이의 상호작용은 점 추정치에서 음(-)의 값을 가지며, 이는 강력한 거버넌스 프레임워크가 사고 노출의 증가를 늦추는 것과 관련이 있음을 시사한다. 그러나 붓스트랩 신뢰 구간이 0을 포함하고 있어, 이 조절 효과는 결론적이라기보다 시사적인 수준이다.
• 구조적 변화(Regime Break): 시간 홀드아웃 검증 결과, 지수적 성장을 가정한 추세 기반 예측은 2025~2026년에 관찰된 둔화를 예측하는 데 실패했다. 역 U자형 도입 곡선을 포함한 모델은 이러한 둔화의 방향성을 포착했으나, 2025년의 정점을 과소 예측하였다.
• 계산적 프런티어: 정형화된 실험은 강력한 책임 구조가 최적 자율성 수준을 오른쪽으로 이동시킨다는 것을 보여준다. 예를 들어, '하이브리드' 구조 하에서는 최적 자율성 수준이 (프레임워크가 없을 때의) 3.7에서 4.3(5단계 척도 기준)으로 이동한다. 반대로, 과업 복잡도가 높아지면 최적의 정점은 왼쪽으로 이동한다.

주요 기여
본 논문의 주요 기여는 위임 전통과 책임 전통의 **가치론적 화해(value-theoretic reconciliation)**이다. 본 논문은 단순히 "더 많은가 적은가"의 논쟁을 넘어 다음을 제공함으로써 논의를 진전시킨다:

1. 통합 가치 함수: 효율성 이득, 오류 비용, 감독 부하를 공동으로 가중하는 정식 모델을 통해, '안전한' 자율성 수준을 이론적 가정이 아닌 경험적 질문으로 만든다.
2. 설계 변수로서의 책임: 거버넌스를 단순한 제약이 아니라 거버넌스 프런티어의 모양과 위치를 바꾸는 변수로 재정의한다.
3. 검증 표준: 평가 지표와 책임 구조를 명시적으로 고려하는 AI 거버넌스 평가 프로토콜을 도입하며, 현재의 이견은 암묵적이고 불일치하는 지표의 증상이라고 주장한다.

의의 및 주장
본 논문은 AI 거버넌스 문헌의 파편화가 기계의 역량에 관한 문제가 아니라 불완전한 이론적 프레임워크의 증상이라고 주장한다. 목적 함수를 명시함으로써, "얼마만큼의 자율성이 안전한가"라는 질문을 다룰 수 있는 문제(tractable)로 만든다.

저자들은 결과가 단 하나의 보편적인 '안전한 자율성 수치'를 제공하는 것이 아니라고 겸허히 밝힌다. 대신, 프레임워크, 결과 지표, 그리고 검증 표준을 제공한다. 의의는 정적인 규칙에서 동적인 설계 선택으로 초점을 옮기는 데 있다. 동일한 자율성 수준이라도 어떤 구조 아래에서는 위험할 수 있고, 다른 구조 아래에서는 최적일 수 있으며, 최적의 수준은 과업 복잡도에 따라 달라진다. 본 논문은 이 프레임워크가 계산 조직 전통에 새로운 연구 대상인 '기계 자율성의 거버넌스'를 제공함으로써, 이론적 효율성과 실무적 리스크 관리 사이의 간극을 메운다고 결론짓는다.