Towards Adaptive Categories: Dimensional Governance for Agentic AI

기술 요약: 적응형 범주를 향하여: 에이전트형 AI를 위한 차원적 거버넌스

문제 제기
본 논문은 기존의 AI 거버넌스 프레임워크와 진화하는 인공지능의 본질 사이의 중대한 불일치를 식별한다. 현재의 규제 모델은 정적 범주적 프레임워크(예: 고정된 위험 등급, 이진적 자율성 수준, 또는 경직된 '인간 개입(human-in-the-loop)' 정의)에 의존하고 있으며, 이는 협소하고 예측 가능한 시스템을 위해 설계되었다. AI가 정적 도구에서 자기 지도 학습, 파운데이션 모델, 다중 에이전트 아키텍처를 특징으로 하는 에이전트형 실체(agentic entities)로 전환됨에 따라, 이러한 정적 범주는 인간과 AI 관계의 유동성을 포착하는 데 실패한다.

저자들은 정적 범주화가 두 가지 주요 이유로 인해 실패한다고 주장한다:

1. 맥락 의존성: 위험은 모델의 내재적 속성이 아니라 배포 맥락으로부터 발생한다. 단일한 거대언어모델(LLM)은 저위험 창의적 보조 도구부터 고위험 임상 진단 도구까지 넓은 범위를 가질 수 있으며, 이는 고정된 위험 라벨을 불충분하게 만든다.
2. 동적 진화: 정적 산물(예: 의약품)과 달리, AI 시스템은 지속적으로 업데이트되고 미세 조정되며 수정된다. 특정 구성 하에 승인된 시스템이 업데이트 후 다르게 행동할 수 있음에도 불구하고, 범주적 프레임워크는 이러한 급격한 변화를 추적하는 데 어려움을 겪는다.

이러한 경직성은 진화하는 시스템이 감시를 회피하거나, 시스템을 부적절한 틀에 강제로 끼워 맞춤으로써 혁신을 저해하는 규제 공백을 초래한다.

방법론 및 프레임워크
본 논문은 정적 범주화에 대한 이론적 대안으로 **차원적 거버넌스(Dimensional Governance)**를 제안한다. 이 프레임워크는 범주를 완전히 폐기하는 대신, 범주를 연속적인 기저 차원 위에 구축된 맥락 민감형 지정 사항으로 재배치한다. 방법론은 세 가지 핵심 메커니즘을 포함한다:

1. 연속적 측정: 시스템을 고정된 상자에 할당하는 대신 진화하는 축을 따라 추적한다.
2. 증거 기반 임계값: 규제 요구사항을 촉발하는 이러한 차원상의 특정 지점들을 설정한다.
3. 적응형 조정: 안정적인 차원적 프레임워크를 유지하면서, 증거가 축적되거나 맥락이 변화함에 따라 임계값을 수정한다.

이 프레임워크의 핵심은 **차원적 거버넌스의 "3A"**이다:

• 의사결정 권한(Decision Authority): 인간과 AI 사이의 의사결정 권력 분배를 추적한다 (순수 자문에서 독립적 결정권까지).
• 프로세스 자율성(Process Autonomy): 시스템이 인간의 개입, 감독 또는 통제 없이 작동하는 정도를 측정한다.
• 책임 구성(Accountability Configuration): 투명성, 이의 제기 가능성 및 구제 메커니즘을 포함하여 결정과 결과에 대한 책임 할당을 매핑한다.

저자들은 범주가 측정 가능한 연속체 위에 구축될 때 가장 효과적이라는 점을 입증하기 위해 정신의학, 발달 심리학, 금융 신용 점수(경제 상황에 따라 '신용도'에 대한 임계값이 조정되는 경우)의 차원적 접근 방식과 유사성을 끌어온다.

주요 기여
본 논문의 주요 기여는 정적 분류에서 동적 차원 추적으로의 개념적 전환이다. 구체적인 기여는 다음과 같다:

• 3A 프레임워크: 인간-AI 관계를 측정하기 위한 기초 차원으로 권한(Authority), 자율성(Autonomy), 책임(Accountability)을 정의한다.
• 임계 신뢰 임계값(Critical Trust Thresholds): 거버넌스의 필요성이 크게 변화하는 결정적 지점들을 식별한다. 논문은 네 가지 특정 임계값을 제시한다:
  • 검증에서 위임으로(Verification-to-Delegation): 수동 검증이 더 이상 불가능해져 통계적 신뢰로 전환되는 시점.
  • 프로세스에서 결과로(Process-to-Outcome): 내부 투명성만으로는 불충분하여 결과 검증에 집중해야 하는 시점.
  • 정보에서 권한으로(Information-to-Authority): 시스템이 권고에서 자율적 의사결정으로 전환되는 시점.
  • 개인에서 집단으로(Individual-to-Collective): 거버넌스가 고립된 시스템 모니터링에서 다중 에이전트 시스템의 네트워크 수준 행동 검증으로 전환되어야 하는 시점.
• 측정 전략: '권한'과 같은 차원이 물리적 속성은 아니지만, 측정 이론(GDP나 인플레이션율과 유사함)을 사용하여 실행 가능함을 제안한다. 논문은 의사결정권 할당, 오버라이드(override) 능력, 감사 투명성 점수와 같은 구성 요소를 통해 이를 정량화할 수 있다고 제안한다.
• 하이브리드 거버넌스 모델: 차원적 거버넌스가 범주를 대체하는 것이 아니라 강화한다고 주장한다. 범주는 규제 앵커(예: EU AI Act의 위험 등급) 역할을 하며, 차원적 추적은 이러한 경계 내에서 비례적 감독과 지속적인 보정을 가능하게 한다.

결과 및 발견
이론적 논평으로서, 본 논문은 경험적 실험 결과를 제시하지 않는다. 대신, 그 "결과"는 예시적 사례를 통한 프레임워크의 효용성에 대한 논리적 입증이다:

• 긴급 출동 시스템: 논문은 긴급 출동 AI가 인간 주도 의사결정에서 실시간 자율성으로 어떻게 진화하는지 보여준다. 정적 모델은 책임의 점진적 변화를 놓칠 수 있지만, 차원적 거버넌스는 시스템이 임계 신뢰 지점을 통과하는 것을 추적하여 선제적인 감독 조정을 가능하게 한다.
• 금융 및 의료 응용 분야: 저자들은 신용 점수 알고리즘이 암묵적으로 사실상의 의사결정 권한을 가정하거나, 임상 도구가 인간의 오버라이드가 거의 발생하지 않을 정도로 신뢰받게 되는 것과 같은 "드리프트(drift)"를 차원적 추적이 어떻게 감지할 수 있는지 보여준다.
• 리스크 완화: 프레임워크는 리스크가 가시화되기 전에 미묘한 거버넌스 변화를 감지할 수 있음을 보여줌으로써, 감독을 사후 대응적 방식에서 선제적 방식으로 전환한다.

의의 및 주장
본 논문은 차원적 거버넌스가 다양한 이해관계자(규제 기관, 기술자, 윤리학자, 산업계) 간의 협력을 가능하게 하는 AI 감독을 위한 새로운 인프라를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 적응성: 기술적 발전과 입법 업데이트 사이의 시차 문제를 해결하며, 안전을 타협하지 않으면서 규제가 AI 역량과 함께 진화할 수 있는 경로를 제공한다.
• 공통 언어: AI 거버넌스 과제를 논의하기 위한 공통의 어휘를 제공하여 기술 전문가와 정책 입결자 간의 조율을 용이하게 한다.
• 투명성을 통한 확실성: 저자들은 전통적인 규제가 '고정성'을 통해 확실성을 제공하는 반면, 차원적 거버넌스는 프로세스의 투명성을 통해 확실성을 제공한다고 주장한다. 이해관계자들은 시스템이 영구적으로 '저위험'임을 아는 것이 아니라, 측정된 차원, 현재 임계값, 그리고 그 진화를 위한 증거 기반 프로세스를 이해함으로써 명확성을 얻는다.

궁극적으로, 본 논문은 에이전트형 AI 시대에는 적응성이 선택이 아닌 필수라고 단언한다. 차원적 거버넌스는 오늘날의 모습뿐만 아니라, 앞으로 되어갈 모습까지 관리할 수 있도록 사회를 준비시킨다.