Scaling, Lock-In, and Proxy Compliance: A Political Economy of Responsible AI

기술 요약: 규모의 경제, 락인(Lock-in), 그리고 프록시 컴플라이언스(Proxy Compliance)

문제 제기
본 논문은 책임 있는 AI(Responsible AI) 분야의 핵심적인 난제, 즉 가시적인 준수(예: 모델 카드, 표준화된 평가, 문서화)와 실질적인 위해 완화(substantive harm mitigation) 사이의 지속적인 불일치 문제를 다룹다. EU AI 법안과 같은 프레임체가 광범-한 문서화 의무를 부과하고 있음에도 불구하고, 반복되는 위해와 책임의 공백은 조직들이 실제 위험 감소에는 투자를 아끼면서 관찰 가능한 책임 신호만을 생성하는 '프록시 컴플라이언스(대리 준수)'를 합리적으로 선택할 수 있음을 시사한다. 저자들은 이것이 단순히 윤리적 프레임워크의 실패가 아니라, 벤더가 통제하는 증거 생성, 배포자의 전환 비용(락인), 그리고 검증 가능한 증거에 의존하는 집행 메커니즘 사이의 상호작용이라는 제도적 매개변수의 구조적 결과라고 주장한다.

방법론
저자들은 세 명의 행위자—AI 벤더(Vendor), 배포자(Deployer), 규제자(Regulator)—가 참여하는 순차적 정치경제 게임을 개발한다. 이 모델은 정적(static)이며 단일 벤더를 대상으로 하며, 규모와 시장 집중도를 내생 변수가 아닌 제도적 배경으로 취급한다.

• 타임라인:

  1. 벤더는 **감사 가능성(auditability, $t$)**과 **실질적 완화(substantive mitigation, $e$)**를 선택한다.
  2. 배포자는 이러한 선택을 관찰하고 채택 여부를 결정하며, 채택할 경우 모니터링(monitoring, $m$) 수준을 결정한다. 채택 시에는 전환 비용(switching costs, $s$), 즉 락인이 발생한다.
  3. 위해($h$)가 실현된다. 증거는 $t$와 $m$에 의존하는 확률 $p(t, m)$에 따라 생성된다.
  4. 실행 가능한 증거가 발견되면 집행(enforcement)이 이루어진다.

• 핵심 메커니즘:

  • 감사 가능성 ($t$): 조달 기준(procurement floors)을 충족하는 데 도움을 주지만, 동시에 탐지 확률을 높인다.
  • 완화 ($e$): 위해 발생 확률을 직접적으로 낮춘다.
  • 락인 ($s$): 배포자의 유효한 구제 수단($\delta_{eff}$)을 감소시켜 모니터링 동기를 약화시킨다.
  • 집행: 검증 가능한 증거에 의존한다. 벤더는 탐지 확률($p + \Delta$, 여기서 $\Delta$는 독립적 감사 역량을 의미함)에 비례하는 페널티를 직면한다.

• 평형 개념: 저자들은 벤더가 배포자의 모니터링 반응을 예측하는 부분게임 완전 평형(subgame-perfect equilibrium)을 도출한다. 배포자는 기대되는 구제 이익(감소된 위해 노출)이 모니터링 비용을 상회할 때만 모니터링을 수행하며, 이 계산은 전환 비용에 의해 크게 좌우된다.

주요 기여

1. 프록시 컴플라이언스의 공식화: 본 논문은 벤더가 최소한의 관찰 가능한 조달 기준($t^* = \bar{t}$)은 충족하지만, 실질적 완화($e^*$)는 사회적 최적치($e_{FB}$)보다 엄격히 낮게 선택하는 평형 상태로서 '프록시 컴플라이언스'를 정의한다. 이는 높은 전환 비용이 배포자의 모니터링을 억제하고, 이것이 다시 벤더의 기대 집행 노출을 낮추어 실질적 완화에 대한 유인을 감소시키기 때문에 발생한다.
2. 내생적 모니터링: 모니터링이 외생적인 모델들과 달리, 이 프레임워크는 벤더가 자신의 완화 선택이 배포자의 모니터링 강도에 미치는 영향을 예측할 수 있게 한다. 높은 완화는 잔여 위해를 줄이지만, 역설적으로 배포자의 모니터링 동기를 감소시키는 피드백 루프를 생성할 수 있다.
3. 정책 레버 분석: 저자들은 네 가지 뚜렷한 제도적 레버인 독립적 감사권, 휴대성(portability, 전환 비용 감소), 사고 보고, 그리고 결과 연동 책임에 대한 비교 정학(comparative statics)을 도출한다.

결과
분석은 유일한 내부 평형을 산출하며, 완전한 완화(위해가 제거되는 코너 솔루션)를 위한 조건을 규명한다.

• 명제 4.4 (프록시 컴플라이언스의 존재): 강력한 독립적 탐지($\Delta = 0$)가 없고 전환 비용($s$)이 충분히 높을 경우, 평형은 프록시 컴플라이언스로 수렴한다. $s \to \infty$로 갈 때, $m^* \to 0$이 되며, $e^*$는 기초적인 감사 기준에 의해서만 결정되어 종종 사회적 최적치보다 훨씬 낮은 수준에 머문다.
• 명제 4.5 (책임성): 독립적 탐지($\Delta$)를 높이거나 전환 비용($s$)을 낮추면 평형 완화 수준이 높아진다. 다만, $\Delta$의 효과는 모니터링 반응(완화가 높아지면 모니터링은 낮아짐)에 의해 감쇄되지만, $\Delta$의 긍정적 효과를 역전시키지는 않는다.
• 정리 5.1 (감사권): 충분히 강력한 독립적 감사권($\Delta$)은 락인($s$)의 수준과 관계없이 프록시 컴플라이언스를 제거하고 완전한 완화($e^* = e_{FB}$)를 달아낼 수 있다. 이는 모델에서 가장 강력한 단일 레버이다.
• 명제 5.2 (휴대성): 전환 비용을 낮추는 것은 배포자의 레버리지와 모니터링 유인을 회복시켜 완화를 높인다.
• 명제 5.3 (사고 보고): 의무적 보고는 벤더가 통제하는 접근 방식을 대체하는 독립적 증거 채널($\mu\rho$)을 생성하여, 감사 가능성이 낮더라도 완화를 높인다.
• 명제 5.4 (결과 연동 책임): 실현된 위해와 직접 연결된 책임($\lambda_{OFO}$)은 탐지 확률 $p(t, m)$과 독립적으로 완화를 높이며, 검증이 취약할 때 강력한 유인을 제공한다.

의의 및 주장
본 논문은 "왜 가시적인 준수와 제한적인 완화가 공존할 수 있는가"에 대한 실행 가능한 제도적 설명을 제공한다고 주장한다. 저자들은 관찰 가능한 책임 신호와 위해 감소 사이의 간극이 반드시 구현의 실패가 아니라, 다음과 같은 요인들에 의해 구동되는 평형의 결과라고 주장한다:

1. 증거에 대한 벤더의 통제: 벤더가 검증 가능한 증거를 생성하는 인프라(예: API 접근, 로그)를 통제할 때, 감사 가능성을 제한할 수 있다.
2. 락인(Lock-in): 높은 전환 비용은 배포자의 징계 기제로서의 능력을 약화시킨다.
3. 증거 의존적 집행: 페널티가 결과가 아닌 탐지된 증거에 의존할 때, 벤더는 감사 가능성의 한계 비용이 기대 페널티의 증가분보다 크다면 투명성을 최소화할 유인을 갖는다.

저자들은 자신의 모델이 벤치마크임을 강조하며, 단일 거버넌스 도구가 충분하다는 주장이 아님을 경고한다. 감사 독립성, 보고 범위, 그리고 신뢰할 수 있는 제재가 이러한 메커니즘이 작동하기 위한 전제 조건이다. 결론적으로, 책임성은 검증 가능성(증거에 대한 독립적 접근)과 행동할 수 있는 힘(배포자의 신뢰할 수 있는 구제 수단)을 모두 필요로 하며, 이러한 구조적 뒷받침이 없는 절차적 준수(문서화)는 지속적인 프록시 컴플라이언스로 이어질 가능성이 높다고 제언한다.