Administrative Law's Fourth Settlement: AI and the Scrutable State

정부를 거대한, 복잡한 기계라고 상상해 보십시오. 이 기계는 교통 문제를 해결하거나, 공기를 깨끗하게 유지하거나, 사람들이 아플 때 돕는 것과 같은 큰 문제들을 해결하기 위해 설계되었습니다. 오랫동안 이 기계를 운영하는 사람들(기관의 전문가들)은 까다로운 일을 해왔습니다. 그들은 복잡한 문제를 해결하기 위해 매우 똑똑해야 하고 첨단 도구를 사용해야 하지만, 만약 그들이 너무 똑똑해지거나 이해하기 너무 어려운 도구를 사용하게 되면, 일반 시민들과 그들을 감시하는 판사들이 무슨 일이 일어나고 있는지 볼 수 없게 됩니다. 이것은 마치 마술사가 모자에서 토끼를 꺼내는 것과 같습니다. 만약 그 기술이 너무 복면적이라면, 관객들은 "이것이 진짜인가? 공정한가? 실제로 누가 이 일을 하고 있는가?"라며 의구심을 갖기 시작할 것입니다.

이 논문은 정부의 유명한 문제인 "역량-책임성 함정(capability-accountability trap)"에 대해 탐구합니다. "역량"은 어려운 기술적 업무를 수행하는 정부의 능력을 의미합니다. "책임성"은 대중이 그 업무를 이해하고 점검할 수 있는 능력을 의미합니다. 지난 한 세기 동안, 정부가 어려운 일을 더 잘 해낼 때마다(컴퓨터나 통계학을 사용하는 것처럼), 일반 사람들이 그 작동 방식을 이해하는 것은 더 어려워졌습니다. 이를 해결하기 위해 정부는 자신들이 정직하다는 것을 증명하려고 많은 서류 작업과 규칙(절차)을 추가하기 시작했습니다. 하지만 이제는 서류 작업이 너무 많아져서 정부는 느리고 혼란스러우며 고치기도 어렵습니다. 이 논문은 현재 정부가 자신을 더 이해하기 쉽게 만들기 위해 규모를 줄이려 노력하고 있지만, 이 방식이 기후 변화나 팬데믹과 같은 새롭고 무서운 문제들을 해결하기에는 정부를 너무 약하게 만들 수 있다고 주장합니다. 핵심 질문은 이것입니다: 인공지능(AI)이라는 새로운 도구를 사용하여 정부를 동시에 초지능적이면서도 초투명하게 만들 수 있을까요?

---

정부의 성장통 이야기

이 논문은 지난 140년 동안 미국의 정부가 어떻게 자신의 지적 능력을 관리해 왔는지에 대한 이야기를 들려줍니다. 이 논문은 새로운 기술이 등장할 때마다 정부가 업무 수행 능력 면에서 "성장 급등(growth spurt)"을 겪지만, 동시에 일반 사람들이 무엇이 일어나고 있는지 보기 어렵게 만드는 "안개(fog)" 또한 발생한다고 주장합니다.

세 가지 초기 합의 (과거의 방식들)
저자는 정부가 적응해야 했던 역사의 세 가지 중요한 순간을 추적합니다.

1. 철도 시대: 기차가 처음으로 전국을 질주할 때, 기차는 지역 판사들이 이해하기에는 너무 빠르고 복잡했습니다. 정부는 이를 관리하기 위해 전문 위원회(ICC와 같은)를 만들었습니다. 이 전문가들을 통제하기 위해 법은 "기록을 남기고 이유를 설명해야 한다"라고 규정했습니다. 이는 효과적이었지만, 더 많은 규칙을 계속해서 추가하는 추세를 만들기 시작했습니다.
2. 대공황: 경제가 무너졌을 때, 정부는 수백만 명의 사람들을 동시에 도와야 했습니다. 그들은 사회 보장 제도 등을 관리하기 위해 새로운 통계 도구와 천공 카드 기계를 사용했습니다. 그러나 이러한 결정들이 수많은 사람에게 영향을 미쳤기 때문에, 일반 시민들은 그 수학적 원리를 이해할 수 없었습니다. 해결책은 행정절차법(APA)이었으며, 이는 "올바른 절차를 따르고 서류 흔적을 남기는 한, 괜찮다"라고 규정했습니다.
3. 컴퓨터 시대: 컴퓨터가 공기 오염이나 핵 안전과 같은 문제를 처리하기 위해 등장했을 때, 문제는 더욱 과학적으로 변했습니다. 정부는 복잡한 모델을 사용하기 시작했습니다. 법원은 정부의 과학을 이해할 수 없다는 것을 깨닫고, 대신 정부가 규칙을 잘 따르는지만 확인하기로 결정했습니다. 이는 유명한 '셰브론(Chevron)' 판결로 이어졌는데, 이는 기본적으로 "법이 불분명하다면, 정부가 타당한 이유를 가지고 있는 한 전문가들의 판단을 신뢰하겠다"라는 내용이었습니다.

현재의 위기: "퇴적 상태 (Sedimentary State)"
지금 우리는 이상한 상황에 처해 있습니다. 정부는 서류 작업에 허우적거리고 있습니다. 공정함을 기하기 위해 새로운 규칙이 추가될 때마다, 그것은 마치 퇴적암의 층처럼 오래된 규칙 위에 쌓였습니다. 이 "퇴적 상태"는 정부를 느리고 혼란스럽게 만들었습니다.

• 문제점: 정부는 규칙에 너무 얽매여 있어서 새로운 문제를 해결할 만큼 빠르게 움직일 수 없습니다.
• 반발: 최근 대법원과 대통령은 이러한 전문 기관들을 해체하기 시작했습니다. 그들은 "우리는 이 전문가들이 무엇을 하는지 이해할 수 없으므로, 우리가 볼 수 있는 크기로 축소하겠다"라고 말하고 있습니다. 그들은 독립적인 전문가들에 대한 보호를 제거하고, 더 많은 권력을 대통령이나 법원으로 되돌리고 있습니다.
• 위험 요소: 이 논문은 이것이 나쁜 생각이라고 경고합니다. 정부를 "조사 가능하게(scrutable)", 즉 눈에 잘 보이도록 만들기 위해 규모를 작고 단순하게 만든다면, 기후 변화나 새로운 질병과 같은 거대하고 복잡한 문제를 해결할 능력을 잃을 수도 있습니다.

새로운 해결책: AI를 통한 "네 번째 합의"

저자는 우리가 스마트한 정부와 투명한 정부 중 하나를 선택할 필요는 없다고 제안합니다. AI 덕분에 우리는 두 가지를 모두 가질 수 있을지도 모릅니다.

번역가이자 손전등으로서의 AI
논문은 AI가 정부의 복잡한 업무를 단순화하지 않으면서도 이해 가능하게 만드는 특별한 종류의 인프라 역할을 할 수 있다고 제안합니다.

• 대중을 위해: 정부의 공기 오염에 관한 200페이지짜리 규칙을 읽고, 그것이 당신의 가족에게 정확히 어떤 영향을 미치는지 평이한 영어(쉬운 언어)로 설명해 주는 챗봇을 상상해 보십시오.
• 판사를 위해: 수천 개의 의견을 읽고 주요 쟁점을 요약하거나, 정부의 수학적 계산이 실제로 맞는지 확인할 수 있는 도구를 상상해 보십시오.
• 목표: 단순히 정부가 체크리스트를 따랐는지(절차)를 확인하는 대신, AI는 정부가 실제로 옳은 일을 하고 있는지(실체)를 확인하는 데 도움을 줄 수 있습니다.

AI 정부를 위한 세 가지 새로운 규칙
이것이 작동하기 위해, 논문은 정부가 AI를 어떻게 사용해야 하는지에 대한 세 가지 새로운 규칙을 제안합니다.

1. "모델 및 시스템 문서 (ID 카드)": 기관이 AI 시스템을 사용할 때마다, 그들은 이를 위한 상세한 "ID 카드"를 보관해야 합니다. 이 문서는 해당 AI가 무엇을 하기 위한 것인지, 어떻게 테스트되었는지, 어떤 실수를 할 수 있는지, 그리고 누구에게 책임이 있는지를 설명할 것입니다. 이것은 정부 알고리즘을 위한 영양 성분 표와 같습니다.
2. "중대한 모델 변경 (업데이트 알림) 트리거": AI 시스템은 시간이 지나면서 변화하고 학습합니다. 논문은 만약 AI 시스템이 결정을 내리는 방식(예: 장애 수당 승인 방식 변경)을 실질적으로 바꿀 정도로 변화한다면, 정부는 이를 공표하고 이유를 설명해야 한다고 말합니다. 이것은 마치 자동차 엔진이 갑자기 다르게 작동하기 시작했을 때, 운전하기 전에 그 사실을 알고 싶어 하는 것과 같습니다.
3. 감사에 대한 존중 (신뢰하되 검증하라 규칙): 판사들이 AI 결정 뒤에 숨겨진 복잡한 수학을 이해하려고 노력하는 대신, 기관이 AI를 "감사(audit)"할 독립적인 전문가를 고용했는지 확인해야 합니다. 만약 기관이 "우리는 이것을 철저히 테스트했으며, 이것이 공정하게 작동한다는 증거는 다음과 같다"라고 보여줄 수 있다면, 법원은 이를 신뢰해야 합니다. 이는 초점을 "서류를 따랐는가?"에서 "도구가 안전하고 공정하다는 것을 증명했는가?"로 옮깁니다.

이것이 왜 중요한가
이 논문은 이러한 접근 방식이 한 세기 동안 정부를 붙잡고 있었던 "함정"을 깰 수 있다고 주장합니다.

• 논문은 AI가 이해 비용을 낮출 수 있다고 제안합니다. 현재 복잡한 정부의 결정을 이해하는 것은 어렵고 비용이 많이 듭니다. AI는 이를 저렴하고 쉽게 만들 수 있습니다.
• 논문은 우리가 결국 서류를 점검하는 것에서 벗어나, AI가 실제로 대중의 목표와 일치하는지 점검하는 단계로 나아갈 수 있다고 제안합니다.
• 논문은 이것이 마법 같은 해결책은 아니라고 경고합니다. 만약 AI가 편향되거나, 정부가 나쁜 결정을 숨기기 위해 AI를 사용한다면(이를 "가치 세탁(value laundering)"이라 부름), 우리는 이를 막기 위한 엄격한 규칙이 필요합니다.

이 논문이 말하지 않는 것
논문은 AI가 모든 것을 하룻밤 사이에 해결할 것이라고 약속하지 않도록 주의를 기울입니다.

• 논문은 AI가 인간 판사나 정치인을 대체할 것이라고 말하지 않습니다. 중요한 도덕적 문제에 대해서는 여전히 인간이 최종 결정을 내려야 합니다.
• 논문은 현재 AI가 스스로를 완벽하게 설명할 수 있다고 주장하지 않습니다. 기술은 여전히 발전 중이며, "환각(hallucination, AI가 사실을 지어내는 현상)"과 같은 위험이 존재합니다.
• 논문은 기존의 모든 규칙을 즉시 중단해야 한다고 주장하지 않습니다. 대신, AI를 사용하여 규칙이 더 잘 작동하고 덜 고통스럽게 만드는 방법을 제안합니다.

큰 그림

이 이야기는 경계 섞인 희망의 이야기입니다. 정부는 현재 복잡성을 해결하기 위해 스스로를 작게 만들려 하고 있으며, 이는 우리를 미래의 위기에 취약하게 만들 수 있는 순환 속에 갇혀 있습니다. 저자는 다른 길을 제시합니다. AI를 단지 업무를 수행하는 용도가 아니라, 그 업무에 빛을 비추는 용도로 사용하는 것입니다. AI 도구의 투명성, 테스트, 감사를 요구하는 새로운 규칙을 만듦으로써, 우리는 미래를 다룰 만큼 똑똑하면서도 누구나 이해할 수 있을 만큼 명확한 정부를 구축할 수 있습니다. 이것은 "두 마리 토끼를 다 잡으려는" 네 번째 합의, 즉 유능하면서도 책임 있는 정부를 향한 시도입니다.