Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents

인공지능(AI)의 세계를 질병을 진단하거나 대출을 승인하는 등 모든 일을 수행하기 위해 고용된 로봇들이 가득한 거대하고 북적이는 도시라고 상상해 보십시오. 오랫동안 큰 걱정은 단순히 이 로봇들을 어떻게 만드느냐, 즉 그들이 똑똑하고 공정하며 뇌 속에 나쁜 코드가 들어있지 않도록 만드는 것이었습니다. 하지만 최근 과학자들과 법률가들은 로봇을 만드는 것이 이야기의 절반에 불과하다는 사실을 깨달았습니다. 진짜 과제는 로봇이 작동을 시작한 이후에 벌어지는 일들입니다. 이 분야를 "사후 배치 거버넌스(post-deployment governance)"라고 부릅니다. 이것은 자동차를 만드는 것과 실제로 도로 위에서 운전하는 것의 차이와 같습니다. 공장에서 완벽한 자동차를 만들 수는 있지만, 매일 브레이크를 점검하는 정비사가 없고, 제대로 작동하는 속도계가 없으며, 엔진에 불이 붙었을 때 어떻게 해야 할지에 대한 명확한 계획이 없다면, 그 자동차는 모두에게 위험한 존재가 됩니다.

이 논문은 그 "공장 이후" 단계에 대해 깊이 파고듭니다. 이 논문은 정부와 조직들이 AI를 안전하게 유지하기 위해 만든 세 가지 주요 규칙 세트를 살펴봅니다. 바로 EU AI 법(유럽의 엄격한 법률), NIST AI 위험 관리 프레임워크(미국의 자율적인 가이드라인), 그리고 GDPR(개인 데이터 보호를 위한 규칙집)입니다. 중요한 질문은 단순히 "이러한 규칙들이 존재하는가?"가 아니라, "문제가 발생했을 때 이 규칙들이 실제로 작동하는가?"입니다. 저자들은 AI 시스템이 실수를 저질렀을 때, 책임자들이 실제로 지켜보고, 문제를 보고하고, 이를 수정하고 있는지, 아니면 그저 아무도 눈치채지 못하기만을 바라고 있는지를 확인하고자 했습니다.

---

위대한 AI 현실 점검

당신이 2020년에서 2026년 사이에 480개의 서로 다른 로봇이 사고를 일으킨 도시를 조사하는 탐정이라고 상상해 보십시오. 어떤 로봇은 잘못된 의학적 조언을 했고, 어떤 로봇은 대출 신청을 불공정하게 거절했으며, 어떤 로봇은 교통 체증을 유발했습니다. 당신의 임수는 경찰 보고서를 조사하여 로봇 소유자들이 지켜야 할 규칙 책자를 준수했는지 확인하는 것입니다.

이 논문의 저자들은 정확히 그 일을 수행했습니다. 그들은 480건의 실제 AI 재난 사례를 조사하고, 앞서 언급한 세 가지 주요 규칙 책에서 추출한 9가지 특정 규칙과 대조했습니다. 그들은 누군가가 로봇을 지켜보고 있다는 로그 기록, 로봇이 고장 났을 때 제출된 보고서, 또는 가동을 중단하기 위한 계획과 같은 "증거"를 찾고 있었습니다.

거대한 놀라움: "유령" 규칙들
결과는 다소 무서웠습니다. 알고 보니 대부분의 사고에서 안전 규칙은 기본적으로 유령과 같았습니다. 종이 위에는 존재했지만, 현실 세계에서는 그 흔적을 전혀 찾을 수 없었습니다.

• EU AI 법: 이 규칙 책은 고위험 로봇이 "사후 시장 모니터링(post-market monitor)"을 갖춰야 한다고 명시합니다. 기본적으로 제품 출시 후 24시간 내내 로봇을 감시하는 보안 카메라와 같습니다. 연구 결과, 사고의 **77.1%**에서 누군가가 감시하고 있다는 증거가 전혀 발견되지 않았습니다. 이는 마치 브레이크도 없고 대시보드를 확인하는 사람도 없는 자동차를 운전하는 것과 같습니다.
• GDPR (데이터 보호): 이 규칙은 개인 데이터를 위험한 방식으로 사용하는 경우 "데이터 보호 영향 평가(Data-Protection Impact Assessment, 시작 전 안전 점검)"를 수행해야 한다고 규정합니다. 연구 결과, 해당 사건의 **99.6%**에서 이러한 안전 점검이 수행되었다는 기록이 전혀 없었습니다.
• NIST 프레임워크: 이 가이드는 문제가 생겼을 때 이를 해결할 계획을 세울 것을 제안합니다. 일부 기업은 결국 고장 난 로봇을 중단시키긴 했지만(약 **57.5%**의 경우), 대개 피해가 발생하고 뉴스가 이미 방송된 후에야 그러했습니다. 그들은 선제적으로 문제를 해결한 것이 아니라, 단지 뒷수습을 한 것에 불과했습니다.

"시스템적" 결함
저자들은 이러한 실패가 단순한 무작위 실수인지, 아니면 시스템 전체가 고장 난 것인지도 확인했습니다. 그들은 사고의 **9.8%**가 두 개 이상의 규칙 책을 동시에 위반한 실패였다는 것을 발견했습니다. 이는 단지 하나의 규칙 책이 잘못된 것이 아니라, 우리가 AI 안전을 관리하는 방식 전체에 몇 가지 핵심적인 톱니바퀴가 빠져 있음을 시사합니다. 이는 마치 브레이크도 없고, 핸들도 없고, 안전벨트도 없는 자동차와 같습니다.

비밀 병기: "내부 탐정"
이 이야기에서 가장 흥-미로운 부분은 여기입니다. 연구진은 회사의 자체 팀에 의해 발견된 사고와 외부 세계(언론, 화난 사용자, 연구자 등)에 의해 발견된 사고 사이의 거대한 차이를 포착했습니다.

• 내부 탐지: 회사가 스스로 문제를 발견했을 때, 그들은 규칙을 준수했을 가능성이 훨씬 높았습니다. EU AI 법의 경우, 스스로 발견한 사고의 **87.5%**가 규정을 준수하고 있었습니다.
• 외부 탐지: 외부 세계가 문제를 발견했을 때, 준수율은 고작 **5.3%**로 떨어졌습니다.

이는 회사의 사무실 안에 로봇을 매일 지켜보는 "탐정"을 실제로 두고 있는 기업들이 문제를 조기에 발견하고 규칙을 잘 따르고 있다는 것을 시사합니다. 문제가 터지기 전까지 뉴스가 나오기를 기다리는 기업들은 안전 점검에서 실패하고 있습니다. 저자들은 내부 모니터링 시스템을 갖추고 있는 것이 회사가 일을 잘하고 있다는 큰 단서라고 제안하지만, 이것이 좋은 행동을 "유발"한다는 것을 증명할 수는 없다고 인정합니다(즉, 좋은 기업들이 우연히 두 가지를 모두 갖추고 있을 수도 있기 때문입니다).

제안된 해결책: PAGCF
현재의 시스템은 대부분 사후 대응적(망가진 후에 고치는 방식)이므로, 저자들은 **선제적 AI 거버넌스 준수 프레임워크(PAGCF)**라는 새로운 계획을 제안합니다. 이것을 로봇 운전자를 위한 새로운 훈련 매뉴얼이라고 상상해 보십시오. 단순히 충돌에 반응하는 대신, 이 계획은 네 가지 단계를 가지고 있습니다:

1. 배치 전 평가: 로봇이 시작되기도 전에 안전 장비를 점검하고 계획을 세웁니다.
2. 지속적 모니터링: 사고가 되기 전에 문제를 포착할 수 있도록 로봇을 24시간 내내 라이브 카메라로 지켜봅니다.
3. 사고 대비: "소방 훈련"을 준비합니다. 로봇이 오작동할 경우 정확히 누구에게 연락하고 무엇을 말해야 할지 알아둡니다.
4. 교차 프레임워크 검증: 단 하나의 규칙만 따르는 것이 아니라, 모든 규칙 책을 동시에 준수하고 있는지 확인합니다.

우리에게 주는 의미
논문은 우리가 더 많은 규칙을 쓰고 그것이 작동하기를 바랄 수는 없다고 결론짓습니다. 규칙은 이미 존재하지만, 아무도 사용하지 않고 있습니다. 가장 큰 교훈은 AI가 고장 났다는 뉴스를 알려줄 때까지 기다리는 것을 멈춰야 한다는 것입니다. 우리는 AI가 작동하는 동안 그것을 지켜보는 시스템을 구축해야 합니다. 저자들은 만약 기업들이 이 "내부 모니터링"을 먼저 시작한다면, 거의 전무했던 안전 준수율을 85% 이상으로 끌어올릴 수 있다고 제안합니다.

이것은 마법의 지팡이는 아니며, 저자들은 이것이 보장된 해결책이 아니라 데이터에서 "본" 것에 기반한 것임을 주의 깊게 밝히고 있습니다. 하지만 메시지는 분명합니다. AI를 안전하게 만들고 싶다면, 우리는 단순히 사고를 수습하는 사람이 되는 것을 멈추고, 사고를 미연에 방지하는 사람이 되어야 합니다.