Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents
이 실증적 연구는 2020년부터 2026년까지의 AI 사건들을 주요 규제 프레임워크에 따라 분석하여, 특히 외부 탐지 및 영향 평가 측면에서 나타나는 중대한 사후 배포 책임 격차를 밝히는 한편, 이러한 체계적 실패를 해결하기 위한 선제적 AI 거버넌스 준수 프레임워크(PAGCF)를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
병원의 생사 결정을 내리는 소프트웨어, 대출 승인 여부를 결정하는 알고리즘, 그리고 입사 지원서를 분류하는 시스템이 끊임없이 감시받는 세상을 상상해 보십시오. 수년 동안 인공지능에 관한 논의는 이러한 시스템이 어떻게 구축되는지, 그리고 가동되기 전에 얼마나 공정한지에 집중되어 왔습니다. 하지만 그만큼이나 중요한 새로운 질문이 등장했습니다. 바로 시스템이 배포된 후에는 어떤 일이 벌어지는가 하는 점입니다. 일단 이 시스템들이 현실 세계에서 작동하기 시작하면, 누가 이를 감시하고, 언제 잘못되는지를 포착하며, 사람들에게 해를 끼치기 전에 이를 수정할 책임을 질 것인가 하는 문제입니다. 이것이 바로 '배포 후 책임성(post-deployment accountability)'의 영역입니다. 이는 코드 자체에 관한 것이 아니라, 코드를 통제하는 인간과 조직의 루틴에 관한 것입니다. 만약 시스템이 위험한 오류를 내기 시작한다면, 회사는 즉시 그 사실을 알 수 있습니까? 그들은 이를 멈출 계획을 가지고 있습니까? 영향을 받은 사람들에게 알립니까? 이러한 안전망이 없다면, 아무리 정교하게 설계된 기술이라 할지라도 관리되지 않는 해악의 근원이 될 수 있습니다.
한 연구팀은 이러한 안전망이 실제로 존재하는지 확인하기 위해 조사에 착수했습니다. 그들은 이론적인 규칙이나 기업의 약속을 살피는 대신, 인공지능 시스템의 실제 실패 사례들을 조사했습니다. 연구진은 2020년에서 2026년 사이에 AI 시스템이 피해를 입힌 480건의 구체적인 사건들에 대한 데이터를 수집했습니다. 이 사건들은 의료 오류부터 편향된 채용 결정에 이르기까지 다양했으며, 이러한 사건들을 추적하는 공개 데이터베이스에서 수집되었습니다. 연구진은 이 사건들을 AI를 규제하기 위해 설계된 세 가지 주요 규칙 세트, 즉 유럽연합의 AI 법(AI Act), 미국 국립표준기술연구소(NIST)의 자율 프레임워크, 그리고 개인정보 보호에 초점을 맞춘 일반 데이터 보호 규정(GDPR)에 비추어 측정했습니다. 그들은 기업들이 시스템을 지속적으로 모니터링하거나, 심각한 사고를 보고하거나, 발생 전 위험을 평가하는 등 이 규칙들이 요구하는 사항들을 실제로 수행하고 있는지에 대한 구체적인 증거를 찾고자 했습니다.
결과는 냉혹한 현실을 보여주었습니다. 안전망은 대체로 부재했습니다. 연구진이 기업들이 시스템 출시 후 시스템을 감시하고 있는지에 대한 증거를 찾았을 때, 거의 아무것도 발견하지 못했습니다. 필요한 지속적 모니터링이 이루어지고 있다는 증거가 없는 경우가 전체의 약 80%에 달했습니다. 개인정보 보호 및 위험 평가와 관련된 규칙의 경우, 그 격차는 더욱 컸습니다. 관련 사례 중 99% 이상에서 공식적인 위험 평가가 수행되었다는 공적인 기록이 없었습니다. 이는 기업들이 특정 법을 어겼다기보다는, 어떤 규칙이라도 준수하고 있음을 증명할 수 있는 문서화와 프로세스가 완전히 결여되어 있는 모습이었습니다. 연구진은 이러한 시스템이 실패했을 때, 공적인 기록에는 누군가가 지켜보고 있었는지, 대응 계획이 있었는지, 혹은 누군가 책임을 지고 있었는지에 대한 기록이 거의 남아 있지 않다는 것을 발견했습니다.
가장 드러내는 바가 컸던 발견은 이러한 실패가 어떻게 발견되었는가에 관한 것이었습니다. 대다수의 경우, 문제는 시스템을 운영하는 기업에 의해 발견된 것이 아니었습니다. 대신, 이미 피해가 발생한 후에 기자, 연구자, 또는 대중에 의해 밝혀졌습니다. 연구진은 기업이 오류를 감시하고 공론화되기 전에 이를 잡아낼 수 있는 내부 시스템을 갖추고 있는 소수의 사례에서는 결과가 극적으로 다르다는 것을 발견했습니다. 기업이 스스로 문제를 발견한 아주 적은 수의 사례에서는, 규칙을 준수하고 신속하게 대응하며 문제를 해결할 가능성이 훨씬 높았습니다. 이는 문제가 폭발하기 전에 이를 포착할 수 있는 능력이 기업이 기술을 효과적으로 관리할 수 있는지 여부를 결정하는 가장 중요한 요소임을 시사합니다. 단순히 서류상의 정책을 갖추는 것만으로는 부족합니다. 조직은 상황이 잘못될 때 실제로 이를 인지할 수 있는 역량을 갖추어야 합니다.
연구진은 현재의 AI 거버넌스 방식이 지나치게 사후 대응적이라고 주장합니다. 재앙이 발생하기를 기다렸다가 그 여파를 관리하려고 노력하는 방식입니다. 그들은 초점을 시스템 운영 전과 운영 중에 맞추는 새로운 사고방식을 제안합니다. 이 접근 방식은 네 단계로 구성됩니다: 출시 전 시스템을 철저히 점검하고, 성능을 지속적으로 관찰하며, 문제가 발생했을 때를 대비한 명확한 계획을 준비하고, 다양한 표준에 걸쳐 모든 규칙이 준수되는지 확인하는 것입니다. 이 연구는 기업이 이 계획 중 단 한 부분이라도, 특히 내부적으로 자신의 시스템을 모니터링하는 능력을 구현할 수 있다면, AI 리스크를 처리하는 방식에서 엄청난 개선을 보일 것이라고 제안합니다. 증거에 따르면, 이러한 시스템을 관리하기 위한 도구와 규칙은 존재하지만, 이를 작동시키는 데 필요한 일상적인 습관과 모니터링 루틴은 결여되어 있습니다. 조직이 스스로 만든 창조물을 감시할 수 있는 역량을 구축하기 전까지는, AI 실패에 대한 책임은 만든 사람이 아닌 대중에게 계속 전가될 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.