AI Governance - Social Contestability Framework-vFinal
이 논문은 정당한 AI 거버넌스가 내부 준수 산출물에서 벗어나 영향을 받는 개인이 AI 기반의 결정을 이해하고, 이의를 제기하며, 바로잡을 수 있는 능력인 '사회적 다툼 가능성(social contestability)'으로 초점을 전환해야 한다고 주장하며, 주요 거버넌스 도구와 실제 사용 사례 전반에 걸쳐 이 프레임워크를 실행에 옮기기 위한 다섯 가지 제도적 조건과 생애주기 테스트를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터 프로그램이 당신의 취업, 대출, 혹은 의료 처치를 결정하는 세상을 상상해 보십시오. 최근 몇 년 동안 정부와 기업들은 이러한 프로그램들이 제대로 작동하도록 만들기 위해 방대한 규칙 체계를 구축해 왔습니다. 그들은 소프트웨어가 안전하고 공정하다는 것을 증명하기 위해 체크리스트를 만들고, 보고서를 작성하며, 감사를 실시합니다. 이러한 규칙들은 중요하지만, 종종 기업이 자신의 사무실 내부에서 무엇을 하는지에만 집중합니다. 그들은 서류가 완비되었는지는 확인하지만, 결과의 영향을 받는 당사자가 문제가 생겼을 때 실제로 목소리를 낼 수 있는지에 대해서는 거의 묻지 않습니다. 이 간극이 바로 바레인 사우디 프란시(Banque Saudi Fransi)의 연구원인 시라즈 아슬람(Shiraz Aslam)의 새로운 연구가 지적하는 핵심이며, 그는 규칙 모음집을 갖추는 것만으로는 충분하지 않으며, 결정의 영향을 받는 사람들이 그 결정에 이의를 제기할 수 있어야 한다고 주장합니다.
이 논문이 탐구하는 핵심 개념은 "사회적 경합성(social contestability)"이라고 불리는 것입니다. 간단히 말해, 이는 만약 컴퓨터가 당신의 삶을 바꾸는 결정을 내린다면, 당신에게는 그 결정이 일어났음을 알게 되고, 왜 그런 결정이 내려졌는지 이해하며, 만약 그것이 틀렸을 경우 실제 권한을 가진 인간에게 수정을 요청할 수 있는 실질적인 방법이 있어야 한다는 것을 의미합니다. 만약 "인간이 개입하고 있다(human in the loop)"라고 말하는 그 인간이 단지 '아니오'라고 말할 수 없는 단순한 승인 도구에 불과하다면, 그것은 충분하지 않습니다. 이 연구는 진정한 공정함이란 피해를 입은 사람과 그 결정을 뒤집을 수 있는 권한을 가진 기관 사이에 직접적인 소통 통로가 있는 것을 필요로 한다고 제안합니다. 이것이 없다면, 기업은 모든 법규를 완벽하게 준수하면서도 정작 개인에게는 아무런 구제 수단도 남겨주지 않는 상황이 발생할 수 있습니다.
이러한 안전망을 어떻게 구축할지 알아내기 위해, 연구원은 오늘날 전 세계적으로 사용되는 네 가지 주요 규칙 세트를 조사했습니다: 유럽 연합의 AI 법(AI Act), 미국 국립표준기술연구소(NIST)의 위험 관리 가이드, 경제협력개발기구(OECD)의 원칙, 그리고 미국 정부의 AI 권리 장전 청사진입니다. 연구는 이 문서들을 비교하여 일반인이 실제로 무엇을 할 수 있는지 확인했습니다. 분석 결과, 이러한 프레임워크들은 기업이 스스로의 위험을 어떻게 관리해야 하는지에 대해서는 매우 뛰어나지만, 개인이 잘못된 결과에 맞서 어떻게 싸울 수 있는지에 대해서는 종종 침묵하고 있다는 반복적인 문제를 발견했습니다. 기업은 자신들의 업무를 점검했다는 완벽한 감사 기록을 가질 수 있지만, 대출을 거절당한 사람은 여전히 자신의 마음을 돌릴 수 있는 권한을 가진 인간에게 연결될 명확한 경로를 갖지 못할 수 있습니다.
그 후 연구원은 자동화된 시스템이 피해를 입힌 다섯 가지 실제 사례를 조사하여 정확히 어디에서 시스템이 무너졌는지 살펴보았습니다. 한 사례는 과거의 편향된 데이터를 학습하여 여성 지원자를 탈락시킨 채용 도구와 관련되었습니다. 또 다른 사례는 의료적 필요성을 판단할 때 의료 비용을 지표로 사용하여 흑인 환자들을 차별한 의료 알고리즘이었습니다. 또한 영국의 한 성적 산출 시스템은 통계적 공식으로 교사의 판단을 무력화했으며, 호주의 한 정부 부채 제도에서는 시민들이 저지르지도 않은 오류에 대해 자신들의 무죄를 증명하도록 강요했습니다. 모든 사례에서 기관은 규칙과 문서를 갖추고 있었지만, 영향을 받은 사람들은 결정을 효과적으로 의문 제기할 수 없었습니다. 연구는 이러한 실패 사례들마다, 개인이 결과를 다툴 수 있게 해줄 구체적인 조건들이 결여되어 있었다는 점을 발견했습니다.
이러한 실패로부터, 이 논문은 시스템이 진정으로 경합성을 갖추기 위해 갖추어야 할 다섯 가지 구체적인 조건을 제안합니다. 첫째, 더 큰 해를 끼치는 결정일수록 규칙은 더 엄격해야 합니다. 단순한 챗봇의 오류는 의료 혜택 거부 결정보다 적은 보호를 필요로 합니다. 둘째, 이러한 결정들을 검토하는 인간은 컴퓨터에 대해 '아니오'라고 말할 수 있는 실제적인 권한, 시간, 그리고 정보가 있어야 합니다. 셋째, 회사는 결정 내용을 평이한 언어로 설명하여, 만약 동의하지 않을 경우 개인이 정확히 무엇을 해야 하는지 알려주어야 합니다. 넷째, 실수에 대한 책임이 누구에게 있는지 명확해야 하며, 그래야 개인이 여러 부서를 떠돌며 책임을 회피하는 일을 겪지 않습니다. 마지막으로, 오류를 바로잡는 부담이 취약 계층에게 불공정하게 전가되지 않도록 시스템을 점검해야 합니다.
이 연구는 조직이 초기 아이디어 단계부터 최종 제품 단계에 이르기까지 프로젝트의 모든 단계에서 사용할 수 있는 실용적인 테스트를 도입합니다. 이 테스트는 "사람들이 항소할 수 있도록 하는 계획이 있는가?", "검토자들이 시스템을 무력화할 수 있는 권한을 가지고 있는가?"와 같은 구체적인 질문을 던집니다. 연구원이 이 테스트를 호주의 부채 스캔들에 적용했을 때, 정부가 많은 내부 규칙을 준수했음에도 불구하고 거의 모든 단계에서 경합성 테스트를 통과하지 못했음이 드러났습니다. 그들은 사람들이 통지문을 이해할 수 있는지 테스트하지 않았고, 부채 통지서가 발송되기 전에 인간이 이를 중단시킬 수 있는 권한을 부여하지 않았으며, 시스템이 실패하기 시작했을 때 명확한 책임을 할당하지 않았습니다. 이 테스트는 문제가 규칙의 부재가 아니라, 사람과 문제를 해결할 수 있는 권위 사이의 작동하는 연결 고리가 없다는 점이었음을 보여주었습니다.
논문은 결론적으로, AI 거버넌스의 목표는 단순히 종이 위에서 시스템이 안전함을 증명하는 것이 아니라, '아니오'라고 말할 수 있는 인간의 능력을 보존하는 것이어야 한다고 말합니다. 연구는 우리의 초점을 기업 내부의 문서에서 기관과 시민 사이의 관계로 전환해야 한다고 주장합니다. 만약 어떤 시스템이 영향을 받는 사람들에 의해 도전받거나, 수정되거나, 혹은 중단될 수 없다면, 그 기업이 아무리 많은 체크리스트를 채웠다 하더라도 그것은 진정으로 거버넌스가 이루어진 것이 아닙니다. 이 연구는 인공지능의 모든 문제를 해결했다고 주장하는 것이 아니라, 화면 반대편에 있는 사람들이 목소리를 낼 수 있는지 확인할 수 있는 명확하고 실용적인 방법을 제공합니다. 연구는 공정한 시스템의 진정한 척도는 규칙을 따르는지 여부가 아니라, 영향을 받는 사람들이 그 시스템에 책임을 물을 수 있는지 여부라고 제안합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.