Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

컴퓨터 프로그램이 누가 체포될지, 누가 재판 전 구금 상태로 머물지, 그리고 누가 얼마 동안 형을 살지를 결정하는 데 도움을 주는 세상을 상상해 보십시오. 이것은 공상 과학 소설이 아닙니다. 방글라데시를 포함한 많은 곳에서 나타나고 있는 형사 사법의 새로운 현실입니다. 이러한 시스템의 핵심 아이디어는 '예측 치안(predictive policing)' 또는 '위험 점수 산정(risk scoring)'입니다. 경찰관이나 판사가 오로지 자신의 기억이나 단일 파일에만 의존하는 대신, 과거의 체포 기록, 거주지, 연령 또는 가족력 등 방대한 양의 데이터를 스캔하는 소프트웨어를 사용하여 누가 미래에 범죄를 저지를 가능성이 있는지, 혹은 석방될 경우 도주할 가능성이 높은지를 추측합니다. 그 약속은 효율성입니다. 즉, 나쁜 행위자를 더 빠르게 잡고 모두를 동일하게 대우하는 것입니다. 하지만 그 위험 또한 실재합니다. 만약 컴퓨터가 가난한 동네만을 순찰해 온 경찰력과 같은 과거의 실수를 학습한다면, 컴퓨터는 단순히 경찰에게 그 동일한 동네를 다시 순찰하라고 지시할 것이며, 이는 가난한 사람들이 더 나빠서가 아니라 더 밀착 감시를 받았기 때문에 더 자주 처벌받게 되는 순환 고리를 만들게 됩니다. 오늘날 국가들이 직면한 질문은 이러한 도구를 사용할 것인가의 여부가 아니라, 어떻게 하면 역사적 불평등을 자동화된 처벌로 바꾸지 않고 사용할 것인가 하는 점입니다.

노트르담 대학교 방글라데시의 샨지다 이스라트 자한 에파트(Shanjida Israt Jahan Efat)라는 연구자는 자신의 조국을 위해 바로 이 순간을 검토했습니다. 방글라데시는 현재 이러한 시스템을 위한 디지털 기반을 구축하고 있습니다. 정부는 사람의 지문을 스캔하여 신원, 여권, 범죄 기록을 즉시 불러올 수 있는 휴대용 장치를 도입했습니다. 새로운 법률은 이제 디지털 기록이 법정에서 증거로 사용될 수 있도록 허용하며, 2026년부터 2030년까지 인공지능이 어떻게 사용되어야 하는지를 안내하기 위한 국가 정책 초안이 준비되고 있습니다. 그러나 이 나라는 아직 컴퓨터의 추측이 개인의 자유를 박탈하기에 충분히 강력한 근거가 되는 시점에 대한 명확한 규칙을 갖추고 있지 않습니다. 에파트의 연구는 국가가 중대한 실수를 저지르는 것을 방지하기 위해 설계된 로드맵입니다. 즉, 현대적으로 보이지만 실제로는 오래된 불평등을 심화시키는 기술을 채택하는 실수를 막기 위한 것입니다.

논문은 경찰이 순찰 계획을 세우는 순간부터 죄수가 석방되는 날까지, 컴퓨터 시스템이 형사 사법 과정의 정확히 어느 지점에 개입할 수 있는지를 매핑하는 것으로 시작합니다. 연구자는 상황이 잘못될 수 있는 7가지 주요 단계를 식별합니다. 예를 들어, 경찰이 범죄가 발생할 위치를 예측하기 위해 소프트웨어를 사용할 때, 시스템은 이미 집중적으로 치안이 유지되고 있는 지역으로 더 많은 경찰을 보낼 수 있습니다. 이는 더 많은 경찰이 더 많은 경미한 위반 사항을 발견하게 만드는 순환을 만들고, 컴퓨터는 이를 해당 지역이 위험하다는 증거로 사용하여 더 많은 경찰을 배치하는 것을 정당화합니다. 이것은 범죄에 대한 중립적인 관찰이 아니라, 자기 충족적 예언입니다. 마찬가지로, 안면 인식이나 지문을 통해 용의자를 식별하는 데 소프트웨어가 사용될 때, 시스템의 오류는 허위 체포로 이어질 수 있습니다. 논문은 이러한 시스템이 특정 집단, 예를 들어 피부색이 어두운 여성이나 종교적 의복을 착용한 사람들에 대해 정확도가 떨어지는 경우가 많으며, 이로 인해 이미 취약한 계층의 오류 발생 가능성이 높아진다고 지적합니다.

에파트는 현재 방글라데시의 법률이 이러한 문제를 막기에 충분하지 않다고 주장합니다. 개인 정보 보호에 관한 새로운 규칙들이 존재하지만, 경찰이 범죄 수사를 돕는다는 명목으로 개인정보 보호 규정을 우회할 수 있는 커다란 허점이 존재합니다. 법은 데이터 자체는 보호하지만, 판사가 누군가를 구금할지 결정할 때 컴퓨터의 예측을 어떻게 취급해야 하는지에 대해서는 설명하지 않습니다. 연구자는 단순히 인간이 '루프 안에 있는 것(human in the loop)', 즉 결정을 내리기 전에 인간이 컴퓨터의 답을 확인하는 것만으로는 충분하지 않다고 지적합니다. 만약 판사나 경찰관이 기계의 결론을 믿어야 한다는 압박을 느끼거나, 기계가 어떻게 그러한 결론에 도달했는지 이해하지 못한다다면, 그들의 존재는 문제를 해결하지 못합니다. 한계점을 이해하지 못한 채 점수에 서명만 하는 인간은 실질적인 감독을 제공하는 것이 아니라, 그저 거수기 역할을 할 뿐입니다.

이를 해결하기 위해, 논문은 새로운 시스템이 사람의 자유에 관한 결정을 내리기 전에 통과해야 하는 엄격한 5단계 테스트, 즉 '5개의 관문(five gates)'을 제안합니다. 첫 번째 관문은 명확한 법률을 요구합니다. 정부는 컴퓨터가 무엇을 할 수 있는지, 누가 사용할 수 있는지, 어떤 데이터를 볼 수 있는지를 명시하는 구체적인 성문화된 규칙을 가져야 합니다. 단순히 '범죄와 싸우겠다'는 일반적인 열망은 대규모 감시를 정당화하기에 부족합니다. 두 번째 관문은 필요성의 증명을 요구합니다. 당국은 더 단순하고 덜 침해적인 방법으로 해결할 수 없는 실제적인 문제가 있음을 보여야 하며, 새로운 시스템의 이점이 위험보다 가치 있다는 것을 입증해야 합니다.

세 번째 관문은 아마도 가장 중요한 것으로, 현지 타당성(local validity)입니다. 한 국가, 혹은 한 도시에서 잘 작동하는 시스템이 다른 곳에서는 완전히 실패할 수 있습니다. 논문은 방글라데시에서 사용되는 모든 도구가 실제 방글라데시 사람들을 대상으로, 현지 조건에서, 현지 언어와 현지 데이터를 사용하여 테스트되어야 한다고 강조합니다. 외국에서 시스템을 구입한 뒤 그것이 제대로 작동할 것이라고 가정해서는 안 됩니다. 네 번째 관문은 공정성에 초점을 맞춥니다. 시스템은 가난한 사람들, 여성, 또는 소수 민족과 같은 특정 집단에 대해 더 많은 실수를 저지르는지 확인되어야 합니다. 만약 컴퓨터가 특정 집단을 더 자주 허위로 비난한다면, 그 시스템은 사용할 수 없습니다. 마지막 관문은 이의 제기 권리에 관한 것입니다. 만약 컴퓨터의 결과물이 체포나 선고에 사용된다면, 그 사람은 결정이 어떻게 내려졌는지 통보받아야 하고, 데이터를 볼 기회를 얻어야 하며, 인간에게 그 결과를 재검토해 달라고 요청할 수 있어야 합니다. 만약 시스템이 아무도 질문할 수 없는 비밀스러운 '블랙박스'라면, 이 관문을 통과하지 못합니다.

연구자는 무엇이 일어나서는 안 되는지에 대해 명확히 밝히고 있습니다. 논문은 오로지 개인의 성격이나 배경만을 근거로 사람의 미래 행동을 예측하기 위해 컴퓨터를 사용하는 것에 반대합니다. 또한, 강력하고 독립적인 인간의 검토 없이 체포, 구금 또는 선고에 대한 최종 결정을 내리는 데 이러한 도구를 사용하는 것에도 반대합니다. 논문은 인공지능가 정의에 자리가 없다고 주장하는 것이 아닙니다. 사실, 논문은 이러한 도구들이 실종자 찾기, 사기 탐지, 또는 누군가의 무죄를 증명하는 문서를 찾기 위해 방대한 증거 자료를 정리하는 것과 같은 비강제적인 작업에 매우 유용할 수 있다고 제안합니다. 목표는 기술이 옳고 그름에 대한 판단을 대신하게 만드는 것이 아니라, 시스템이 더 잘 작동하도록 돕는 데 기술을 사용하는 것입니다.

논문은 방글라데시가 앞으로 나아가기 위한 실질적인 계획으로 결론을 맺습니다. 정부는 먼저 이미 보유하고 있거나 구매할 계획인 모든 시스템의 목록을 작성해야 합니다. 그리고 5개의 관문을 위반하는 기술의 사용을 일시 중단해야 합니다. 그다음, 경찰과 법원이 사용하는 모든 알고리즘의 공개 목록을 만들어 시민들이 무엇이 사용되고 있는지 알 수 있게 해야 합니다. 마지막으로, 이러한 도구들을 감독하고 그것들이 해를 끼치기 시작할 때 중단시킬 수 있는 판사, 변호사, 지역 사회 대표를 포함한 독립적인 전문가 그룹을 구성해야 합니다. 메시지는 조심스러운 낙관론입니다. 방글라데시는 현대적이면서도 공정한 사법 체계를 구축할 기회를 가지고 있지만, 이는 기술이 너무 깊게 뿌리 내려 변화하기 어려워지기 전에 명확한 규칙을 마련할 때만 가능합니다. 형사 사법의 미래는 비효율적인 제도와 자동화된 불의 사이의 선택이 아닙니다. 기술이 법을 대체하는 것이 아니라, 법을 보조하는 제3의 길이 존재합니다.