Do Judges Behave Like Algorithms?

모든 결정이 거대하고 보이지 않는 계산기에 의해 내려지는 세상을 상상해 보십시오. 인공지능과 법이라는 과학의 영역에서, 연구자들은 컴퓨터가 누가 감옥에 가고 누가 자유를 누릴지와 같은 중대한 결정을 내리도록 허용해야 하는가라는 질문을 끊임없이 던지고 있습니다. 이를 이해하기 위해서는 두 가지 선택 방식에 대해 알아야 합니다. 첫 번째는 엄격한 레시피와 같습니다: "삼진아웃이면 탈락이다." 이는 명확하고 공정하며, 모두가 동일한 결과를 얻습니다. 두 번째는 요리사가 수프를 맛보는 것과 같습니다: "소금이 조금 더 필요하지만, 토마토가 너무 시다면 아닐 수도 있다." 이것은 유연하고 개인적이지만, 요리사의 기분과 기억에 달려 있습니다. 수십 년 동안 사람들은 판사가 엄격한 레시피를 따라야 하는지, 아니면 유연한 맛보기를 따라야 하는지를 두고 논쟁해 왔습니다. 이제 컴퓨터가 똑똑해짐에 따라 논쟁은 바뀌었습니다. 단순히 판사를 로봇으로 대체해야 하는가라고 묻는 대신, 과학자들은 더 파격적인 질문을 던지고 있습니다: 판사들이 이미 로봇처럼 행동하고 있는 것은 아닌가? 만약 판사가 숨겨진 레시피를 따르고 있는 것이라면, 우리는 그것을 찾아내어 고칠 수 있습니다. 하지만 만약 그들이 우리가 볼 수 없는 감정에 따라 진정으로 수프를 맛보고 있는 것이라면, 그것은 해결하기 훨씬 더 어려운 문제입니다.

이 논문은 텍스스주 해리스 카운티에서 피고인이 재판 전 석방될지 아니면 구금될지를 결정하는 21명의 치안판사(판사)들의 마음을 들여다봄으로써 이 미스터리를 파헤칩니다. 연구진은 이 판사들을 '블랙박스'로 취급하며 그들의 의사결정 과정을 역설계하려고 시도했습니다. 그들은 다음과 같이 물었습니다: 특정 판사가 무엇을 할지 예측할 수 있는 단순하고 이해 가능한 공식을 쓸 수 있는가? 그리고 만약 가능하다면, 모든 판사가 동일한 공식을 사용하는가, 아니면 각자 자신만의 비밀 코드를 가지고 있는가?

연구팀은 22,000건 이상의 방대한 데이터셋을 정리하며 시작했습니다. 먼저, 그들은 "결함"을 처리해야 했습니다. 그들은 약 2%에서 33%의 판사 결정이 어떤 논리적인 규칙으로도 설명될 수 없다는 것을 발견했습니다. 자세히 살펴보니, 이것들은 신비로운 마법이나 편견이 아니라 단순한 오류였습니다. 때로는 컴퓨터 양식이 잘못 작성되었고, 때로는 판사가 데이터베이스에 없는 다른 카운티의 범죄 사실을 알고 있었으며, 때로는 법정에서 들은 세부 사항이 서면 기록에 남지 않은 경우였습니다. 일단 이러한 "노이즈"가 섞인 사례들을 제거하자, 진짜 이야기가 드러났습니다.

연구진은 놀랍게도 대부분의 판사가 알고리즘처럼 행동한다는 사실을 발견했습니다. 21명의 판사 중 16명에 대해, 연구팀은 특정 판사의 결정을 85%에서 100%의 정확도로 예측할 수 있는 아주 작고 단순한 결정 트리(몇 단계만 있는 순서도)를 구축할 수 있었습니다. 이 공식들은 피고인의 연령, 미집행 영장 수, 그리고 기소된 구체적인 범죄 유형과 같은 몇 가지 명확한 요소들에 의존했습니다. 결과적으로 많은 판사에게 있어 "수프 맛보기"는 사실 매우 구체적이고 반복 가능한 레시피를 따르는 과정이었습니다.

하지만 여기에 반전이 있습니다. 판사들이 알고리즘처럼 행동하고는 있지만, 그들은 모두 서로 다른 알고리즘을 사용하고 있다는 점입니다. 연구는 판사들이 자기 자신에게는 매우 일관적이라는 것을 발견했습니다. 즉, 판사 A는 유사한 사건에 대해 대개 76%의 확률로 동일한 선택을 합니다. 하지만 그들은 서로 간에는 일관성이 매우 떨어졌습니다. 연구진이 판사 A의 "레시피"를 사용하여 판사 B가 무엇을 할지 예측하려 했을 때, 그 결과는 무작위 추측보다도 못할 정도로 처참하게 실패했습니다. 실제로 어떤 판사 쌍의 경우, 젊은 층(24세 미만)과 관련된 거의 모든 사건에서 의견이 일치하지 않았습니다. 어떤 판사는 영장이 있는 젊은이를 보고 "석방하라"고 말하는 반면, 다른 판사는 정확히 동일한 프로필을 보고도 "구금하라"고 말합니다.

논문은 또한 어떤 변수가 가장 중요한지도 살펴보았습니다. 연령과 영장 수가 거의 모든 이들에게 중요했지만, 다른 요소들에 부여하는 무게는 매우 다양했습니다. 어떤 판사들은 피고인이 노숙자인지 또는 성별이 무엇인지에 깊은 관심을 가졌지만, 다른 판사들은 이러한 요소들을 완전히 무시했습니다. 이는 보석 심리가 어떤 결과로 이어질지가 사건의 사실관계뿐만 아니라, 어떤 판사를 만나느냐에 크게 좌우된다는 것을 시사합니다.

궁극적으로 저자들은 우리가 판사를 컴퓨터로 대체하려고 노력해서는 안 된다고 제안합니다. 대신, 우리는 판사들이 이미 사용하고 있는 "숨겨진 레시レシピ"를 이해하기 위해 이 연구 결과들을 사용해야 합니다. 만약 우리가 판사 X가 항상 판사 Y와 다르게 젊은이들을 대한다는 것을 알 수 있거나, 혹은 누락된 데이터 때문에 판사의 결정이 바뀐다는 것을 알 수 있다면, 우리는 그러한 불일치를 바로잡을 수 있습니다. 이러한 보이지 않는 규칙들을 가시화함으로써, 우리는 사법 체계가 더 공정하고 예측 가능해지도록 도울 수 있으며, 누가 요리하느냐에 관계없이 모두에게 동일한 "레시피"가 적용되도록 보장할 수 있습니다.