Opening the Black Box or Responding to Demands? Rethinking and Reconstructing the European Standard of Algorithmic Explanation

현대 사회에서 컴퓨터는 대출 승인 여부를 결정하는 것부터 우리가 어떤 뉴스를 보게 될지를 결정하는 것에 이르기까지, 우리의 일상을 형성하는 수많은 결정을 내립니다. 수십 년 동안 지배적이었던 생각은 만약 컴퓨터가 선택을 했다면, 마치 학생이 정답이 맞음을 증명하기 위해 수학 숙제를 보여주는 것처럼 컴퓨터에게도 그 과정을 보여달라고 요청할 수 있어야 한다는 것이었습니다. 이 개념은 알고리즘 설명(algorithmic explanation)이라 불리며, 유럽 연합 및 기타 지역의 개인정보 보호법의 초석이 되고 있습니다. 법은 자동화된 결정에 의해 영향을 받는 사람에게 그 이면에 담긴 논리를 이해할 권리가 있다고 가정합니다. 그러나 중대한 문제가 발생했습니다. 결정을 내리는 컴퓨터가 변했기 때문입니다. 과거의 시스템은 쉽게 추적할 수 있는 명확하고 단계적인 규칙을 따랐습니다. 오늘날 가장 강력한 시스템들, 흔히 신경망(neural networks)이라 불리는 것들은 방대한 양의 데이터로부터 학습하며, 그 방식이 너무나 복ellig하고 상호 연결되어 있어 심지어 제작자조차 모든 내부 단계를 완전히 지도화할 수 없습니다. 이는 입력값이 들어가고 결정값이 나오지만, 그 사이의 경로는 숨겨진 채로 남는 '블랙박스' 상황을 만들어냅니다. 법이 기술적으로 열 수 없는 상자의 내부를 보여달라고 요구할 때, 시스템은 붕괴하며 혼란과 법적 회피, 그리고 신뢰의 상실로 이어집니다.

중국 충칭의 인공지능 법학 연구소에서 근무하는 펑 지(Feng Zhi)라는 연구원은 이 교착 상태를 해결하기 위한 새로운 방법을 제안했습니다. 블랙박스를 강제로 열려고 노력하는 대신, 책임자가 실제로 답할 수 있는 질문을 던지는 방향으로 나아가야 한다고 이 연구는 제안합니다. 이 연구의 핵심 발견은 통제권을 가진 주체가 누구인지에 따라 설명에 대한 요구를 두 가지 서로 다른 시점으로 나누어야 한다는 것입니다. 첫 번째 시점은 시스템이 구축되고 설정되는 때이며, 두 번째 시점은 시스템이 실제로 특정 개인을 위해 결정을 내리는 때입니다. 이 두 단계를 분리함으로써, 저자는 코드를 보여달라는 불가능한 요구를 실질적으로 사람들의 권리를 보호할 수 있는 효과적인 요구로 대체할 수 있다고 주장합니다.

이 논문은 요청하는 내용에 따라 상세 수준을 다르게 제공하려는 현재의 접근 방식이 실패하는 이유는, 여전히 동일한 불가능한 기술적 과업, 즉 블랙박스 내부를 들여다보는 것을 요구하기 때문이라고 주장합니다. 사용자가 단순한 질문을 하든 복잡한 질문을 하든, 컴퓨터는 여전히 내부 논리를 드러내야 하며, 이는 정확도를 잃거나 영업 비밀을 누설하지 않고서는 불가능한 경우가 많습니다. 또 다른 일반적인 아이디어는 시스템이 안전해 보이거나 이를 만든 사람들이 자격이 있다면 단순히 신뢰하는 것입니다. 저자는 이 또한 거부하며, 훌륭한 사람들이 만든 시스템이라도 나중에 나쁜 결정을 내릴 수 있으며, 제작자를 신뢰하는 것이 왜 특정 사람이 대출을 거절당했는지를 설명해주지는 않는다는 점을 지적합니다. 이 연구는 사후에 결과를 검토하고 이의를 제기할 수 있는지 확인하는 것만으로는 충분하지 않다고 제안하는데, 왜냐로 인해 이미 피해가 발생하여 되돌릴 수 없는 상태가 될 수 있기 때문입니다.

이를 해결하기 위해, 이 논문은 '시간적 노드(temporal nodes)', 즉 서로 다른 사람들이 통제권을 쥐는 특정 시점에 기반한 프레임워크를 도입합니다. 첫 번째 단계는 '행위 단계(behavior stage)'입니다. 이는 시스템이 대중에게 사용되기 전에 일어납니다. 이 시기에는 개발자와 시스템을 배포하는 기업들이 완전한 통제권을 가집니다. 그들은 어떤 데이터를 사용할지, 모델을 어떻게 학습시킬지, 그리고 어떤 안전 조치를 취할지를 결정합니다. 그들이 통제권을 가지고 있기 때문에, 이 단계에서의 설명 요구는 최종 결정에 관한 것이 아니라 위험(risk)에 관한 것이어야 합니다. 이 연구는 개발자들이 코드를 보여주는 대신, 위험을 어떻게 평가했고 피해를 방외하기 위해 어떤 조치를 취했는지에 대한 상세한 성명서를 제출하도록 요구해야 한다고 제안합니다. 또한 시스템의 활동 로그를 기록해야 합니다. 이는 초점을 "수학이 어떻게 작동하는가?"에서 "이것이 안전한지 확인하기 위해 당신의 직무를 다했는가?"로 옮깁니다. 만약 나중에 문제가 발생한다면, 이러한 기록을 통해 규제 기관이 역으로 추적하여 제작자들이 규칙을 준-수했는지 확인할 수 있으며, 이는 설명 불가능한 수학을 이해할 필요 없이 책임을 효과적으로 할당하게 해줍니다.

두 번째 단계는 '결과 단계(outcome stage)'입니다. 이는 시스템이 실행 중이며 실제 사람들에게 영향을 미치는 결정을 내리고 있는 때입니다. 이 시점에서 개발자들은 통제권을 잃었습니다. 시스템은 실시간으로 새로운 데이터에 반응합니다. 여기서 설명에 대한 요구는 변화합니다. 목표는 더 이상 위험 통제를 확인하는 것이 아니라, 결과에 대한 신뢰를 구축하는 것입니다. 논문은 사람들이 결정을 신뢰하기 위해 복잡한 내부 논리를 이해할 필요는 없으며, 그 결정이 보편적인 인간의 경험에 비추어 타당한지를 알 필요가 있다고 제안합니다. 예를 들어, 신용 점수 시스템이 대출을 거절한다면, 사용자는 신경망의 가중치를 볼 필요가 없습니다. 대신 그 결정이 소득 수준이나 부채 비율과 같이 사회적으로 일반적으로 간주되는 공정함과 일치하는지를 알 필요가 있습니다. 연구는 기업들이 이러한 일반적인 사회적 규칙들을 공개하여 사람들이 결정 내용을 그 규칙들과 비교할 수 있도록 해야 한다고 제안합니다. 만약 결정이 상식적인 예측에서 벗어난다면, 시스템은 반드시 인간의 검토를 트리거해야 합니다. 그러면 실제 사람이 해당 사례를 살펴보고 왜 그러한 이례적인 결정이 내려졌는지에 대해 명확하고 논리적인 설명을 제공해야 합니다.

이러한 접근 방식은 보호를 덜 요구하는 것이 아니라, 실제로 전달 가능한 다른 종류의 보호를 요구하는 것입니다. 내부 코드를 보여달라는 요구를 위험 기록에 대한 요구와 상식적 일관성에 대한 요구로 대체함으로써, 시스템은 붕괴하지 않고 기능할 수 있습니다. 저자는 이것이 새로운 발명이 아니라 기업의 처리 활동 기록 의무와 같은 기존의 법적 도구들을 재구성한 것이라고 언급합니다. 이 연구는 이 방법이 현대 기술의 현실을 존중하면서도 책임이라는 법적 약속을 완수한다는 점을 강조합니다. 이는 블랙박스를 열어야 한다는 불가능한 과업에서 벗어나, 이러한 시스템을 만들고 사용하는 사람들이 자신의 행동에 대해 책임을 지고, 그들이 만들어내는 결과가 그들과 함께 살아가는 사람들에게 납득 가능한 수준이 되도록 하는 실질적인 과업으로 대화의 중심을 옮깁니다. 연구는 이러한 관점의 전환이 알고리즘 설명의 실질적인 가치를 회복하고, 지능형 기계의 시대에도 법이 유효하게 남을 수 있도록 하는 데 필수적이라고 결론짓습니다.