Counterfactual Explanations and the Scope of Contestability
이 논문은 반사실적 설명이 이의 제기 가능성을 결정의 철회를 요구할 권리로 정의하고, 이러한 설명이 알고리즘 오류를 탐지하는 데 어떻게 도움이 되는지 분석하며, 그 효과를 높이기 위한 다회차 질의 접근 방식을 제안함으로써 자동화된 의사결정에서 주체성을 회복할 수 있다고 주장한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 사회에서 컴퓨터는 우리의 삶을 결정짓는 중대한 결정을 점점 더 많이 내리고 있습니다. 컴퓨터는 누가 대출을 받을지, 누가 채용될지, 그리고 누가 의료 서비스를 받을지를 결정합니다. 이러한 시스템은 종면 '블랙박스'로서 작동하는데, 이는 내부 로직이 너무 복슐하여 시스템을 만든 사람들조차 특정 선택이 어떻게 내려졌는지 쉽게 설명할 수 없음을 의미합니다. 이러한 불투명성은 인간의 주체성에 문제를 일으킵니다. 만약 우리가 왜 그런 결정이 내려졌는지 이해하지 못한다면, 그 결정이 잘못되었다고 믿더라도 효과적으로 이의를 제기할 수 없기 때문입니다. 이를 해결하기 위해 많은 전문가들은 '설명받을 권리'를 제안하며, 알고리즘이 우리를 거절했을 때 그 이유를 알려주어야 한다고 주장합니다. 이러한 설명을 제공하는 대중적인 방법은 '반사실적(counterfactual)' 설명입니다. 이것은 "만약 당신의 소득이 5,000달러 더 높았다면, 대출이 승인되었을 것입니다"와 같이, 어떤 작은 변화가 다른 결과를 가져왔을지 알려주는 단순하고 가상의 진술입니다. 이것이 도움이 될 것처럼 들리지만, 철학자와 컴퓨터 과학자인 앨리스 C.W. 황(Alice C.W. Huang)과 토마스 그로테(Thomas Grote)의 새로운 논문은 다음과 같은 비판적인 질문을 던집니다. 이러한 종류의 설명이 실제로 사람들이 불공정한 자동화된 결정에 맞서 싸울 수 있는 힘을 주는가?
저자들은 결정을 이의 제기한다는 것이 정확히 무엇을 의미하는지 구분하는 것부터 시작합니다. 그들은 설명이 수행할 수 있는 세 가지 서로 다른 목표를 구분합니다. 첫 번째는 정당화(justification)로, 이는 컴퓨터 시스템 전체가 모두에게 신뢰할 수 있고 공정하다는 것을 증명하는 것에 관한 것입니다. 두 번째는 구제(recourse)로, 이는 미래 지향적입니다. 이는 경력을 쌓아 이력서를 개선하는 것처럼, 더 나은 결과를 얻기 위해 미래에 어떤 단계를 밟을 수 있는지 알려줍니다. 세 번째이자 이 논문의 초점인 것은 이의 제기(contestability)입니다. 이것은 과거 지향적입니다. 이는 이미 일어난 결정에 대해 살펴보고, 오류를 찾아내어, 그 결정의 취소를 요구할 수 있는 능력입니다. 연구자들은 이의 제기를 좁게 정의합니다. 즉, 특정 결정이 오류일 가능성이 높다는 것을 증명할 수 있을 만큼 충분한 정보를 제공하여, 검토를 요구할 수 있는 확실한 근거를 갖추는 것을 의미합니다.
저자들이 반사실적 설명이 이러한 종류의 이의 제기를 가능하게 하는 데 적합한지 테스트했을 때, 결과는 놀라울 정도로 비관적이었습니다. 그들은 자동화된 결정이 잘못되는 몇 가지 흔한 사례들을 조사했습니다. 차별의 경우, 반사실적 설명은 만약 그 사람이 다른 인종이나 성별이었다면 채용되었을 것이라고 보여줄 수 있습니다. 이것이 강력한 증거처럼 보일 수 있지만, 연구자들은 '라쇼몽 문제(Rashomon problem)'라고 불리는 큰 장애물을 발견했습니다. 이는 결정에는 단 하나의 이유만 존재하는 경우가 드물다는 개념입니다. 컴퓨터는 대출이 거절된 이유가 낮은 소득 때문이라고 말할 수 있지만, 신청자의 직업 이력이 달랐다면 대출이 승인되었을 수도 있다는 사실 또한 참일 수 있습니다. 입력을 변경하여 다른 결과를 얻을 수 있는 방법이 다양하기 때문에, 컴퓨터 시스템은 기관에 가장 덜 해로운 설명을 선택할 수 있으며, 차별을 입증하는 설명은 무시할 수 있습니다. 모든 가능한 이유를 보여주도록 강제할 방법이 없다면, 사람은 자신이 불공정하게 대우받았음을 입증하는 특정 반사실적 설명을 결코 보지 못할 수도 있습니다.
오류가 공정성에 관한 것이 아니라 컴퓨터가 특정 개인의 상황을 오해한 경우라면 문제는 더 심각해집니다. 예를 들어, 어떤 건강 모델이 채식주의자가 철분이 부족할 것이라고 가정하여 그 사람이 피로를 느낄 위험이 있다고 예측한다고 가정해 봅시다. 만약 그 사람이 실제로 철분 과다를 유발하는 희귀 혈액 질환을 가지고 있다면, 그 모델의 로직은 대부분의 사람에게는 맞을지 몰라도 그 사람에게는 틀린 것입니다. 반사실적 설명은 단순히 "당신이 채식을 하지 않았다면, 위험에 처하지 않았을 것입니다"라고 말할 뿐일 것입니다. 이는 그 사람이 예외라는 사실을 증명하는 데 도움이 되지 않으며, 단지 모델의 결함 있는 가정을 반복할 뿐입니다. 이를 이의 제기하려면, 그 사람은 자신의 생물학적 특성 때문에 모델의 일반적인 규칙이 적용되지 않는다는 점을 설명하기 위해 깊은 의학적 지식이 필요할 것입니다. 마찬가지로, 은행이 개인의 부채 금액을 잘못 파악하고 있는 것과 같은 단순한 사무적 오류 때문에 결정이 잘못된 경우에도, 반사실적 설명은 종종 무용지물입니다. 시스템은 "당신의 부채가 더 낮았다면, 승인되었을 것입니다"라고 말할 수 있는데, 이는 사실이지만 당연한 이야기입니다. 이는 은행의 기록이 단순히 틀렸다는 것, 즉 실제로 고쳐야 할 진짜 이유를 알려주지 않습니다.
연구자들은 반사실적 설명이 사람들이 미래를 계획하는 데는 탁ual하지만, 과거의 오류에 맞서 싸우는 데는 너무 약하다고 결론지었습니다. 실수를 증명하는 데 필요한 정보는 너무 복잡하거나, 개인에게 너무 특수하거나, 혹은 시스템이 보여줄 설명을 선택하는 능력에 의해 너무 쉽게 숨겨질 수 있습니다. 이를 해결하기 위해 저자들은 설명을 포기하자는 것이 아니라, 설명이 전달되는 방식을 바꾸자고 제안합니다. 그들은 '다회차(multi-shot)' 접근 방식을 제안합니다. 한 사람에게 단 하나의 미리 준비된 답변을 주는 대신, 시스템은 사람이 컴퓨터에 여러 질문을 던질 수 있도록 허용해야 합니다. 사람은 "경력이 더 많았다면 어땠을까?" 또는 "다른 동네에 살았다면 어땠을까?"와 같이 다양한 아이디어를 테스트할 수 있습니다. 이는 사용자를 정보의 수동적인 수신자에서 능동적인 조사자로 변화시킵니다.
그러나 저자들은 이것만으로는 충분하지 않다고 경고합니다. 대부분의 사람들은 특히 전문 지식이 부족할 때 어떤 질문을 던져야 할지, 혹은 답변을 어떻게 해석해야 할지 모릅니다. 이를 해결하기 위해 그들은 사람들이 시스템의 법적, 기술적 세부 사항을 이해하는 전문가인 사례 관리자(case worker)의 지원을 받아야 한다고 제안합니다. 이러한 조력자들은 개인이 어떤 질문을 던져야 할지, 그리고 그 답변을 어떻게 사용하여 근거를 구축할지에 대해 안내할 수 있습니다. 논문은 이러한 인간의 지원과 여러 번 질문할 수 있는 능력이 없다면, 알고리즘 결정에 이의를 제기할 수 있다는 약속은 공허한 것이 될 것이라고 주장합니다. 이러한 설명을 생성하는 기술은 존재하지만, 현재의 사용 방식은 자동화된 결정의 영향을 받는 사람들에게 진정한 주체성을 회복시켜 주기에는 불충분합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.