Does Human Oversight of AI-Assisted Decisions Work? A Systematic Review of the Evidence and a Framework for Meaningful Human Control

현대 사회에서 알고리즘은 우리의 가장 중요한 결정 중 일부를 함께하는 침묵의 파트너가 되었습니다. 알고리즘은 누가 대출을 받을지, 어떤 환자가 긴급 치료를 받을지, 그리고 경찰 자원이 어떻게 배분될지를 결정하는 데 도움을 줍니다. 이러한 시스템은 실수를 하거나 그 추론 과정을 숨길 수 있기 때문에, 많은 곳의 법률과 정책은 이제 하나의 단순한 안전장치를 요구합니다. 바로 인간이 기계의 어깨 너머로 지켜보아야 한다는 것입니다. '인간의 감독(human oversight)'이라고 알려진 이 개념은, 만약 사람이 자동화된 권고안을 검토한다면 오류를 잡아내고, 편향을 수정하며, 최종적인 선택이 공정하도록 보장할 수 있다는 가정을 전제로 합니다. 이는 인간 검토자가 코드의 차가운 논리와 인간 삶의 복잡한 현실 사이에서 필요한 보호 계층이자 최종 점검 역할을 한다는 아이디어입니다.

하지만 중요한 질문 하나가 여전히 해결되지 않은 채 남아 있습니다. 과연 이 감독이 실제로 효과가 있는가 하는 점입니다. 인간이 존재한다는 사실이 그가 기계를 이해하거나, 그것을 멈출 힘을 가졌거나, 혹은 제대로 된 일을 수행할 시간을 가졌음을 보장하지는 않습니다. 연구자 아비드 이크발(Abid Iqbal)과 동료들이 수행한 새로운 체계적 문헌 고찰은 인간의 감독이라는 약속이 현실과 일치하는지를 알아보고자 합니다. 그들은 186개의 과학적 연구를 수집하고 분석하여, 인간을 과정에 참여시키는 것(human in the loop)이 의사결정을 개선한다는 실질적인 증거가 있는지, 아니면 우리가 단지 규칙을 충족하기 위해 체크박스에 표시를 하고 있는 것뿐인지를 확인하고자 했습니다.

연구진은 먼저 과학자들과 정책 입안자들이 인공지능을 거버넌스(통제)하는 방식에 대해 어떻게 이야기하는지 살펴보았습니다. 그들은 이 논의가 두 가지 큰 개념, 즉 결과에 대해 책임을 지게 하는 '책무성(accountability)'과 시스템의 논리를 명확히 하는 '투명성(transparency)'에 의해 주도되고 있음을 발견했습니다. 이 개념들은 거의 모든 연구에서 나타납니다. '인간의 통제'라는 개념 또한 흔하게 등장하며, 전체 연구의 약 70%에서 나타났습니다. 그러나 연구팀이 이 개념들이 어떻게 테스트되었는지 자세히 들여다보았을 때, 그들은 우려스러운 격차를 발견했습니다. 문헌에는 이론과 체크리스트가 가득했지만, 증거는 거의 전무했습니다.

검토된 186개의 연구 중 오직 3개만이 인과관계를 증명할 수 있는 방식으로 설계되었습니다. 이는 대다수의 연구에 있어, 특정 거버넌스 규칙이 특정 결과와 함께 존재한다는 사실은 알 수 있지만, 그 규칙이 실제로 결과를 초래했는지는 알 수 없음을 의미합니다. 더욱 놀라운 점은, 강력한 인과적 증거를 제공한 두 개의 연구조차 의사결정 자체가 더 나아졌는지 혹은 더 정확해졌는지를 측정하지 않았다는 것입니다. 대신, 그들은 결정이 관련된 사람들에게 얼마나 정당하게 느껴지는지를 측정했습니다. 즉, 우리가 가진 가장 강력한 증거는 인간의 감독이 있을 때 사람들이 더 편안함을 느낀다는 것을 보여줄 뿐, 결정 자체가 실제로 개선되었다는 것을 보여주지는 않는다는 것입니다.

또한 이 검토는 연구자들이 '인간의 통제'를 측정하는 방식이 파편화되어 있고 일관성이 없다는 점을 강조했습니다. 흔히 어떤 연구는 그 사람이 데이터를 진정으로 이해했는지, 결과를 바꿀 권한이 있는지, 혹은 생각할 시간이 충분했는지를 확인하지 않은 채 단순히 인간이 존재했는지 여부만을 집계하곤 합니다. 저자들은 감독이 의미를 갖기 위해서는 단순히 서류에 서명하는 것 이상의 것이 필요하다고 주장합니다. 그것은 구체적인 조건들을 요구합니다. 즉, 의사결정자는 정보를 이해해야 하고, 기계를 무력화할 수 있는 실질적인 권한을 가져야 하며, 이를 수행할 기술을 갖추어야 하고, 결정이 잘못되었을 때 이에 이의를 제제할 수 있어야 합니다. 이러한 요소들이 없다면, 인간 검토자는 결함이 있는 알고리즘이 해를 끼치는 것을 막을 수 없는, 단지 이름뿐인 인물에 불과합니다.

이러한 격차를 해결하기 위해 연구진은 의미 있는 인간의 통제를 8가지 명확한 부분으로 나누는 새로운 프레임워크를 제안했습니다. 이 프레임워크는 조직이 설정한 규칙을 의사결정자의 실제 경험과 연결합니다. 이는 감독이 작동하기 위해서 조직이 적절한 정보를 제공하고, 실질적인 권한을 부여하며, 결정권자가 행동할 수 있는 교육과 자원을 보장해야 함을 시사합니다. 저자들 또한 이러한 아이디어를 테스트하기 위한 연구 과제를 제시하며, 인간이 잘못된 권고를 성공적으로 거부할 수 있는지, 그리고 이것이 더 나은 결과로 이어지는지를 구체적으로 살펴보는 실험을 촉구했습니다.

이 광범위한 검토의 핵심 결론은, 인간의 감독이 인공지능을 위한 기본 안전망이기는 하지만, 아직 그것이 강력한 안전망인지에 대해서는 알지 못한다는 것입니다. 현재의 증거는 확고한 증명보다는 주로 가정과 연관성에 기반하고 있습니다. 인간 검토자의 존재는 결정이 더 나아질 것이라는 가설이지, 보장이 아닙니다. 인간이 이러한 시스템과 어떻게 상호작용하는지, 그리고 그들의 개입이 결과를 실제로 바꾸는지 정확히 측정할 수 있을 때까지, 인간의 감독에 대한 요구는 증거가 따라오기를 기다리는 선의의 정책으로 남을 것입니다. 앞으로 나아갈 길은 단순한 체크리스트를 넘어, 인간이 자신의 삶을 형성하는 기계에 대해 진정으로 의미 있는 통제력을 갖기 위해 무엇이 필요한지에 대한 더 깊은 이해로 나아가는 것입니다.