Waiting, judgment, and responsibility: lessons from divination for human oversight of irreversible decisions

고도의 이해관계가 걸린 인공지능의 세계에서, 인간이 돌이킬 수 없는 선택을 내리는 기계를 어떻게 효과적으로 감독할 것인가에 대한 우려가 커지고 있습니다. 소프트웨어 에이전트가 돈을 송금하거나, 중요한 파일을 삭제하거나, 새로운 코드를 배포하겠다고 제안할 때, 루프 안에 있는 인간은 어려운 과제에 직면합니다. 즉, 급하게 응답해야 한다는 압박 속에서도 기계의 제안을 신뢰할지 여부를 결정해야 합니다. 이러한 상황은 문제가 발생했을 때 누구에게 책임을 물어야 할지 불분ので 명확하지 않은 '책임의 간극(responsibility gap)'을 만듭니다. 사람들은 더 많은 정보를 기다리는 것에 대해 불안함을 느끼거나, 잘못된 결과에 대해 책임을 질까 봐 두려워하며, 이로 인해 너무 성급하게 행동하거나 너무 빨리 포기해 버리곤 합니다. 연구자들은 더 나은 증거를 기다리는 것이 의사결정을 개선할 수 있다는 점과, 의사결정이 어떻게 프레임화되느냐에 따라 사람들이 위험에 대해 느끼는 방식이 달라질 수 있다는 점을 오래전부터 알고 있었습니다. 문제는 어떻게 사람들이 공포나 과신의 굴레에 갇히지 않고 더 나은 선택을 할 수 있도록 돕는 감독 시스템을 설계하느냐 하는 것입니다.

캘리포니아 대학교 버클리 캠퍼스와 듀크 대학교를 포함한 기관의 준제 시(Junzhe Shi)와 동료들의 새로운 연구는 이 역학 관계를 탐구하기 위해 고대의 관습인 『이경(Yijing, 주역)）』 상담을 살펴봅니다. 수 세기 동안 사람들은 전쟁을 치를지 또는 새로운 곳으로 이주할지와 같은 중대한 삶의 결정을 내리기 위해 이 텍스트를 활용해 왔습니다. 연구진은 『이경』을 상담하는 전통적인 과정이 현대의 AI 승인 프롬프트가 결여하고 있는 세 가지 구체적인 특징을 제공한다는 점에 주목했습니다. 그것은 바로 답을 내기 전의 의무적인 휴지기, 단순한 예/아니오가 아닌 해석을 요구하는 답변, 그리고 판결이 인간 자신의 편향과는 별개의 권위를 가진다는 감각입니다. 연구팀은 이러한 특징들이 현대 사용자들이 AI 에이전트를 다룰 때 더 나은 결정을 내리는 데 어떻게 도움이 될 수 있는지 테스트하기 위해 컴퓨터 시뮬레이션을 구축했습니다.

연구진은 결과가 좋거나 나쁠 수 있지만 진실은 숨겨져 있는 결정 상황에 직면한 네 가지 유형의 사람 모델을 만들었습니다. 첫 번째 유형은 증거를 완벽하게 따지는 '교정된(calibrated)' 사람입니다. 두 번째는 자신의 초기 단서들을 실제보다 훨씬 더 강력한 것으로 취급하는 '과신하는(overconfident)' 사람입니다. 세 번째는 더 많은 정보를 기다리는 행위 자체가 육체적, 정신적으로 소모적이라고 느끼는 '불안해하는(anxious)' 사람입니다. 네 번째는 행동을 취했다가 잘못될 경우 비난받는 것을 두려워하는 '두려워하는(fearful)' 사람입니다. 시뮬레이션에서 이들은 성공하거나 실패할 수 있는 행동을 취할지, 아니면 완전히 포기할지를 결정해야 했습니다. 연구진은 과신하는 사람들이 나쁜 정보에 기반해 너무 빨리 행동하는 경우가 많으며, 불안해하거나 두려워하는 사람들은 너무 일찍 확인을 멈추거나 너무 무서워해서 좋은 기회를 놓치는 경우가 많다는 것을 발견했습니다.

연구는 시스템이 이들에게 결정을 내리기 전 두 개의 추가 증거를 기다리도록 강제했을 때 어떤 일이 일어나는지 테스트했습니다. 과신하는 사람들에게 이 강제된 휴지기는 생명줄과 같았습니다. 이는 그들이 '유령 패턴(phantom pattern)', 즉 실제로는 우연한 현상일 뿐인 운 좋은 단서들의 연속에 기반해 행동하는 것을 막아주었습니다. 시뮬레이션에서 이러한 추가 확인을 요구하는 것은 과신하는 사람들의 나쁜 상황에서의 실수율을 4.5%에서 2.1%로 낮추었습니다. 그러나 이미 증거를 올바르게 따지고 있던 사람들에게 이 추가적인 기다림은 시간 낭비였으며 약간의 잠재적 이득을 감소시켰습니다. 이는 의무적인 확인이 서두르는 사람들에게는 매우 유용하지만, 이미 신중한 사람들에게는 부담이 될 수 있음을 시사합니다.

연구진은 이어 '안심(reassurance)'의 효과를 테스트했습니다. 고대의 방식에서 신탁은 결정에 대해 "책임 없음"을 약속하거나, 무작위적인 판결이 "가라" 또는 "기다려라"라고 말할 수 있습니다. 시뮬레이션에서 연구진은 불안해하는 사람들에게는 "기다려라"라고 말하고, 두려워하는 사람들에게는 "가라"라고 말함으로써, 기다림의 비용이나 실패의 비용에 대한 두려움을 줄여주는 시스템을 시뮬레이션했습니다. 이 간단한 안심은 불안해하는 사람들이 과정을 더 오래 지속하도록 도왔고, 두려워하는 사람들이 증거가 좋을 때 행동을 취하도록 도왔습니다. 두려워하는 사람들의 경우, "가라"라는 말을 들었을 때 놓친 기회의 비율이 13.8%에서 2.7%로 떨어졌습니다. 그러나 연구는 중요한 경고를 남겼습니다. 만약 사람들이 이 안심을 사실에 대한 믿음을 바꾸는 새로운 증거로서가 아니라, 단지 신경을 진정시키는 방법으로만 취급한다면 오히려 의사결정을 악화시킨다는 점입니다. 이점은 안심이 사실에 대한 믿음을 바꾸는 것이 아니라 정서적 압박을 줄여줄 때만 발생했습니다.

연구진이 이 두 가지 접근 방식—더 많은 증거를 위해 휴지를 강제하는 것과 불안을 완화하기 위해 안심을 제공하는 것—을 결합했을 때, 강력한 개선 효과를 발견했습니다. 혼합된 집단에서 이 결합된 접근 방식은 나쁜 결정과 놓친 기회를 크게 줄여 집단의 전체 성공률을 높였습니다. 연구는 이 보호 조치를 무작위로 선택하는 대신 모든 사람에게 제공하는 것이 무작위 확률만큼 잘 작동하면서도 더 일관적이라는 것을 보여주었습니다. 핵심은 시스템이 사실을 수집하기 위한 명확한 경로를 제공하는 동시에, 잘못된 결과에 대해 책임을 질 것에 대한 마비될 듯한 두려움으로부터 의사결정자를 보호하는 것이었습니다.

저자들은 이러한 발견을 현대의 AI 감독 문제에 적용했습니다. 그들은 AI 에이전트가 새로운 집주인에게 돈을 송금할 것을 제안하는 시나리오를 가정했습니다. 만약 시스템이 에이전트가 어떻게 그 결론에 도달했는지 보여주지 않고 단순히 "예" 또는 "아니오"만을 묻는다면, 사용자들은 이를 맹목적으로 신뢰하거나 두려움 때문에 거부할 가능성이 높습니다. 연구는 더 나은 시스템이란 사용자가 에이전트가 수집한 증거를 확인하도록 요구하고, 아마도 행동이 허용되기 전에 몇 가지 독립적인 확인을 더 거치도록 하는 것이 되어야 한다고 제안합니다. 또한 AI를 사용하는 조직은 명확한 정책을 가져야 한다고 제안합니다. 즉, 사용자가 규칙을 따랐고 증거를 확인했음에도 불구하고 행동이 실패했다면, 조직은 사용자를 비난하는 대신 손실을 보상해야 한다는 것입니다. 이러한 결정 과정과 결과의 분리는 사람들이 확신을 가지고 행동할 수 있게 합니다.

논문은 효과적인 감독이란 단순히 인간이 버튼을 누르는 것만이 아니라고 결론짓습니다. 그것은 증거를 위해 휴지를 강제하고, 계획을 해석할 방법을 제공하며, 규칙을 따르는 이들에게 안전망을 제공하는 구조를 필요로 합니다. 기다림, 판단, 그리고 안심의 균형을 담은 『이경』으로부터 배움으로써, 우리는 돌이킬 수 없는 결과가 따르는 세상에서 인간이 더 나은, 더 책임감 있는 선택을 할 수 있도록 돕는 AI 시스템을 설계할 수 있습니다. 시뮬레이션은 우리가 사람들에게 불안과 과신을 관리할 수 있는 적절한 도구를 제공할 때, 그들이 훨씬 더 큰 성공을 거두며 복잡한 결정을 헤쳐 나갈 수 있음을 보여줍니다.