High-Stakes Decisions with Language Models: Insights from Emergency Triage

당신이 안개 낀 소행성 지대를 항해하는 우주선의 선장이라고 상상해 보십시오. 당신의 우주선 컴퓨터는 믿을 수 없을 정도로 똑똑합니다. 흐릿한 점 하나를 보고 "저 점이 위험한 소행성일 확률은 90%입니다"라고 말할 수 있죠. 하지만 컴퓨터는 그 숫자를 가지고 무엇을 해야 할지는 모릅니다. 만약 충돌한다면 배가 폭발할 것입니다(위급 상황을 놓친 경우). 만약 무해한 구름에 경고 사격을 가한다면 연료를 낭비하고 승무들을 짜증 나게 할 것입니다(불필요한 참조). 컴퓨터에는 규칙이 필요합니다. "위험도가 10% 이상이면 사격하라!" 혹은 "90% 이상일 때만 사격하라!"와 같은 규칙 말입니다. 이 규칙을 **효용 함수(utility function)**라고 부릅니다. 현실 세계에서 의사들도 매일 이와 똑같은 안개 속 상황에 직면합니다. 그들은 누구에게 즉각적인 도움이 필요하고 누가 기다릴 수 있는지를 결정하기 위해 **트리아지(triage, 환자 분류)**를 사용합니다. 오랫동안 과학자들은 이러한 고도의 결정을 내리는 것이 단순히 확률을 정확하게 맞히는 문제가 아니라, 자신이 어떤 종류의 실수를 저지르는 것을 얼마나 싫어하는지를 아는 문제라는 것을 알고 있었습니다. 만약 당신이 위기 상황을 놓치는 것을 너무 두려워한다면, 당신은 모든 사람을 병원으로 보내게 될 것입니다. 만약 당신이 시간을 낭비하는 것을 너무 걱정한다면, 생사가 달린 상황을 놓칠 수도 있습니다. 여기서 큰 질문은, 우리가 초지능형 컴퓨터 두뇌(이를 언어 모델이라 부릅니다)에게 선장이 되어달라고 요청할 때, 그들이 스스로 규칙을 설정할 줄 아는지, 아니 else 아니면 그냥 추측만 하는 것인지 하는 점입니다.

이 논문은 이 질문을 탐구하기 위해 응급 의료 트리아지를 단순한 추측 게임이 아닌, 결정 퍼즐로 다룹니다. 연구진은 의사들이 이미 누가 응급실에 가야 하고 누가 가지 않아도 되는지를 결정했던 일련의 의료 사례(vignettes)를 가져왔습니다. 그들은 여러 가지 서로 다른 AI 모델들에게 이 사례들을 읽게 한 뒤, 첫째로 환자가 응급 치료를 필요로 할 확률을 추측하게 했고, 둘데로 그들을 응급실로 보낼지 여부를 결정하게 했습니다. 연구팀은 놀라운 사실을 발견했습니다. AI 모델들은 확률을 추측하는 데는 실제로 매우 뛰어났습니다. 그들은 환자와 건강한 사람을 높은 정확도로 구분해 낼 수 있었습니다. 하지만 최종 결정을 내릴 때, 모델들은 마치 병원에 환자를 보내는 것에 대해 지나치게 조심스러운, 숨겨진 암묵적 규칙을 가진 것처럼 행동했습니다.

저자들은 인기 있는 소비자용 헬스케어 도구에서 나타난 "나쁜" 행동(실제 응급 상황의 절반 이상을 놓치는 것으로 밝혀진)이 AI가 멍청하거나 의학을 이해하지 못해서 발생한 것이 아님을 발견했습니다. 대신, 그 AI는 생명을 구하는 것보다 자원을 아끼는 것에 가치를 두는 숨겨진 기본 규칙을 사용하고 있었던 것입니다. 그것은 마치 소행성이 99% 확실할 때까지는 경고 사격을 거부하는 선장과 같았습니다. 비록 그 소행성을 놓치는 것이 파멸적일지라도 말입니다. 논문은 연구진이 AI에게 "이봐, 응급 상황을 놓치는 것은 오보를 내는 것보다 5배 더 나쁜 일이야"라고 명시적으로 말하자, AI가 즉각 마음을 바꿨음을 보여줍니다. AI는 더 많은 환자를 응급실로 보내기 시작했고, 불필요한 방문의 급증을 크게 일으키지 않으면서도 실제 응급 상황을 약 50% 더 많이 잡아냈습니다.

이 연구는 문제가 AI의 미래 예측 능력이 아니라, 무엇이 가장 중요한지에 대한 선장의 명령을 따르는 능력에 있다는 점을 시사합니다. 연구진은 프롬프트의 단어를 수정하여 실수에 대한 "비용"을 명시함으로써, AI를 필요에 따라 안전 우선 의사나 자원 절약형 의사로 조종할 수 있다는 것을 발견했습니다. 또한, 명확한 지침이 없다면 모든 AI 모델은 아무도 볼 수 없고 통제할 수 없는 자신만의 기묘하고 보이지 않는 선호도를 가진 것처럼 보인다는 점도 언급했습니다. 논문은 결론적으로, 이러한 도구들이 병원에서 안전하고 유용하게 사용되기 위해서는 단순히 "똑똑해져라"라고 요구해서는 안 된다고 말합니다. 대신, 선장이 안개 속으로 들어가기 전 항법 컴퓨터에 명확한 명령을 내려야 하는 것처럼, 위험의 무게를 어떻게 따져야 하는지 명시적으로 알려주어야 합니다.