Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

인공지능이 급격히 발전하는 환경 속에서, 긴 설명을 작성하지 않고도 기계가 정해진 선택지 사이에서 결정을 내리게 하는 특정 문제를 해결하기 위한 새로운 형태의 도구들이 등장했습니다. 전통적으로 거대 언어 모델은 단어 하나하나를 생성하며 텍스트를 만들어 질문에 답하는데, 이 과정은 유연하지만 느리고 비용이 많이 들 수 있습니다. '의사결정 모델링(decision modeling)'이라 불리는 더 새로운 접근 방식은 텍스트 생성을 아예 건너뜁니다. 대신, 모델은 사용자가 제공한 가능한 답변 목록을 살펴보고 각 답변에 확률 점수를 부여합니다. 본질적으로 "이것이 정답일 확률이 90%이고, 저것일 확률이 10%이다"라고 말하는 식입니다. 이 방법은 더 빠르고 저렴하지만, 의료와 같은 고위험 분야에서는 중요한 질문을 던집니다. 과연 이 기계들이 자신이 틀렸다는 것을 알 수 있는가 하는 점입니다. 만약 모델이 확신을 가지고 있지만 틀린 답을 내놓는다면, 이는 위험한 실수로 이어질 수 있습니다. 과제는 시스템이 스스로의 불확실성을 인식하고, 오류가 발생하기 전에 인간 전문가나 더 강력한 컴퓨터에게 어려운 사례를 넘길 수 있는 방법을 찾는 것입니다.

인제대학교 의과대학 연구진은 이러한 의사결정 모델들이 의료 면허 시험에서 자신의 실수를 신뢰할 수 있게 포착할 수 있는지 테스트하기 위해 연구를 시작했습니다. 연구진은 서로 다른 회사의 세 가지 모델에 집중하여, 한국과 미국의 의사 국가고시 문제 수백 개를 대상으로 테스트를 진행했습니다. 목표는 단순히 기계가 얼마나 많은 문제를 맞혔는지를 보는 것이 아니라, 생성된 확률 점수가 경고 시스템 역할을 할 수 있는지 확인하는 것이었습니다. 연구진은 다음과 같이 물었습니다. 만약 모델이 어떤 답에 대해 확신이 낮다고 말한다면, 그것이 실제로 정답이 틀릴 가능성이 높다는 의미인가? 그리고 만약 시스템이 확신도가 낮은 추측들을 따로 떼어내어 더 강력하고 비싼 모델에게 재검토를 요청하도록 설정한다면, 막대한 비용을 들이지 않고도 전체 정확도를 높일 수 있는가?

결과를 찾기 위해 연구팀은 실제 시험 문제들을 사용하여 일련의 컴퓨터 시뮬레이션을 실행했습니다. 연구진은 수천 개의 의료 질문을 Jev, OpenAI Decisions, Clef라는 세 가지 서로 다른 의사결정 모델에 입력했습니다. 각 모델은 주어진 선택지 중 정답을 고르고, 자신의 선택에 대한 확신 점수를 제공하도록 요청받았습니다. 연구진은 이 점수들을 공식 정답지와 비교하여 낮은 확신도가 실제로 오류와 상관관계가 있는지 확인했습니다. 그 결과, 모델들은 이러한 자기 평가를 상당히 잘 수행하고 있었습니다. 모델이 불확실할 때, 그들은 종종 틀렸습니다. 구체적으로, 모델들은 한국어 문제에 대해 약 8392%, 영어 문제에 대해 8588%의 정답률을 보였습니다. 더 중요한 것은, 확률 점수가 오류를 성공적으로 식별해냈다는 점입니다. 한국어 테스트의 경우, 모델의 불확실성 점수는 높은 신뢰도로 오답과 정답을 구분해 냈으며, 영어 테스트에서도 마찬가지였습니다.

연구는 그다음 단계인 '의뢰 시스템(referral system)'의 실제 적용으로 넘어갔습니다. 연구진은 각 모델의 확신도가 가장 낮은 하위 20%의 답변을 훨씬 더 강력하고 비싼 모델인 GPT-6.1 Sol로 자동 전송하는 시나리오를 시뮬레이션했습니다. 결과는 이 단순한 전략이 놀라울 정도로 효과적임을 보여주었습니다. 단 5분의 1의 답변만을 의뢰함으로써, 시스템은 초기 모델들이 범한 오류의 56%에서 91% 사이를 잡아냈습니다. 이 과정은 전체 정확도를 6~9 퍼센트 포인트 끌어올렸습니다. 이 개선에 들어간 비용은 모든 질문에 대해 강력한 모델을 실행했을 때 드는 비용의 극히 일부였습니다. 의뢰 방식은 완벽한 '오라클(oracle, 신탁)'이 어떤 답이 틀렸는지 미리 알고 있을 때 얻을 수 있는 잠재적 정확도 상승분의 거의 절반에서 거의 전부에 육박하는 성과를 달성하면서도, 강력한 모델을 독점적으로 사용할 때 드는 비용의 약 4분의 1에서 3분의 1 정도만 사용했습니다.

그러나 연구진은 이러한 도구들이 아직 병원에서 바로 사용하기에는 준비가 부족함을 시사하는 중요한 한계점들도 발견했습니다. 모델들이 자신의 불확실성을 포착하는 데는 능숙했지만, 완벽하지는 않았습니다. 어떤 오류들은 높은 확신을 가지고 발생했는데, 이는 기계가 틀린 답을 확신하고 있었다는 것을 의미합니다. 이러한 '확신에 찬 오류(confident errors)'는 흔히 안정적인 양상을 보였는데, 즉 답변의 순서를 섞더라도 변하지 않았으며, 때때로 다른 고급 모델들이 내놓은 오답과 일치하기도 했습니다. 이는 이 모델들이 확신을 가지고 틀렸을 때, 질문의 정보가 누락되었거나 오래된 규정에 의존하는 것과 같은 동일하고 깊은 이유로 틀리는 경우가 많음을 시사합니다. 예를 들어, 한국어 시험의 경우 많은 오류가 모델이 낮은 확신을 보였을 때조차 어려움을 겪는 특정 지역 법률 및 행정 규칙과 관련되어 있었습니다. 영어 시험의 경우, 문제 자체가 인간 의사들 사이에서도 논쟁의 여지가 있는 경우가 있어, 역사적 정답 기준에 근거해 기계가 '정답'을 맞히는 것을 어렵게 만들었습니다.

연구는 또한 질문이 제시되는 방식에 이 시스템들이 얼마나 민감하게 반응하는지도 조사했습니다. 연구진이 답변의 순서를 변경했을 때, 모델의 결정이 바뀌는 경우가 약 7~16% 발생했습니다. 이는 모델이 의료적 내용은 동일함에도 불구하고, 단지 옵션이 나열된 순서가 달라졌다는 이유만으로 질문을 재검토 대상으로 의뢰할 수 있음을 의미합니다. 비록 이러한 작은 변화에도 불구하고 시스템의 전체적인 정확도는 안정적으로 유지되었지만, 개별적인 결정은 완전히 일관되지는 않았습니다. 연구진은 이러한 불안정성과 '확신에 찬 오류'의 존재를 종합해 볼 때, 이 모델들을 아직 단독으로 신뢰할 수는 없다고 언급했습니다. 이들은 쉬운 사례를 처리하고 어려운 사례를 인간 의사에게 전달하는 '첫 번째 독자(first reader)'로서 기능할 때 가장 적합합니다.

궁극적으로, 이 연구는 의사결정 모델이 속도와 정확도 사이의 유망한 절충안을 제공한다는 것을 입증합니다. 이 모델들은 의료 질문을 빠르고 저렴하게 처리할 수 있으며, 내부의 확신 점수는 가장 발생 가능성이 높은 오류를 걸러내는 유용한 메커니즘을 제공합니다. 불확실한 20%의 답변을 더 강력한 시스템에 의뢰함으로써, 훨씬 낮은 비용으로 최상위 모델의 정확도 대부분을 회복할 수 있습니다. 그러나 임상적 활용을 위한 길에는 이러한 시뮬레이션 이상의 것이 필요합니다. '확신에 찬 오류'의 존재와 질문 형식에 대한 민감성은 이러한 도구들이 실제 현장에서의 엄격한 검증이 필요함을 나타냅니다. 환자 진료를 안내하기 전, 이 도구들은 인간 의사가 의뢰된 사례를 검토하고 여전히 틀릴 수 있는 '확신에 찬 답변'을 감사(audit)할 수 있는 실제 임상 워크플로우에서 테스트되어야 합니다. 기술은 큰 잠재력을 보여주고 있지만, 여전히 인간의 손길이 가이드로 필요한 도구로 남아 있습니다.