Robustness Gap of Large Language Models in Nephrology

인공지능은 방대한 양의 텍스트를 읽고 복잡한 질문에 대한 답을 제안하는 도구로서 의학 분야에서 지원을 시작했습니다. 신장 질례와 같은 분야, 즉 신장학 분야에서 의사들은 치료법을 결정하기 위해 실험실 결과, 환자의 병력, 그리고 신체적 징후를 끊임없이 저울질해야 합니다. 수년 동안 연구자들은 이러한 컴퓨터 프로그램이 의학 시험을 통과할 수 있는지 테스트해 왔으며, 이는 그들이 유용할 만큼 충분한 지식을 갖추었는지 확인하는 표준적인 방법입니다. 그러나 객관식 시험에서의 높은 점수가 반드시 그 시스템이 정답 뒤에 숨겨진 논리를 진정으로 이해하고 있다는 것을 의미하지는 않습니다. 그것은 단지 질문이 작성된 방식의 패턴을 인식하거나, 어떤 선택지가 가장 익숙해 보이는지에 기반하여 추측하는 것일 수도 있습니다. 안전한 의료 서비스의 미래를 결정짓는 핵심적인 질문은, 이 모델들이 일반적인 지름길이 제거되었을 때 문제를 해결하기 위해 추론할 수 있는지, 아니면 익숙한 버팀목 없이 생각하도록 강요받았을 때 무너져 버리는지 여부입니다.

일본 성마리아나 의과대학의 연구팀은 정신적 스트레스 테스트와 같은 방식으로 이 특정한 약점을 테스트하기 위해 연구를 수행했습니다. 그들은 일본 신장 전문의의 보드 인증(전문의 자격)을 갱신하는 데 사용되는 145개의 실제 질문 모음집을 가져왔습니다. 이 질문들은 신장 질환을 관리하는 데 필요한 깊고 복잡한 추론을 다룹니다. 연구진은 그다음 모든 질문에 대해 변형된 버전을 만들었습니다. 원래의 시험에서는 하나의 특정 답이 정답이었습니다. 새로운 버전에서는 그 정답을 "다른 답 중 없음"을 의미하는 문구로 대체했습니다. 이는 컴퓨터 모델에게 어려운 과제를 부여했습니다. 즉, 목록에서 옳은 옵션을 고르는 대신, 다른 모든 옵션이 틀렸으며 오직 "그중 어느 것도 해당하지 않는다"라고 명시한 선택지만이 유효하다는 사실을 깨달아야 했습니다. 만약 모델이 의학적 사실을 통해 진정으로 추론하고 있다면, 원래의 정답이 사라졌음을 식별하고 "위의 답 중 없음" 옵션을 선택할 수 있어야 했습니다. 만 만약 모델이 단순히 패턴에 기반해 추측하고 있는 것이라면, 남아 있는 오답 중 하나를 선택했을 것입니다.

연구팀은 OpenAI와 구글의 시스템을 포함하여 사용 가능한 가장 진보된 네 가지 언어 모델을 테스트했습니다. 그들은 모델들에게 원래의 질문과 변형된 버전을 각각 입력하여, 매번 최선의 답을 선택하도록 요청했습니다. 결과는 정답이 존재할 때와 정답이 숨겨졌을 때 모델의 성능 사이에 명확하고 유의미한 격차가 있음을 보여주었습니다. 모델들이 원래의 질문에 직면했을 때, 그들은 꽤 잘 수행하여 가장 뛰어난 시스템은 거의 88%를 정확히 맞혔습니다. 그러나 정답이 "다른 답 중 없음"으로 바뀌자, 그들의 성능은 급격히 떨어졌습니다. 처음에 가장 높은 점수로 시작했던 시스템조차 약 73%로 하락했는데, 이는 통계적으로 유의미한 감소였습니다. 다른 모델들은 훨씬 더 가파른 하락을 보였는데, 한 모델은 약 66%의 정답률에서 단 19%까지 떨어졌습니다. 이는 익숙한 정답의 패턴이 제거되었을 때, 모델들이 스스로의 의학적 추론에 의존하기보다 어려움을 겪었으며, 정답이 없다는 것을 인정하기보다는 그럴듯해 보이는 오답을 선택했음을 의미합니다.

이 연구는 새로운 모델들이 점점 더 견고해지고 이러한 까다로운 변화를 더 잘 다루고 있지만, 아직 독립적인 임상 의사결정을 내리기에는 완전히 신뢰할 수 없음을 시사합니다. 연구진은 가장 진보된 시스템들조차 사례의 논리가 그렇지 않더라도 눈에 보이는 선택지 중 하나가 반드시 옳아야 한다는 생각에 고착되는 경향이 있음을 발견했습니다. 실제 병원 환경에서 이러한 행동은 위험할 수 있습니다. 만약 의사가 특정 검사 수치나 미묘한 신체적 징후와 같은 정보가 누락된 상황이라면, 안전한 인공지능은 해당 사례를 판단할 수 없음을 인지하고 추가 데이터를 요청해야 합니다. 대신, 이 모델들은 공백을 자신감 있지만 틀린 추측으로 채워 넣곤 합니다. 저자들은 객관식 시험을 통과하는 것만으로는 모델이 의사처럼 추론할 수 있다는 것을 증명하기에 부족하다고 결론지었습니다. 신장 케어에서 진정으로 안전하게 사용되려면, 이 시스템들은 단순히 테스트에서 높은 점수를 얻기 위해 패턴을 일치시키는 것이 아니라, 불확실성을 다루고 정답이 아예 존재하지 않을 때 이를 인식할 수 있음을 입증해야 합니다.