Large language models improve physician accuracy but lead to false reliance
검색 증강 LLM 시스템인 CORA가 의사의 진단 정확도를 상당히 향상시켰음에도 불구하고, 해당 연구는 출처와 연결된 인용이 정답과 오답 모두에 대한 의존도를 불균형적으로 높임으로써 의사가 잘못된 권고를 거부하는 능력을 저해하는 심각한 안전 위험을 드러냈다.
원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 까다로운 사건을 해결하려는 탐정이라고 상상해 보세요. 당신에게는 수백만 권의 책을 1초 만에 읽고 해결책을 제안할 수 있는 아주 똑똑하고 빠른 조수가 있습니다. 이 조수는 인공지능, 구체적으로는 '대규모 언설 모델(LLM)'입니다. 이 AI들은 인터넷 전체를 읽으며 대화하는 법을 배운 백과사전와 같은데, 때로는 실제로 알지 못하는 것에 대해 지나치게 자신감을 가져서, 완벽해 보이지만 틀린 사실을 지어내기도 합니다. 이를 해결하기 위해 과학자들은 '검색 증강 생성(RAG)'이라는 기술을 발명했습니다. RAG는 당신의 AI 조수에게 도서관 카드를 쥐여주며 다음과 같은 규칙을 주는 것과 같습니다. "답을 낼 수 있다면, 그 답을 증명하는 책의 정확한 페이지를 반드시 지목해야 한다." 이렇게 하면 AI는 단순히 추측하는 것이 아니라, 자신의 숙제를 보여주게 됩니다.
하지만 여기서 큰 질문이 생깁니다. 숙제를 보여주는 것이 실제로 인간 탐정에게 도움이 될까요? 아니면 AI가 틀렸을 때조차 인간이 AI를 너무 믿게 만드는 걸까요? 이것은 이 아이디어를 테스트하기 위해 실제 의사들을 대상으로 실험한 새로운 연구의 이야기입니다. 과학자들은 인용구를 제공하는 AI를 주는 것이 의사들의 피부 질환 진단을 더 낫게 만드는지, 아니면 잘못된 답변이 마치 근거가 있는 것처럼 보이게 만들어 의사들이 위험한 실수를 저지르도록 속이는지를 확인하고 싶었습니다.
CORA와 "가짜 증거" 함정의 이야기
이 연구에서 연구진은 CORA(Citation-Oriented Retrieval Assistant, 인용 중심 검색 어시스턴트)라는 특별한 AI 조수를 만들었습니다. CORA를 아주 똑똑한 연구 인턴이라고 상상해 보세요. 이 인턴은 의사가 피부 상태에 대해 질문할 때마다 단순히 답변만 내놓는 것이 아닙니다. 대신, CORA는 디지털 의학 교과서, 가이드라인, 사례 보고서가 있는 디지털 도서관으로 가서 관련 페이지를 찾은 뒤, "제 답변은 이것이며, 이를 증명하는 세 개의 페이지는 여기 있습니다"라고 말합니다.
연구진은 이것이 실제 세상에서 어떻게 작동하는지 보고 싶었습니다. 그들은 21개국에서 모인 46명의 의사를 모아 일련의 피부 질환 퍼즐을 제시했습니다. 먼저, 의사들은 스스로 문제를 풀어야 했습니다. 그 다음, 의사들에게 CORA의 답변과 그 "증거"(인용구)를 보여준 뒤, 원래의 답변을 고수할 것인지 아니면 바꿀 것인지 물었습니다.
좋은 소식: 의사들이 더 똑똑해졌다
결과는 CORA가 유능한 조력자임을 보여주었습니다. 의사들이 혼자 작업했을 때 정답률은 **70.8%**였습니다. 하지만 CORA를 사용했을 때, 이들의 정확도는 **82.6%**로 뛰어올랐습니다. AI는 특히 까다로운 사례나 희귀 질환에 대해 의사들이 실수를 바로잡을 수 있도록 도왔습니다. 이는 마치 규칙을 완벽하게 숙지하고 있는 두 번째 눈을 갖게 된 것과 같았습니다.
나쁜 소식: "인용의 함정"
하지만 연구는 교묘한 문제를 발견했습니다. CORA가 보여준 "증거"가 항상 진짜 증거는 아니었습니다. 때때로 CORA는 틀린 답을 내놓으면서도, 실제로는 답을 뒷받받하지 않더라도 마치 답을 뒷받침하는 것처럼 보이는 인용구를 보여주곤 했습니다.
여기서부터 복잡해집니다:
- CORA가 맞았을 때: 의사들이 인용구가 답변을 뒷받침하는 것처럼 보인다고 느꼈을 때, 그들은 마음을 바꾸어 AI에 동의할 가능성이 매우 높았습니다. 적절한 근거를 느꼈을 때 올바른 조언을 채택하는 성공률은 34%(근거가 뒷받받되지 않는다고 느꼈을 때)에서 **76.9%**로 올라갔습니다.
- CORA가 틀렸을 때: 이 부분이 위험한 부분입니다. 만약 CORA가 틀린 답을 내놓으면서도 그것이 뒷받침되는 것처럼 보이는 인용구를 보여준다면, 의사들은 저항을 멈춥니다. 보통 의사들은 AI가 틀렸을 때 자신의 정답을 고수하는 경로가 **92%**에 달할 정도로 고집이 셉니다. 하지만 "뒷받침하는 듯한" 인용구가 제시되었을 때, 이 저항력은 단 **34.8%**로 떨어졌습니다.
교훈: 믿되, 증거를 검증하라
연구는 "근거 불일치(grounding-miscalibration)"를 발견했습니다. 이는 의사들이 증거의 '외양'에 속았다는 것을 의미하는 전문적인 표현입니다. 인용구가 제시되면 의사들은 그 인용구가 특정 지점을 실제로 증명하지 못하더라도, 답변이 반드시 옳을 것이라고 가정했습니다. 이는 마치 학생이 교과서 페이지를 첨부하여 시험지를 제출하는 것과 같습니다. 만약 그 페이지가 주제와 관련은 있지만 질문에 대한 답을 실제로 하고 있지 않더라도, 선생님은 "오, 조사를 했구나"라며 점수를 줄 수도 있습니다. 하지만 의학에서 이러한 점수는 실수가 될 수 있습니다.
연구진은 AI가 의사들을 전반적으로 더 정확하게 만들었지만, 동시에 새로운 위험도 만들었다는 것을 발견했습니다. 즉, AI가 틀린 답을 잘 뒷받침되는 것처럼 보이게 만들면 의사들이 자신의 올в른 직관을 포기할 가능성이 더 높아진다는 것입니다. 이 연구는 이러한 AI 도구들이 안전해지려면, 단순히 AI가 맞느냐 틀리느냐만을 봐서는 안 된다고 시사합니다. 우리는 "증거"가 단순히 주제와 관련된 것이 아니라, 실제로 그 답을 증명하는지 확인해야 합니다. 그렇지 않으면, 의사들이 진실을 확인하도록 돕기 위해 만들어진 바로 그 장치가 오히려 그들을 속여 거짓을 믿게 만드는 결과가 될 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.