Retrieval‑Augmented Clinical Question‑Answering System for Bariatric Surgery Built on the ASMBS Textbook: From Good to Great

당신이 거대하고 혼란스러운 도서관에 들어선다고 상상해 보십시오. 그곳의 책들은 끊임없이 스스로를 다시 써 내려갑니다. 이것이 바로 현대 인공지능, 특히 대화하고 글을 쓰며 질문에 답할 수 있는 '거대 언어 모델(LLM)'의 세계입니다. 이 디지털 두뇌들은 매우 똑똑하지만, 한 가지 까다로운 습관이 있습니다. 바로 답을 모를 때 아주 자신만만하게 지어낸다는 것입니다. 의료계에서는 이를 '환각(hallucinating)'이라고 부르는데, 이는 마치 가이드가 가짜 건물을 가리키며 진짜 박물관이라고 우기는 것과 같습니다. 만약 의사가 AI에게 복잡한 수술에 대해 물었을 때 AI가 존재하지 않는 절차를 만들어낸다면, 그 결과는 매우 위험할 수 있습니다.

이를 해결하기 위해 과학자들은 '검색 증강 생성(Retrieval-Augmented Generation)', 즉 RAG라는 기술을 사용합니다. RAG를 생각할 때는 AI에게 다음과 같은 엄격한 규칙을 주는 것이라고 상상해 보십시오. "너는 추측해서는 안 된다. 반드시 이 특정되고 신뢰할 수 있는 교과서를 펼쳐서, 정확한 페이지를 찾아, 그 답을 소리 내어 읽어야 한다." AI의 기억(기억은 흐릿하거나 지어낸 것일 수 있습니다)에 의존하는 대신, RAG는 AI가 말하기 전에 검증된 출처에서 사실을 찾아보도록 강제합니다. 이 논문은 이 "찾아보기" 전략이 AI가 스스로 추측하게 두는 것보다 더 효과적인지를, 특히 고도의 전문성을 요하는 비만 대사 수술(체중 감량 수술) 분야에서 탐구합니다.

---

거대한 실험: 교과서를 가진 AI vs 스스로 판단하는 AI

이 연구에서 연구진은 비만 대사 수술을 돕기 위해 설계된 특별한 질의응답 시스템을 구축했습니다. 그들은 AI에게 ASMBS 비만 대사 수술 교과서를 유일한 진실의 근거로 사용하도록 강제했을 때, AI가 의료 질문에 더 잘 답할 수 있는지 확인하고 싶었습니다.

이를 테스트하기 위해, 그들은 200개의 까다로운 질문으로 구성된 "문제 은행"을 만들었습니다. 이 질문들은 무작위가 아니었습니다. 지방이 어떻게 연소되는지부터 수술 합병증을 어떻게 다루는지에 이르기까지, 교과서 각 장의 끝에 있는 퀴즈에서 직접 가져온 것들입니다. 그런 다음 그들은 세 가지 다른 버전의 AI(GPT-4o-mini, GPT-4, GPT-5)에게 두 가지 방식으로 질문에 답하게 했습니다:

1. "날것(Raw)" 방식: AI가 교과서를 보지 않고 자신의 기억만으로 답해야 합니다.
2. "RAG" 방식: AI가 RAG 시스템을 사용하여 교과서에서 먼저 답을 찾은 다음, 거기서 찾은 내용만을 바탕으로 답해야 합니다.

결과: 교과서의 승리

결과는 명확했습니다. AI에게 교과서를 주는 것이 AI를 훨씬 더 똑똑하게 만들었습니다.

• 최고의 성적: 가장 발전된 AI인 GPT-5는 스스로 추측할 때 **87.0%**의 문제를 맞혔습니다. 하지만 교과서를 사용했을 때(RAG), 점수는 **94.0%**로 뛰었습니다. 이는 200개 중 14개의 정답을 추가로 맞힌 것입니다.
• 가장 큰 폭의 향상: 더 작은 규모의 AI인 GPT-4o-mini는 스스로 할 때 **70.5%**의 점수로 시작했습니다. 교과서와 함께했을 때, 이 점수는 **84.5%**로 치솟았으며, 28개의 문제를 더 맞혔습니다.
• 중간 단계: GPT-4는 교과서의 도움으로 **81.0%**에서 **89.5%**로 향상되었습니다.

연구진은 이 시스템이 기초적인 사실과 수술 전 관리와 관련된 질문에 대해서는 완벽하게 작동(정확도 100%)한다는 것을 발견했습니다. 그러나 구체적인 수술 단계나 까다로운 합병증 관리와 같이 가장 복잡한 주제에 대해서는 여전히 약간의 어려움을 겪었으며, 이 경우 약 **88.9%**의 정답률을 보였습니다. 교과서를 사용하더라도 AI가 완벽하지는 않았지만, "좋은" 수준을 넘어 "훌륭한" 수준에 훨씬 가까워졌습니다.

AI가 막혔던 지점

연구진은 단순히 점수만 센 것이 아니라, 가장 뛰어난 AI(RAG를 사용한 GPT-5)가 틀린 12개의 문제를 분석하여 그 이유를 찾아냈습니다. 그들은 몇 가지 우스꽝스러우면서도 심각한 실수 원인을 발견했습니다:

• "가장 두드러진" 함정: 때때로 교과서에서 특정 표준(standard)을 여러 번 언급했지만, 그것이 '최고의' 답변으로 제시되지는 않았습니다. AI는 "Standard 6"라는 단어가 많이 등장하는 것을 보고 그것을 선택했습니다. 하지만 실제 질문은 결함이 가장 많은 표준을 묻는 것이었고, 실제 답은 Standard 2였습니다. AI는 실제 논리보다는 단어가 얼마나 자주 나타나는지에 의해 주의가 분산되었습니다.
• "제외(Except)" 혼동: 일부 질문은 "다음 중 ~인 것은 제외하고 모두 옳은 것은?"과 같은 형식이었습니다. AI는 가짜 진술 하나를 찾아내는 것을 잊어버리고, 대신 참인 진술을 골라 논리를 거꾸로 파악하는 실수를 범했습니다.
• "역사" 혼동: 수술의 기원에 대해 질문받았을 때, AI는 수술의 실제 발명 계보보다는 한 외과의가 카메라(내시경)를 이용해 처음으로 시행했던 시점(이정표)에 집중했습니다.
• "레드 플래그(위험 신호)" 맹목성: 수술 후 심한 통증을 느끼는 환자와 같은 응급 상황에서, AI는 때때로 엑스레이를 먼저 찍으라고 제안했습니다. 실제로 교과서에서는 특정 통증 패턴이 나타나면 즉시 수술이 필요하다고 명시되어 있었으나, AI는 영상 촬영을 기다리는 것이 위험할 수 있다는 점을 간과하고 일반적인 규칙을 따랐습니다.

이것이 의미하는 바

이 연구는 AI가 점점 똑똑해지고 있지만, 여전히 안전망이 필요하다는 것을 보여줍니다. AI를 하나의 권위 있는 교과서에 고정함으로써, 연구진은 AI가 사실을 지어내는 것을 막고 정확도를 상당한 수준까지 높일 수 있었습니다. 가장 좋은 설정(교과서를 활용한 GPT-5)은 이전 기록을 11 퍼센트 포인트 앞질렀습니다.

그러나 이 논문은 이것이 모든 문제를 해결하는 마법의 해결책은 아니라고 경고합니다. AI는 여전히 복잡한 다단계 추론이나, 의료 가이드라인의 문자 그대로의 단어가 아닌 그 '정신'을 이해해야 하는 질문에서 어려움을 겪습니다. 저자들은 이 "교과서에 묶인" 접근 방식이 수술 분야에서 AI를 신뢰할 수 있게 만드는 데 큰 진전이지만, 가장 까다롭고 미묘한 의료적 난제들을 처리할 수 있도록 시스템을 계속 정교화해야 한다고 제언합니다. 현재로서는 교훈이 간단합니다. 높은 이해관계가 걸린 의학 분야에서는, 단순히 기억하려고 애쓰는 AI보다 정보를 찾아보는 법을 아는 AI가 훨씬 더 낫습니다.