RAG-MedDx: A Preliminary Offline Prototype of a Citation-Traced Retrieval-Augmented Framework for Intelligent Medical Diagnosis Support

현대 의학의 세계에서 컴퓨터는 방대한 양의 의학 텍스트를 읽고 유창하고 인간 같은 문장으로 말할 수 있는 강력한 조력자가 되었습니다. 대규모 언어 모델(Large Language Models)이라고 불리는 이 시스템은 수백만 개의 문서에서 학습한 패턴을 바탕으로 문장의 다음 단어를 예측하는 방식으로 작동합니다. 이들은 자신감 있고 일관되게 들리는 데는 뛰어나지만, 중대한 결함이 있습니다. 바로 항상 진실을 알고 있는 것은 아니라는 점입니다. 이들은 사실을 실시간으로 확인하기보다 기억에 의존하기 때문에, 그럴듯하게 들리지만 완전히 틀린 세부 사항을 지어낼 때가 있습니다. 잘못된 질병이나 약물 상호작용에 대한 추측이 환자를 위험에 빠뜨릴 수 있는 의료와 같이 이해관계가 걸린 분야에서, 이러한 무언가 지어내는 경향은 심각한 문제입니다. 더욱이, 이러한 컴퓨터 시스템이 답변을 제공할 때, 어떤 책이나 연구를 사용하여 그 결론에 도달했는지 보여주지 않는 '블랙박스'처럼 행동하는 경우가 많습니다. 의사와 환자는 단순히 정답이 무엇인지뿐만 아니라, 그 답이 어디에서 왔는지도 알아야 하며, 그래로 이를 검증할 수 있어야 합니다.

이러한 위험에 대처하기 위해, 아칸크샤 가이크와드(Akanksha Gaikwad)라는 연구자는 새로운 종류의 의료 지원 시스템의 예비 프로토타입을 구축했습니다. RAG-MedDx라고 불리는 이 시스템은 컴퓨터가 말을 하기 전에 반드시 신뢰할 수 있는 특정 도서 집합에서 답을 찾아보도록 강제하며, 그 후 어떤 책을 사용했는지 정확히 보여주도록 설계되었습니다. 목표는 단순히 추측하는 것이 아니라, 모든 진술을 실제 출처로 추적하는 진단 도구를 만드는 것입니다. 연구자는 이 아이디어를 테스트하기 위해 인터넷에 연결되지 않고 로컬 컴퓨터에서 완전히 실행되는 단순화된 오프라인 버전의 시스템을 만들었습니다. 결과에 따르면, 이 시스템은 관련 의료 정보를 성공적으로 찾아내고, 이를 특정 질문과 연결하며, 답을 모를 때는 모른다고 인정하는 동시에, 사고(thinking)를 위해 클라우드 기반 컴퓨터를 사용할 필요 없이 작동할 수 있음을 보여주었습니다.

이 연구의 핵심 아이디어는 컴퓨터가 의료 조언을 생성하는 방식을 바꾸는 것입니다. 컴퓨터가 내부 학습에만 의존하게 하는 대신, 이 새로운 시스템은 질문에 답하기 전에 반드시 서가를 확인해야 하는 사서처럼 행동합니다. 사용자가 증상을 입력하면, 시스템은 먼저 6개의 의학 교과서 항목이 담긴 작은 로컬 컬렉션을 검색합니다. 시스템은 사용자의 질의와 일치하는 키워드를 찾습니다. 만약 일치하는 것을 찾으면, 해당 정보를 추출하여 답변을 구성하는 데 사용합니다. 결정적으로, 최종 답변의 모든 문장에는 그것이 어떤 교과서 항목에서 왔는지를 직접 가리키는 작은 태그가 붙습니다. 이는 진단으로부터 근거로 이어지는 명확한 경로를 만들어, 사람이 즉시 출처를 검증할 수 있게 합니다. 만약 시스템이 컬렉션을 검색했는데 증상과 일치하는 것을 찾지 못하면, 스스로 추측하지 않습니다. 대신, 일치하는 정보가 발견되지 않았다고 사용자에게 알림으로써 시스템이 가짜 진단을 내리는 것을 방지합니다.

이 논문에서 수행된 테스트에서, 프로토타입은 이 접근 방식이 통제된 환경에서 작동함을 입증했습니다. 사용자가 왼쪽 팔로 방사되는 흉통에 대한 질의를 입력했을 때, 시스템은 로컬 데이터베이스를 빠르게 검색했습니다. 시스템은 두 개의 관련 소스를 찾았고 0.77초 만에 답변을 생성했습니다. 응답에는 각 조언을 기반으로 한 특정 교과서 항목에 연결하는 인라인 인용이 포함되었습니다. 두 번째 테스트에서, 사용자가 데이터베이스의 의료 용어와 일치하지 않는 오타가 섞인 단어를 입력했습니다. 이 경우, 시스템은 소스를 찾을 수 없다고 정확하게 보고했으며 가짜 답변을 생성하지 않았습니다. 전체 과정은 0.49초가 걸렸습니다. 이 테스트들은 외부 서버와의 연결 없이 단일 장치에서 실행되었으며, 이는 시스템이 오프라인으로 작동하고 환자의 데이터를 비공개로 유지할 수 있음을 증명합니다.

이 논문이 달성한 성과의 범위를 이해하는 것이 중요합니다. 설명된 시스템은 더 큰 프로젝트의 첫 단계인 프로토타입입니다. 이 연구에서 테스트된 버전은 답변을 쓰기 위해 실제 고급 인공지능을 사용한 것이 아니라, AI가 어떻게 행동할지를 시뮬레이션하기 위해 단순화된 규칙 세트를 사용했습니다. 이 때문에, 본 논문은 이 시스템이 실제 환자를 진단할 준비가 되었다거나 기존의 의료 도구보다 더 낫다고 주장하지 않습니다. 연구자들은 이 방법이 표준 컴퓨터 모델에 비해 오류를 줄이거나 진단 속도를 개선하는지 아직 측정하지 않았습니다. 여기서 제시된 작업은 실현 가능성의 입증입니다. 이는 정보 검색, 인용 부착, 그리고 근거가 부족할 때 답변을 거부하는 시스템을 하나의 조사 가능한 파이프라인 내에서 구축하는 것이 가능하다는 것을 보여줍니다.

연구자는 또한 향에 미래에 전체 시스템을 테스트하기 위한 별도의 컴퓨터 프레임워크를 구축했습니다. 이 프레임워크는 정보를 찾아보지 않는 표준 컴퓨터 모델과 새로운 방법을 비교하도록 설계되었습니다. 계획은 대규모 의료 질문 세트에 대해 두 시스템을 모두 실행하고, 얼마나 자주 정답을 맞히는지, 얼마나 자주 가짜 정보를 만들어내는지, 그리고 답변하는 데 시간이 얼마나 걸리는지를 측정하는 것입니다. 그러나 이러한 테스트는 아직 실행되지 않았습니다. 현재의 논문은 시스템의 설계와 기본 기능의 성공적인 시연에 초점을 맞추고 있습니다. 연구자는 현재의 프로토타입이 단순한 키워드 매칭을 사용하므로 단어가 잘못 철자되었을 경우 답변을 놓칠 수 있다는 점과, 규칙 기반 답변 생성이 더 복잡한 지능을 대신하는 대역이라는 점을 인정합니다.

이러한 제한점에도 불구하고, 이 프로토타입은 의료 인공지능이 어떻게 더 안전하고 신뢰할 수 있게 만들어질 수 있는지에 대한 명확한 비전을 제시합니다. 컴퓨터가 자신의 작업 내용을 보여주고 모를 때는 모른다고 인정하도록 요구함으로써, 이 시스템은 두 가지 주요 문제인 허위 정보의 위험과 투명성 부족을 해결합니다. 전체를 오프라인으로 실행할 수 있다는 능력은 이러한 시스템이 민감한 환자 데이터를 클라우드로 보내지 않고도 병원에서 사용될 수 있음을 시사합니다. 비록 이 작업이 예비 단계이며 정확도와 신뢰성에 대한 최종 결과는 아직 남아 있지만, 프로토타입은 인용이 추적되고 일치하지 않을 때 답변을 거부하는 검색 시스템을 구축하고 테스트할 수 있음을 성공적으로 증명했습니다. 이는 컴퓨터로부터 오는 의료 조언이 단순히 유창할 뿐만 아니라, 검증 가능하고 정직할 수 있는 미래를 위한 토대를 마련합니다.