Framework for Grounding Healthcare LLMs in a Causal Knowledge Graph: A Cardiovascular Example

병원의 고요한 소음 속에서 의사들은 환자에게 가장 적합한 치료법을 결정하기 위해 종종 디지털 도구에 의지합니다. 거대 언어 모델이라 불리는 고급 컴퓨터 프로그램으로 구동되는 이 도구들은 방대한 양의 의학 텍스트를 읽고 놀라운 속도로 답을 제시할 수 있습니다. 그러나 결정적인 질문이 남아 있습니다. 컴퓨터가 약물과 환자의 회복 사이를 잇는 인과관계의 사슬을 진정으로 이해하고 있는 것일까요, 아니면 단순히 자신이 암기한 패턴을 바탕으로 정답을 추측하고 있는 것일까요? 수년 동안 과학자들은 이 시스템들에게 객관식 시험처럼 목록에서 정답을 고르라고 요청하며 테스트해 왔습니다. 하지만 의학에서 잘못된 이유로 정답을 맞히는 것은 위험할 수 있습니다. 모델이 생명을 구하는 약물을 제안하면서도 왜 그 약이 효과가 있는지에 대해 가짜 이유를 지어낼 수도 있고, 혹은 특정 환자에게 그 약이 왜 위험한지에 대한 숨겨진 위험 요소를 놓칠 수도 있기 때문입니다. 진정으로 신뢰할 수 있는 의료 보조 도구를 만들기 위해서, 연구자들은 단순히 최종 선택지가 아니라 기계의 사고 과정 내부를 들여다볼 수 있는 방법이 필요합니다.

한 연구팀은 이러한 시스템을 테스트하는 새로운 방법을 개발했는데, 특히 심장 관리에서의 인과관계 추론 방식에 초점을 맞추었습니다. 그들은 단순히 최종 답변이 맞는지 확인하는 대신, 모든 의학적 사실을 별개의 검증 가능한 증거 조각으로 취급하는 프레임워크를 구축했습니다. 모든 주장(예: "이 약은 혈압을 낮춘다")이 고유한 ID 번호, 출처 인용, 그리고 해당 증거의 강도에 대한 메모를 가진 물리적인 카드와 같은 거대한 디지털 도서관을 상상해 보십시오. 이것이 그들의 새로운 시스템의 기초입니다. 그들은 이러한 카드들이 논리적인 사슬로 연결되어, 치료가 어떻게 생물학적 변화로 이어지고 그 후 어떻게 더 나은 건강 결과로 이어지는지를 정확히 보여주는 심장 관련 지식의 특화된 지도를 만들었습니다. 이 지도는 컴퓨터가 무엇을 결정했는가뿐만 아니라, 그곳에 도달하기 위해 올바른 추론 경로를 따랐는지 여부를 파악할 수 있게 해줍니다.

이 시스템을 테스트하기 위해 연구진은 고혈압이 있는 노인부터 특정 약물을 복용할 수 없는 임산부에 이르기까지 일련의 현실적인 환자 시나리오를 만들었습니다. 그런 다음 강력한 컴퓨터 모델에게 네 가지 서로 다른 조건 하에서 이 문제들을 해결하도록 요청했습니다. 첫 번째 조건에서 모델은 환자의 이야기만을 전달받았으며, 외부의 도움 없이 자신의 내부 기억에만 의존해야 했습니다. 나머지 세 가지 조건에서 모델은 디지털 도서관의 일부에 접근할 수 있었지만, 정보는 각기 다른 방식으로 제시되었습니다. 때로는 단순한 사실 목록으로, 때로는 명확한 인과관계의 사슬로, 때로는 사실, 원인, 안전 경고가 결합된 완전히 통합된 가이드 형태로 제공되었습니다. 연구진은 정보가 제시되는 방식이 컴퓨터의 추론 품질을 어떻게 변화시키는지 확인하기 위해 각 상황에서 모델이 어떻게 수행하는지를 비교했습니다.

결과는 이 시스템들이 어떻게 작동하는지에 대한 놀랍고도 중요한 진실을 드러냈습니다. 모델이 외부의 사실 확인 없이 스스로 판단하도록 내버려 두었을 때, 모델은 거의 95%의 확률로 최종 정답을 맞혔습니다. 모델은 자신감 있게 들렸고 올바른 약물을 선택했습니다. 그러나 연구진이 더 깊이 들여다보았을 때, 이 높은 점수는 오해의 소지가 있다는 것을 발견했습니다. 모델은 메커니즘을 이해하지 못한 채 정답을 맞히는 경우가 많았고, 실제 의학적 근거가 뒷받침되지 않는 이유를 자주 지어냈습니다. 반면, 모델에게 약물과 치료 사이의 전체 인과관계와 안전 경고를 보여주는 통합 가이드를 제공했을 때, 최종 답변에 대한 모델의 순수 정확도는 약간 떨어졌습니다. 하지만 이 근거가 확실한 상태에서 모델은 다른 중요한 측면에서 훨씬 더 신뢰할 수 있게 되었습니다. 모델은 약물이 치료로 이어지는 구체적인 생물학적 단계를 정확히 식별했고, 잠재적인 부작용과 위험한 상호작용을 훨씬 더 자주 포착했으며, 근거 없는 주장을 하는 것을 멈췄습니다. 가장 자신만만하게 들렸던 모델이 사실은 정보를 환각(hallucination)하고 있을 가능성이 가장 높았던 반면, 구조화된 가이드를 사용한 모델이 진정으로 의학적 논리를 이해하고 있었습니다.

또한 이 연구는 전통적인 테스트가 놓칠 수 있는 미묘한 오류를 잡아낼 수 있음을 보여주었습니다. 예를 들어, 의학적 증거가 불완전하거나 불확실한 경우, 가이드를 사용한 모델은 확신 있는 권고를 할 수 없음을 올바르게 인정했습니다. 최종 답변만을 보는 표준 테스트라면 이를 실패로 간주했겠지만, 이 새로운 프레임워크는 이를 올바르고 안전한 행동으로 인식했습니다. 연구진은 이 시스템이 단순히 사실을 잊어버린 모델과 질문의 구조를 오해한 모델을 구분할 수 있다는 것을 발견했습니다. 모델이 한 모든 주장을 디지털 도서관의 고유 ID 번호와 대조하여 추적함으로써, 그들은 컴퓨터가 인과 사슬을 얼마나 잘 재구성하는지, 증거를 얼마나 정확하게 인용하는지, 그리고 얼마나 자주 사실을 지어내는지에 대한 정밀한 점수를 계산할 수 있었습니다.

이 작업은 특정 컴퓨터 프로그램이 의사를 대체할 준비가 되었다고 주장하거나, 어떤 정보 제공 방식이 모든 상황에서 절대적으로 최고라고 선언하는 것이 아닙니다. 대신, 이는 이러한 도구들을 평가하기 위한 새로운 렌즈를 제공합니다. 연구진은 '정확성'이라는 단일 점수만으로는 의료 AI를 판단하기에 충분하지 않다는 것을 입증했습니다. 시스템은 우연히 맞을 수도 있고 설계상 틀릴 수도 있으며, 추론 단계를 점검하는 프레임워크만이 그 차이를 말해줄 수 있습니다. 모든 평가를 검증된 의학적 사실의 지도에 고정함으로써, 이 접근 방식은 미래의 의료 보조 도구가 단순히 유창한 화자가 아니라, 사려 깊고 근거에 기반한 케어의 파트너가 될 수 있도록 보장하는 길을 제시합니다. 이 파일럿 연구는 단순한 답변의 표면이 아닌, 이해의 깊이를 측정하는 테스트 환경을 구축하는 것이 가능하다는 것을 보여주는 개념 증명 역할을 합니다.