당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신에게는 매우 다른 두 명의 조수가 있습니다. 한 명은 엄청나게 빠른 계산기로, 숫자를 순식간에 처리하여 "집사일 확률이 95%입니다"라고 말해주지만, 왜 그런지는 설명하기를 거부합니다. 그는 단지 숫자만 던져줄 뿐입니다. 다른 한 명은 집사와 날씨, 그리고 촛대에 대해 아름답고 상세한 이야기를 써 내려가는 천재적인 이야기꾼입니다. 하지만 이 조수는 흥분하면 일어나지도 않은 사실을 지어내기도 합니다. 의학의 세계에서 이것은 매우 큰 문제입니다. 의사들은 환자가 왜 심장 질환 위험이 있는지 알아야 하며, 그 정보는 반드시 100% 사실이어야 합니다. 즉, 꾸며낸 이야기가 아니어야 합니다. 여기서 바로 "신뢰할 수 있는 인공지능(Trustworthy Artificial Intelligence)"이라는 분야가 등장합니다. 이는 컴퓨터 시스템이 단순히 똑똑할 뿐만 아니라, 의사들이 생명을 구하는 데 도움을 줄 수 있을 만큼 정직하고, 설명 가능하며, 안전하도록 만드는 여정입니다.

이 논문은 **카디오트러스트(CardioTrust)**라는 새로운 탐정 팀을 소개합니다. 저자들은 계산기와 이야기꾼이 따로 일하게 두는 대신, 두 존재가 엄격하고 조직적인 라인을 따라 함께 일하도록 구축했습니다. 먼저, 강력한 계산기(랜덤 포레스트 모델)가 환자의 데이터를 살펴보고 심장 질환 위험도를 예측합니다. 하지만 여기서 반전이 있습니다. 이 계산기는 단순히 "고위험" 또는 "저위험"이라는 짧은 메모만 보내는 것이 아닙니다. 대신, 이야기꾼에게 어떤 위험 요인(예: 높은 콜레스테롤이나 흉통)이 가장 중요한지, 그리고 계산기가 자신의 답에 얼마나 확신하고 있는지에 대한 구체적인 "임무 브리핑(mission brief)"을 전달합니다. 그러면 이야기꾼(거대 언어 모델)은 이 브리핑을 바탕으로 방대한 실제 의학 규칙과 연구 자료를 검색하여 완벽한 근거를 찾아냅니다. 마지막으로, 보고서가 의사에게 전달되기 전, 엄격한 "안전 검사관(Trust Validation 모듈)"이 전체 패키지를 점검합니다. 검사관은 다음과 같이 질문합니다. "우리가 올바른 근거를 찾았는가? 이야기가 계산기의 수학적 결과와 일치하는가? 이야기가 완전한가?" 만약 답변 중 하나라도 "아니오"라면, 해당 보고서는 인간의 검토를 위해 되돌려 보내집니다.

이 팀의 협업은 놀라울 정도로 효과적이었습니다. 연구진이 70,000개의 환자 기록 데이터셋으로 CardioTrust를 테스트했을 때, 이 시스템은 심장 질환을 **95.84%**의 정확도로 예측했으며, 이는 다른 표준 컴퓨터 모델들보다 유의미하게 높은 수치였습니다. 하지만 진짜 마법은 스토리텔링 부분에서 일어났습니다. 일반적인 컴퓨터 스토리텔러는 약 **21.64%**의 확률로 사실을 지어냈던(환각 현상) 반면, CardioTrust의 엄격한 안전 점검은 이러한 허위 사실을 단 **2.84%**로 줄였습니다. 또한 이 시스템이 만든 이야기는 항상 그 이면의 수학적 근거와 일치함을 입증하여, 의사가 단순히 그럴싸한 이야기가 아닌, 실제 의학 가이드라인에 의해 뒷받침된 진실된 정보를 받게 된다는 것을 보여주었습니다. 저자들은 이 접근 방식이 향후 더 많은 실제 병원 데이터를 통해 검증된다면, 개인 맞춤형 심장 케어의 게임 체인저가 될 수 있다고 제안합니다.

문제점: 계산기 대 이야기꾼

CardioTrust가 왜 그토록 중요한지 이해하려면, 의사들이 심장 질환을 예측하기 위해 사용해 온 두 가지 도구와 그 결함들을 살펴봐야 합니다.

첫째, 머신러닝 모델이 있습니다. 이것들을 슈퍼 빠른 계산기라고 생각하세요. 이들은 환자의 연령, 혈압, 콜레스테롤 등을 살펴보고 위험 점수를 내놓습니다. 인간이 놓칠 수 있는 패턴을 포착하는 데 탁월합니다. 하지만 이들은 종종 "블랙박스"와 같습니다. 결과값은 주지만, 왜 그런지는 알려주지 않습니다. 의사가 고위험 점수를 보더라도, 그것이 환자의 연령 때문인지 혹은 흡연 습 습관 때문인지 쉽게 알 수 없습니다. 설명이 없다면 의사들은 기계를 신뢰하기 주저하게 됩니다.

둘째, **거대 언어 모델(LLM)**이 있습니다. 이들은 천재적인 이야기꾼입니다. 의학 교과서를 읽고 환자를 위한 상세한 계획을 작성하며, 무엇이 문제인지 평이한 영어로 설명할 수 있습니다. 문제는 무엇일까요? 이들은 때때로 "환각(hallucinate)"을 일으킵니다. 즉, 특정 약이 존재하지 않거나 권장되지 않음에도 불구하고, 마치 그 약이 질환을 치료하는 것처럼 자신 있게 의사에게 말할 수 있다는 뜻입니다. 병원에서 지어낸 사실은 매우 위험할 수 있습니다.

오랫동안 연구자들은 **RAG(검색 증강 생성, Retrieval Augmented Generation)**라는 방법을 사용하여 이를 해결하려 노력했습니다. 이것은 이야기꾼에게 도서관 카드를 주는 것과 같습니다. 기억에 의존해 내용을 지어내는 대신, 이야기를 쓰기 전에 신뢰할 수 있는 의학 서적들이 있는 도서관에서 답을 찾아보도록 강제하는 것입니다. 도움이 되긴 하지만, 기존 방식은 다소 투박했습니다. 이야기꾼이 도서관에 "심장 질환에 대해 알려줘"라고 요청하면, 환자의 특수한 상황에는 맞지 않는 일반적인 답변만을 받아오게 됩니다.

해결책: 서로 대화하는 팀

이 논문의 저자들은 계산기와 이야기꾼이 이야기를 쓰기 전에 서로 대화해야 한다는 점을 깨달았습니다. 그들은 수학과 언어가 하나로 묶인 시스템인 CardioTrust를 구축했습니다.

시스템이 작동하는 단계는 다음과 같습니다:

1. 계산기 (Random Forest): 시스템은 환자의 데이터를 분석하는 것으로 시작합니다. 단순히 "고위험"이라고 말하는 것이 아니라, 정확한 확률(예: 95.84%)을 계산하고, 결정적으로 이야기 속의 "악당(위험 요인)"들을 식별합니다. 이들은 SHAP라는 도구를 사용하여 어떤 요인이 위험을 주도하는지 정확히 파악합니다. 환자의 연령인가요? 흉통인가요? 아니면 콜레스테롤인가요? 계산기는 이 특정 악당들을 목록화한 "임무 브리핑"을 작성합니다.
2. 스마트 검색 (Hybrid RAG): 이것이 첫 번째 큰 혁신입니다. 도서관에 "심장 질환에 대해 알려줘"라고 묻는 대신, 시스템은 임무 브리핑을 보냅니다. 도서관에 "환자가 ST 절 하강과 흉통을 앓고 있으니, 그것에 대한 구체적인 규칙을 찾아줘"라고 요청하는 것입니다. 이를 통해 검색된 근거가 환자의 특정 수학적 상태에 완벽하게 부합하도록 보장합니다.
3. 이야기꾼 (Llama 3.2): 이야기꾼은 검색된 근거와 임무 브리핑을 가져와 개인화된 권고안을 작성합니다. 구체적인 규칙과 환자 데이터를 가지고 있기 때문에 추측할 필요가 없습니다.
4. 안전 검사관 (Trust Validation): 이것은 최종 관문입니다. 보고서가 의사에게 전달되기 전, 안전 검사관이 체크리스트를 실행합니다. 검사관은 다섯 가지 질문을 던집니다:
   • 계산기가 자신의 수학적 결과에 확신을 갖고 있는가?
   • 올바른 근거를 찾았는가?
   • 찾은 근거들이 서로 일치하는가?
   • 이야기가 계산기가 찾아낸 것과 동일한 "악당(위험 요인)"을 언급하고 있는가?
   • 이야기가 완전한가(진단, 계획, 조언을 모두 포함하는가)?

만약 보고서가 0에서 1 사이의 척도에서 0.75 이상의 점수를 받으면 의사에게 전달됩니다. 점수가 너무 낮으면 인간이 직접 검토하도록 표시됩니다. 이는 잘못되거나 지어낸 조언이 환자에게 도달하지 않도록 보장합니다.

결과: 진실과 신뢰

저자들은 이 시스템을 표준 계산기, 단독 이야기꾼, 그리고 이전 버전의 도서관 검색 시스템을 포함한 여러 방법과 비교 테스트했습니다. 결과는 인상적이었습니다.

수학적 측면: CardioTrust의 핵심 계산기는 **95.84%**의 정확도와 0.941의 정밀도(precision), 0.952의 재현율(recall)을 달성했습니다. 이는 XGBoost나 서포트 벡터 머신(SVM)을 포함하여 테스트된 거의 모든 다른 모델보다 심장 질환을 더 잘 찾아냈음을 의미합니다.

이야기 측로는: 진짜 승부는 권고안의 품질에 있었습니다.

• (도서관 없는) 일반적인 이야기꾼은 **21.64%**의 확률로 사실을 지어냈습니다.
• (스마트 임무 브리핑이 없는) 일반적인 도서관 검색 시스템은 **15.31%**의 확률로 사실을 지어냈습니다.
• CardioTrust는 단 **2.84%**의 확률로만 사실을 지어냈습니다.

또한, 이 시스템은 전체 패키지가 얼마나 신뢰할 수 있는지를 나타내는 신뢰 점수(Trust Score) 0.96을 기록했습니다. 저자들은 또한 이야기가 수학과 일치하는지 확인했습니다. 그 결과 "설명 일치도(Explanation Agreement)"가 0.95로 나타났는데, 이는 이야기가 계산기가 제시한 위험 원인을 거의 완벽하게 반영하고 있음을 의미합니다.

"만약 ~라면" 테스트 (Ablation Study): 저자들은 시스템의 일부를 제거했을 때 어떤 일이 일어나는지도 테스트했습니다.

• 스마트 검색이 없으면 시스템의 신뢰도가 떨어졌습니다.
• 안전 검사관이 없으면 환각 발생률이 **8.21%**로 치솟았습니다.
• 안전 검사관과 스마트 검색이 모두 없으면 환각 발생률은 **24.82%**에 달했습니다.

이는 팀의 모든 구성 요소가 필수적임을 입증했습니다. 좋은 계산기만 있어서는 안 되며, 신뢰성을 확보하기 위해서는 스마트 검색과 안전 검사관이 반드시 필요합니다.

이것이 왜 중요한가

저자들은 이 연구가 완성된 제품이 아니라 유망한 단계임을 강조합니다. 그들은 기존 데이터셋(70,000개의 기록이 담긴 Kaggle 심혈관 질환 데이터셋 및 1,025개의 기록이 담긴 UCI 심장 질환 데이터셋)을 사용하여 시스템을 테스트했습니다. 결과는 강력하지만, 아직 실제 병원의 복잡한 현실 속에서 테스트되지는 않았습니다. 저자들은 다음 단계로 다양한 병원의 복잡한 현실 속에서 시스템이 어떻게 작동하는지 확인하고, 실제 의사들에게 보고서에 대한 평가를 받는 것이라고 제안합니다.

하지만 핵심 아이디어는 명확합니다. 수학과 언어가 서로 일치하도록 강제하고 마지막에 엄격한 안전 점검을 추가함으로써, 우리는 의사들이 실제로 신뢰할 수 있는 AI를 구축할 수 있습니다. CardioTrust는 단순한 계산기나 이야기꾼이 아닙니다. 그것은 숙제를 제출하기 전에 스스로 검토하는 팀입니다.