Interpretability Methods for Causal Predictions in Biomedical AI: A Systematic Review of Approaches and Evaluation Practices
47개의 생물 의학 AI 연구를 대상으로 한 이 체계적 문헌 고찰은 SHAP 및 LIME과 같은 해석 가능성 방법론이 인과적 예측 모델을 설명하기 위해 널리 사용되고 있음에도 불구하고, 이들의 평가는 압도적으로 속성 기반 지표에 의존하며 실제 인과적 타당성을 검증하는 경우는 드물다는 점을 밝히며, 모델 설명과 인과 추론 사이의 결정적인 간극을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 의학의 세계에서 인공지능은 인간의 눈이 놓칠 수 있는 패턴을 포착하는 강력한 도구가 되었습니다. 이러한 컴퓨터 시스템은 수천 장의 의료 영상 데이터를 스캔하거나 수년간의 환자 기록을 훑어봄으로써 누가 병에 걸릴 수 있는지, 혹은 질병이 어떻게 진행될지를 예측할 수 있습니다. 그러나 두 가지 현상이 함께 일어난다는 것을 아는 것과, 한 가지가 실제로 다른 하나를 유발한다는 것을 아는 것 사이에는 결정적인 차이가 있습니다. 컴퓨터는 특정 피부 흔적이 심각한 질환과 자주 함께 나타난다는 것을 학습할 수 있지만, 그렇다고 해서 그 흔적이 질병을 유발한다는 의미는 아닙니다. 그 흔적은 전적으로 다른 무언가의 부작용일 수도 있기 때문입니다. 만약 의사가 단순히 이러한 연결 고리만을 포착하는 컴퓨터에 의존한다면, 환자를 치료하려 할 때 잘못된 결정을 내릴 수 있습니다. 왜냐하면 그 흔적을 치료하는 것이 질병을 완치하는 길은 아니기 때문입니다. 패턴을 발견하는 것과 진정한 원인을 이해하는 것 사이의 이 간극은 연구자들이 해결하고자 하는 핵심 과제입니다.
뮌헨 공과대학교의 알베르트 슐레(Albert Schulle)가 수행한 새로운 체계적 문헌 고찰은 현재의 도구들이 우리가 이러한 원인을 이해하는 데 얼마나 잘 도움을 주는지 조사했습니다. 이 연구는 수백 편의 논문을 검토하여, AI가 예측을 내리는 방식을 설명하기 위해 사용되는 방법들이 실제로 진정한 생물학적 원인을 밝혀낼 능력이 있는지 확인했습니다. 연구진은 과학자들이 이러한 설명 도구를 사용하기를 열망하고 있지만, 대부분은 작업에 맞지 않는 잘못된 도구를 사용하고 있다는 사실을 발견했습니다. 가장 인기 있는 도구들, 즉 연령이나 혈압과 같은 다양한 특징들에 중요도 점수를 부여하는 방식은 컴퓨터가 무엇을 주목했는지는 매우 잘 보여주지만, 무엇이 실제로 결과를 초래했는지를 보여주는 데는 형편없습니다. 실제로 이 검토 결과, 인과적 타당성에 대한 명시적인 평가는 조사된 연구 중 단 9%에서만 나타나 매우 드물게 확인되었습니다. 이는 대다수의 연구가 자신들의 설명이 인과관계에 대해 진실을 말하고 있는지 실제로 테스트하지 않았음을 의미합니다.
이 검토는 특정 약물에 대한 환자의 반응 예측과 같이 인과관계가 중요한 의료 문제에 이러한 설명 방법들을 적용하려고 시도한 2016년부터 2025년 사이의 연구 47편을 조사했습니다. 연구진은 대다수인 약 68%가 특징 속성(feature attribution) 방법에 의존하고 있음을 발견했습니다. 이는 컴퓨터 모델이 결정을 내릴 때 어떤 입력 변수를 가장 집중적으로 사용했는지를 강조하는 기술입니다. 가장 흔한 두 가지 도구는 SHAP와 LIME으로, 이들은 모델이 가장 중요하게 여긴 데이터 지점들에 스포트라이트를 비추는 역할을 합니다. 이러한 도구들은 컴퓨터가 어떤 숫자를 살펴보았는지 보여주는 데는 매우 뛰어나지만, 리뷰에서는 이들이 근본적으로 제한적이라고 주장하는데, 이는 오직 상관관계만을 설명할 수 있기 때문입니다. 이 도구들은 의사에게 고혈압이 위험 예측의 핵심 요인이었다는 점은 알려줄 수 있지만, 혈압을 낮추는 것이 실제로 심장마비를 예방할 수 있는지까지는 알려줄 수 없습니다.
연구는 또한 진실에 더 가까이 다가갈 수 있는 더 발전된 방법들도 살펴보았습니다. 약 15%의 연구는 환자가 다른 약을 복용하는 등 만약 다른 행동을 했다면 어떤 일이 일어났을지를 상상하는 반사실적 설명(counterfactual explanations)을 사용했습니다. 이것들은 의사들이 인과관계에 대해 생각하는 방식과 개념적으로 더 유사하지만, 여전히 연구의 아주 적은 부분에서만 사용되었습니다. '종양 크기'와 같이 가공되지 않은 데이터 포인트가 아닌 인간이 이해할 수 있는 개념을 사용하여 결정을 설명하려는 개념 기반 방법(concept-based methods)은 더욱 드물었으며, 조사된 연구의 6%에서만 나타났습니다. 이번 검토는 이 분야가 상관관계를 설명하는 더 단순한 도구 쪽으로 심하게 치우쳐 있으며, 이로 인해 의사들이 상관관찰을 인과관계로 오해할 위험이 있다고 지적했습니다.
아마도 가장 놀라운 발견은 이러한 설명들이 어떻게 테스트되는지에 관한 것입니다. 연구자들이 모델을 구축하고 이를 설명할 때는 그 설명이 좋은지 확인해야 합니다. 검토 결과, 72%의 연구가 충실도(fidelity)를 확인했는데, 이는 단순히 설명이 컴퓨터 모델이 실제로 수행한 작업과 일치하는지를 확인하는 것입니다. 또 다른 43%는 모델이 실행될 때마다 설명이 무작위로 변하지 않는지 보장하는 안정성(stability)을 확인했습니다. 이것들은 중요한 기술적 점검이지만, 가장 중요한 질문인 '설명이 원인에 대해 옳은가?'라는 질문에는 답하지 못합니다. 검토 결과, 단 9%의 연구만이 설명이 실제 인과 관계를 반영하는지 검증하려고 시도했습니다. 연구자들이 인과성을 확인하려고 시도한 소수의 사례에서도, 그들은 엄격한 테스트를 통해 증명하기보다는 주로 인간 전문가에게 그 설명이 타당하게 '느껴지는지'를 물어보는 방식에 의존했습니다.
이러한 도구의 기능과 분야가 필요로 하는 것 사이의 간극은 매우 큽니다. 저자는 상관관계를 설명하기 위해 설계된 도구를 인과적 문제를 해결하는 데 사용하는 것은, 자동차가 다니는 경로를 보여주는 지도를 가지고 하이킹 경로를 계획하는 것과 같다고 지적합니다. 그 지도는 차가 어디로 가는지는 보여줄 수 있지만, 어느 길이 걷기에 안전한지는 알려주지 않습니다. 이 검토는 현재의 접근 방식이 방법론적으로 파편화되어 있으며, 연구자들이 인과관계를 이해하도록 구축되지 않은 모델에 강력한 설명 도구들을 적용하고 있다고 제안합니다. 논문은 AI가 의료 분야에서 진정으로 신뢰받기 위해서는, 단순히 설명이 일관되게 보이는지를 확인하는 수준을 넘어서야 한다고 결론짓습니다. 설명이 근저에 있는 생물학적 원인에 대해 실제로 정확한지를 테스트할 수 있는 더 나은 벤치마크와 질병이 작동하는 방식에 대한 더 명확한 가정을 사용하여 검증해야 합니다. 그때까지, 환자가 왜 아픈지에 대해 진정으로 설명할 수 있는 AI의 약속은 실현 불가능한 상태로 남아 있을 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.