Toward a Common Language for Trustworthy AI in Healthcare
675편의 논문을 대상으로 한 범위 검토(scoping review)를 통해, 본 논문은 의료 분야 내 신뢰할 수 있는 AI 원칙의 정의에서 나타나는 상당한 개념적 불일치를 식별하고, 이러한 개념들을 표준화하며 해당 분야의 증거적 토대를 강화하기 위한 통합된 프레임워크와 연구 우선순위를 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능은 의료 분야에서 의사의 질병 진단, 환자 결과 예측, 치료법 선택을 돕는 파트너로서 빠르게 자리 잡고 있습니다. 그러나 이러한 컴퓨터 시스템이 점점 더 복잡해짐에 따라, 하나의 조용한 문제가 나타났습니다. 많은 시스템이 '블랙박스'처럼 작동한다는 점입니다. 이들은 의료 데이터를 입력받아 결과를 도출하지만, 그 둘 사이의 경로는 숨겨져 있습니다. 기계가 진단을 제안할 때, 의사는 그 이유를 알아야 합니다. 그들은 시스템의 추론 과정을 이해해야 하고, 시스템이 공정하다는 것을 신뢰해야 하며, 학습된 환자들뿐만 아니라 모든 환자에게 일관되게 작동할 것임을 확신해야 합니다. 이러한 신뢰를 구축하기 위해 이 분야에서는 흔히 '신뢰할 수 있는 AI(trustworthy AI)'라고 불리는 일련의 가이드라인 원칙들이 개발되었습니다. 이 원칙들에는 시스템이 어떻게 작동하는지 공개하는 '투명성', 어떤 집단도 불공평하게 대우받지 않도록 보장하는 '공정성', 그리고 시스템이 일관되게 성능을 발휘함을 의미하는 '신뢰성'과 같은 개념들이 포함됩니다. 하지만 이러한 원칙들이 제대로 작동하려면, 모두가 그 용어들이 실제로 무엇을 의미하는지에 대해 합의해야 합니다. 만약 한 연구자가 어떤 시스템을 '설명 가능하다(explainable)'라고 부를 때 다른 연구자가 같은 단어를 약간 다른 의미로 사용한다면, 신뢰의 토대는 균열이 가기 시작합니다.
캐나다 맥마스터 대학교의 한 연구팀은 의료 AI 커뮤니티가 동일한 언어를 사용하고 있는지 확인하기 위해 조사에 착수했습니다. 이들은 2015년부터 2025년 사이에 발표된 675개의 논문을 방대한 규모로 검토하며, 과학자들이 해석 가능성(interpretability), 설명 가능성(explainability), 투명성(transparency), 공정성(fairness), 편향성(bias), 강건성(robustness), 신뢰성(reliability), 타당성(validity)이라는 8가지 핵심 개념을 어떻게 정의하고 사용하는지 조사했습니다. 그들이 발견한 것은 혼란스러운 지형이었습니다. 연구 결과, 이 용어들은 서로 다른 것을 설명해야 함에도 불구하고 자주 혼용되어 사용되고 있었습니다. 예를 들어, 연구진은 '해석 가능성'과 '설명 가능성'이 실제로는 서로 다른 수준의 이해를 기술해야 한다고 제안했음에도 불구하고, 두 단어는 빈번하게 서로 바뀌어 사용되었습니다. 마찬가지로, '신뢰성'과 '타당성'에 대한 정의도 너무 다양해서, 어떤 연구는 시스템이 학습된 데이터와 동일한 데이터에서 잘 작동한다는 이유만으로 신뢰할 수 있다고 부르는 반면, 다른 연구는 완전히 다른 데이터에서도 작동해야 그 라벨을 부여하기도 했습니다. 이러한 공통된 어휘의 부재는 연구를 비교하거나, 지식을 공유하거나, 진정으로 환자에게 안전한 시스템을 구축하는 것을 어렵게 만듭니다.
이를 해결하기 위해 연구진은 이러한 개념들을 명확히 구분하는 새로운 통합 프레임워크를 제안했습니다. 이들은 '투명성'을 가장 광범위한 개념으로 정의했는데, 이는 이해관계자들이 의사결정 과정을 볼 수 있도록 시스템이 내부 작동 방식과 데이터 소스를 공개하는 것을 의미합니다. 그 투명성 안에는 '설명 가능성'이 존재하며, 연구진은 이를 지식 있는 사용자가 따라올 수 있는 방식으로 결정의 '어떻게'와 '왜'를 설명하는 기술적 정당성을 제공하는 능력이라고 설명합니다. '해석 가능성'은 이와 약간 다르다고 그들은 주장합니다. 이는 사용자가 기술적인 세부 사항을 알 필요 없이 결정의 '왜'에 집중하여 이해할 수 있는 능력입니다. 또한 팀은 '강건성'이 입력 데이터가 변하거나 노이즈가 포함되어도 시스템이 안정적으로 유지되는 것을 의미하는 반면, '신뢰성'은 조건이 정확히 동일할 때 시스템이 안정적으로 유지되는 것을 의미한다고 명확히 했습니다. '공정성'은 차별적인 결과를 제거하는 목표로 정의되었으며, 이를 위해서는 먼저 불공정한 처우를 초래하는 체계적 오류인 '편향성'을 식별해야 합니다. 마지막으로 '타당성'은 궁극적인 테스트로 위치합니다. 즉, 시스템이 현실 세계에서 의도한 대로 수행된다면 강건하면서도 신뢰할 수 있어야만 타당하다고 간주됩니다.
연구진이 지난 10년 동안 발표된 실제 연구들을 살펴보았을 때, 이 분야는 빠르게 성장하고 있음을 발견했습니다. 2015년부터 2025년까지 논문 수가 급격히 증가했습니다. 그러나 연구는 고르게 분포되어 있지 않았습니다. 대부분의 연구는 신경학, 종양학, 심장학 등 몇 가지 특정 분야에 집중되어 있으며, 전자 건강 기록(EHR)과 의료 영상에 크게 의존하고 있습니다. 가장 흔히 사용되는 인공지능 모델은 고전적 머신러닝 알고리즘과 딥러닝 네트워크이며, 대다수의 연구는 스캔 영상에 종양이 있는지 여부를 결정하는 것과 같은 단순 분류 작업을 수행합니다. 시스템을 이해 가능하게 만드는 도구 측면에서는, SHAP(SHapley Additive exPlanations)이라 불리는 기법이 압도적으로 인기 있는 기술입니다. 이는 연구자들이 특정 혈액 검사 결과나 이미지의 특정 픽셀과 같이 데이터 내의 어떤 특징이 예측에 가장 많이 기여했는지 확인할 수 있도록 도와줍니다.
이러한 성장에도 불구하고, 이번 검토를 통해 중대한 격차가 드러났습니다. 연구자들은 모델이 이미 가지고 있는 데이터에서 잘 작동하는지 확인하는 데는 능숙하지만, 그 모델이 새로운 데이터나 기존 학습에 충분히 반영되지 않은 인구 집단에서도 잘 작동할지를 테스트하는 데는 미흡했습니다. 연구 결과, 절반 미만의 논문만이 공정성이나 편향성 문제를 다루었으며, 모델의 의사결정 과정을 완전히 이해하는 데 필요한 깊은 수준의 투명성을 제공한 논문은 그보다 더 적었습니다. 무엇보다도, 연구진은 '설명 가능성'을 엄밀한 의미에서 다룬 연구가 매우 적다는 점에 주목했습니다. 대신 대부분은 어떤 데이터 포인트가 중요한지를 보여주는 '해석 가능성' 단계에서 멈추었습니다. 이는 이 분야가 진전을 이루고 있음에도 불구하고, 여전히 AI 자체를 진정으로 투명하게 만들기보다는 AI의 출력물을 이해 가능하게 만드는 데 주로 집중하고 있음을 시사합니다.
저자들은 인공지능이 의료 분야의 신뢰할 수 있는 파트너가 되기 위해서는, 커뮤니티가 이러한 용어들을 느슨하게 사용하는 것을 멈추고 자신들이 제안한 통일된 정의를 채택해야 한다고 결론지었습니다. 공통된 언어가 없다면, 환자의 안전을 보장하기 위해 필요한 엄격한 표준을 구축하는 것은 불가능할 것입니다. 그들은 향후 연구가 가장 흔한 의료 전문 분야와 데이터 유형을 넘어 더 넓은 범위의 질환과 정보원을 탐색해야 한다고 권고합니다. 또한 과학자들이 이러한 시스템이 새로운 상황과 다양한 인구 집단을 얼마나 잘 다루는지 테스트하는 더 나은 방법을 개발할 것을 촉구합니다. 신뢰, 신뢰성, 공정성이 무엇을 의미하는지 명확히 함으로써, 이 분야는 단순히 복잡한 모델을 만드는 것을 넘어 의사와 환자가 진정으로 의지할 수 있는 시스템을 구축할 수 있을 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.