What Can Artificial Intelligence Learn from Medicine? Generative Analogies and Reliable Machine Learning Systems

지난 몇 년 동안 의사들과 컴퓨터 과학자들은 질병을 진단하고, 환자의 예후를 예측하며, 치료법을 제안하는 데 도움을 줄 수 있는 인공지능 도구를 구축하기 위해 협력하기 시작했습니다. 머신러닝 시스템으로 알려진 이 도구들은 인간이 놓칠 수 있는 방대한 양의 데이터에서 패턴을 찾아낼 수 있기 때문에 매우 강력합니다. 그러나 한 가지 고질적인 문제가 있습니다. 이 시스템들은 종종 '블랙박스'처럼 작동한다는 점입니다. 이들은 결과에 도달한 과정을 설명하지 못한 채 결과를 내놓으며, 치료가 왜 효과가 있는지에 대한 명확한 이론보다는 통계적 연결성에 의존합니다. 이는 도구를 사용하는 의사들에게 신뢰의 문제를 야기합니다. 만약 컴퓨터가 환자에게 특정 질병이 있다고 말하는데 아무도 왜 그렇게 판단했는지 이해하지 못한다면, 의사가 그 결과가 옳다고 어떻게 확신할 수 있을까요? 이러한 불확익성은 어려운 질문으로 이어졌습니다. 이 복잡하고 불투명한 시스템이 실제 병원에서 사용될 만큼 신뢰할 수 있다는 것을 어떻게 검증할 것인가 하는 문제입니다.

두 명의 철학자 에마누엘레 라티(Emanuele Ratti)와 레나 주코프스키(Lena Zuchowski)는 의학 자체가 유사한 불확실성을 어떻게 다루는지 살펴봄으로써 이 문제에 대한 새로운 사고방식을 제안했습니다. 그들은 우리가 일반적으로 기대하는 방식대로 인공지능을 투명하거나 설명 가능하게 만들려고 강요해서는 안 된다고 제장합니다. 대신, 그들은 새로운 약물을 검증해 온 의학의 긴 역사를 배워야 한다고 주장합니다. 의사들이 특정 알약이 체내에서 정확히 어떻게 작용하는지 항상 다 알지는 못하더라도, 엄격한 테스트 과정을 거쳤기 때문에 그 약이 안전하고 효과적이라는 것을 여전히 알고 있는 것과 같습니다. 연구자들은 인공지한 지능을 신뢰하기 위한 새로운 표준을 만들기 위해, 약물을 검증하는 데 사용되는 것과 같은 종류의 엄격한 테스트 과정을 인공지능에 적응시켜야 한다고 제안합니다.

그들 주장의 핵심은 두 가지 매우 다른 과정, 즉 새로운 의약품의 개발과 머신러닝 시스템의 구축 사이의 비교에 기초합니다. 의학에서 새로운 약물이 발견되었을 때, 과학자들은 종종 그 분자가 신체의 세포와 어떻게 상호작용하는지에 대한 생물학적 기제를 완전히 이해하지 못할 때가 많습니다. 그들은 그 분자가 왜 작용하는지에 대한 이론적 지식이 부족함에도 불구하고, 그 약이 효과가 있다는 것을 증ell 수 있습니다. 이는 연구자들이 다양한 조건 하에서 약물을 체계적으로 테스트하는 '임상적 번역(clinical translation)' 과정을 통해 이루어집니다. 그들은 적절한 용량, 약이 도움이 되는 특정 환자 유형, 그리고 약이 실패할 수 있는 상황을 파악합니다. 이러한 정보를 수집함으로써, 그들은 근본적인 '왜'는 여전히 미스터리로 남아 있더라도 약물의 유용성에 대한 상세한 프로필을 만들어냅니다.

라티와 주코프스키는 머신러닝 시스템이 정확히 이와 같은 상황에 처해 있다고 주장합니다. 이러한 시스템은 흔히 '비이론적(atheoretic)'입니다. 즉, 인간이 만든 이론에 의존하지 않습니다. 또한 '연관적(associationist)'입니다. 즉, 원인을 이해하지 못한 채 데이터 포인트들 사이의 연결 고리를 찾아냅니다. 마지막으로 '불투명(opaque)'합니다. 즉, 내부의 의사결정 과정이 숨겨져 있습니다. 이 때문에 AI에게 스스로를 설명하도록 요구하는 것은 종종 불가능합니다. 저자들은 이러한 본성을 억지로 바꾸려 하기보다, 의학적 접근 방식을 모방해야 한다고 제안합니다. 우리는 AI에게 논리를 설명하라고 요구하는 것을 멈추고, 대신 어떤 구체적인 조건 하에서 그 시스템이 작동하는지를 요구해야 합니다.

이 아이디어를 구체화하기 위해 연구자들은 '러닝 앙상블(learning ensemble)'이라 부르는 새로운 프레임워크를 개발했습니다. 이것을 단순히 "이 컴퓨터 프로그램은 작동한다"라고 말하는 수준을 훨씬 뛰어넘는 상세한 사용 설명서라고 생각하십시오. 의학에서 약물은 단순한 화학 물질이 아닙니다. 그것은 특정한 방식으로, 특정한 집단에게, 특정한 부작용을 동반하여 사용되는 화학 물질입니다. 마찬가지로 머신러닝 시스템도 단순한 코드 조각이 아닙니다. 그것은 특정 조건이 충족될 때만 작동하는 시스템입니다. 러닝 앙상블은 그러한 조건들을 정의하는 정보의 집합체입니다. 여기에는 시스템을 학습시키는 데 사용된 데이터, 시스템이 실행되는 특정 하드웨어, 테스트된 환자의 유형, 그리고 성공을 판단하는 데 사용된 정확한 지표들이 포함됩니다.

저자들은 이 정보를 세 가지 주요 범주로 나눕니다. 첫 번째는 '신뢰성의 경계(boundaries of reliability)'입니다. 이 섹션은 시스템이 구축된 환경을 기록합니다. 데이터가 깨끗하고 다양했는지, 아니면 지저지고 제한적이었는지 묻습니다. 시스템이 강력한 컴퓨터에서 테스트되었는지, 아니면 기본적인 하드웨어에서도 어려움을 겪었는지 확인합니다. 만약 데이터가 단 하나의 병원에서만 왔다면, 그 시스템은 다른 장비와 다른 환경을 가진 다른 병원에서 사용될 때 실패할 수 있습니다. 이러한 경계를 문서화함으로써, 사용자들은 시스템을 안전하게 사용할 수 있는 곳과 어디서 시스템이 망가질 수 있는지를 정확히 알 수 있습니다 있습니다.

두 번째 범주는 '성능(performance)'입니다. 이것은 단순히 시스템이 90% 정확하다는 식의 단일 숫자가 아닙니다. 대신, 다양한 상황에서 시스템이 어떻게 작동하는지에 대한 상세한 보고를 요구합니다. 예를 들어, 젊은 환자와 노인 환자에게 똑같이 잘 작동하는지, 혹은 성별에 관계없이 잘 작동하는지 확인합니다. 데이터가 학습된 것과 약간 달라졌을 때 더 많은 실수를 하는지도 확인합니다. 연구자들은 시스템이 어디에서 실패하는지를 아는 것이 어디에서 성공하는지를 아는 것만큼 중요하다는 점을 강조합니다. 만약 어떤 시스템이 한 종류의 암 진단에는 뛰어나지만 다른 종류의 암에는 형편없다면, 그 구체적인 실패 사례는 반드시 기록되어야 하며, 그래로 의사들이 잘못된 사례에 이 시스템을 사용하지 않도록 해야 합니다.

세 번째는 '기능적 차원(functional dimension)'입니다. 이것은 시스템이 실제 세상에서 실제로 무엇을 하기로 되어 있는지를 살펴봅니다. 어떤 시스템은 숫자를 예측하는 데 수학적으로 완벽할 수 있지만, 그 숫자가 의사가 더 나은 결정을 내리는 데 도움이 되지 않는다면 그 시스템은 무용지물입니다. 이 부분은 시스템의 출력이 의료팀의 요구 사항과 일치하는지를 점검합니다. 예를 들어, 어떤 시스템이 환자의 입원 여부를 결정하는 데 도움을 주도록 설계되었다면, 그 시스템은 실제로 그 특정 결정을 내리는 데 도움이 되는지 테스트되어야 합니다. 만약 시스템이 설계된 목적 이외의 용도로 사용된다면, 원래의 작업을 얼마나 잘 수행하느냐와 상관없이 그 시스템은 신뢰할 수 없게 됩니다.

연구자들은 이 접근 방식의 힘을 실제 실패 사례를 통해 보여줍니다. 그들은 인체 내 박테리아의 유전적 구성을 관찰하여 암을 감지한다고 주장한 한 인공지능 시스템 연구를 지적합니다. 이 시스템은 처음에는 매우 높은 정확도로 완벽하게 작동하는 것처럼 보였습니다. 그러나 연구자들이 데이터를 자세히 조사했을 때, 시스템이 암에 대해 실제로 학습한 것이 아니라는 사실을 발견했습니다. 시스템은 암 환자들에게서 더 흔하게 나타나는 데이터 수집 과정의 특정 오류를 인식하는 법을 배웠던 것입니다. 시스템이 불투명했기 때문에 이 실수는 숨겨져 있었습니다. 만약 연구자들이 '러닝 앙상블' 프레임워크를 사용했다면, 데이터 소스와 테스트의 구체적인 조건을 반드시 문서화해야 했을 것입니다. 이 문서화 과정은 데이터가 결함이 있었으며, 시스템이 실제 생물학적 연결이 아닌 지름길(shortcut)에 의존하고 있었다는 사실을 드러냈을 것입니다.

또 다른 예로, 폐렴 환자 중 사망 위험이 높은 환자를 예측하도록 설계된 시스템이 있습니다. 이 시스템은 천식 환자들이 오히려 사망 위험이 낮다는 것을 학습했습니다. 이는 직관에 어긋나는 것처럼 보였습니다. 그 이유는 시스템이 천식 환자들이 병원에서 매우 공격적이고 효과적인 치료를 받는다는 사실을 학습했기 때문이며, 그 치료 덕분에 사망 위험이 낮아진 것이었습니다. 그러나 만약 의사가 이 시스템을 사용하여 누가 치료를 받아야 하는지 결정한다면, 천식 환자들은 치료가 필요하지 않다고 오해할 수 있습니다. 시스템은 데이터에 기반하여 수학적으로는 옳았지만, 의료적 맥을 이해하지 못했기 때문에 기능적으로는 위험했습니다. 러닝 앙상블 프레임워크는 시스템의 목적을 명확히 정의하고 실제 의료 지식과 대조하는 과정을 통해 이 문제를 잡아냈을 것입니다.

저자들은 이 프레임워크가 머신러닝이 어떻게 작동하는지에 대한 미스터리를 해결하는 것은 아니라고 주의를 기울입니다. 시스템은 여전히 불투명할 것이며, 여전히 명확한 이론보다는 통계적 패턴에 의존할 것입니다. 러닝 앙상블의 가치는 AI를 투명하게 만드는 데 있는 것이 아니라, AI의 '사용'을 투명하게 만드는 데 있습니다. 이는 "컴퓨터가 어떻게 생각하는가?"라는 질문에서 "우리가 컴퓨터의 답변을 신뢰할 수 있는 정확한 조건은 무엇인가?"라는 질문으로 초점을 옮기는 것입니다. 이것은 미묘하지만 결정적인 변화입니다. 이를 통해 의사들은 복잡한 수학적 원리를 이해할 필요 없이, 그 도구가 안전하게 사용될 수 있는 범위에 대한 명확한 지도를 가지고 강력한 도구를 사용할 수 있게 됩니다.

이 접근 방식은 의학 분야에서 인공지능을 규제하고 평가하는 새로운 방법을 제시합니다. 모든 알고리즘이 설명 가능하기를 요구하는 대신, 규제 기관과 병원은 모든 시스템에 대해 완전한 '러닝 앙상블'을 요구해야 합니다. 이 문서는 데이터, 성능, 그리고 의도된 용도를 상세히 기술하는 신뢰성 인증서 역할을 할 것입니다. 만약 병원이 특정 시스템을 사용하고자 한다면, 그들은 앙상블을 확인하여 자신들의 구체적인 상황이 시스템이 작동하는 것으로 증명된 조건과 일치하는지 확인할 수 있습니다. 만약 조건이 일치하지 않는다면, 그 시스템은 사용해서는 안 됩니다. 이 방법은 현재 기술의 한계를 인정하면서도 위험을 관리할 수 있는 견고한 방법을 제공합니다.

논문은 이 프레 framework가 실질적인 진전이라고 결론짓습니다. 이 프레임워크는 인공지능의 모든 문제를 해결했다고 주장하거나, 이 시스템들이 절대 실수를 하지 않을 것이라고 약속하지 않습니다. 대신, 신뢰를 구축하기 위한 구조화된 방법을 제안합니다. 머신러닝 시스템을 내부 기제보다는 사용 조건에 초점을 맞춘 의료 처치처럼 다룸으로써, 우리는 이 기술들을 의료 현장에 통합하는 데 있어 더 안전하고 신뢰할 수 있는 경로를 만들 수 있습니다. 목표는 블랙박스를 투명하게 만드는 것이 아니라, 그 안을 들여다보는 것이 안전한 곳이 어디인지 알려주는 신뢰할 수 있는 가이드를 만드는 것입니다.