MIRROR: Multimodal Intelligent Radiology Reasoning and Observation Reporter
MIRROR 프로토타입은 모델 확률에 근거하여 감사 가능한 소견을 보장하기 위해 분류기, 국소화 도구, 텍스트 생성기를 체인으로 연결하는 다중 모달 방사선 보고 시스템을 제안하며, 이 모델이 ChestMNIST에서 우연보다 나은 식별력을 달성했음에도 불구하고 클래스 불균형으로 인해 대부분의 질환에 대해 양성 예측을 하는 데 실패함으로써 실질적인 유용성이 심각하게 제한된다는 점을 강조한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
의료 영상 분야에서 인간의 흉부 사진을 보고 질병을 찾아내는 컴퓨터 프로그램은 더 이상 환상이 아니라 이미 도래한 현실입니다. 딥러닝을 기반으로 구축된 이 프로그램들은 수천 장의 X-ray를 스캔하여 인간 전문가의 기술과 일치하는 경우가 많은 질병 패턴을 식별할 수 있습니다. 그러나 의사가 이러한 기계를 신뢰하기 위해서는 컴퓨터가 단순히 숫자 하나를 속삭이는 것 이상의 것을 해야 합니다. 컴퓨터는 스스로를 설명해야 합니다. 문제가 있다고 판단되는 이미지상의 지점을 가리키고, 왜 그 지점이 병들었다고 생각하는지 설명해야 합니다. 위험은 컴퓨터가 의사를 위해 보고서를 작성하려고 할 때 발생합니다. 만약 컴퓨터가 보고서를 쓰는 동안 이미지를 볼 수 있도록 허용된다면, 컴퓨터는 실제 진단을 수행하는 시스템의 부분에 의해 실제로 관찰되지 않았음에도 불구하고 완벽하게 전문적으로 들리는 세부 사항을 지어낼 수도 있습니다. 이는 기계가 알고 있는 것과 기계가 알고 있다고 말하는 것 사이에 침묵의 간극을 만들며, 이 간극은 의사가 위험한 실수를 저지르게 만드는 원인이 될 수 있습니다.
한 연구팀은 이러한 신뢰 문제를 해결하기 위해 MIROR라는 이름의 프로토타입 시스템을 구축했습니다. 이 시스템은 엄격한 규칙을 가지고 설계되었습니다: 보고서를 작성하는 소프트웨어 부분은 X-ray 이미지를 절대 볼 수 없다는 것입니다. 대신, 이미지는 먼저 어떤 질병이 존재하는지와 그 가능성이 얼마나 높은지를 단순히 나열하는 분류기에 의해 먼저 분석됩니다. 그다음 도구는 해당 질병들이 나타나는 이미지상의 일반적인 영역을 강조합니다. 오직 이 발견 사항들의 목록과 위치만이 작성 엔진으로 전달됩니다. 작성자는 사진을 볼 수 없기 때문에, 새로운 질병을 발명하거나 전달받지 않은 세부 사항을 묘사하는 것은 물리적으로 불가능합니다. 연구진은 이 시스템을 흉부 X-ray로 테스트했으며, 컴퓨터가 어떤 질병이 가장 가능성 높은지 순위를 매기는 데는 매우 뛰어났지만, 대부분의 질병에 대해 최종 결정을 내리는 데는 어려움을 겪었다는 것을 발견했습니다. 더욱 중요한 것은, 컴퓨터가 유창하고 전문적인 느낌의 보고서를 작성하더라도, 시스템이 실제로 계산한 적이 없는 구체적인 의학적 측정치를 포함하는 경우가 많았다는 점을 발견했다는 것입니다.
연구팀은 최종 보고서가 정직함을 유지하도록 이 파이프라인을 세 가지 뚜렷한 단계로 구성했습니다. 첫째, 인간의 뇌를 모델로 한 유형의 컴퓨터 프로그램인 신경망이 X-ray를 스캔하고 14가지 다른 유형의 흉부 질환에 대한 확률 점수를 할당합니다. 둘째, 국소화 도구가 동일한 이미지를 살펴보고 컴퓨터가 질병이 있다고 생각하는 곳을 대략적인 지도로 그리며, 그 위치를 "좌측 상부 폐"와 같은 단순한 명칭으로 변환합니다. 셋째, 언어 모델은 오직 질병 목록, 점수, 그리고 명명된 위치만을 가져와 최종 의료 보고서를 작성합니다. 여기서 핵심적인 설계 선택은 언어 모델이 X-ray 자체를 절대 보지 못한다는 점입니다. 이것은 마치 타이핑된 사실 목록을 건네받아 이야기를 써달라는 요청을 받은 비서가, 원래의 문서를 보는 것은 금지된 것과 같습니다. 이를 통해 보고서에 담긴 질병 목록이 컴퓨터가 찾아낸 목록과 정확히 일치하도록 보장하며, 검출되지 않은 질환을 환각해내는 것을 방지합니다.
연구진이 대규모 흉부 X-ray 컬렉션을 대상으로 이 시스템을 테스트했을 때, 결과는 기계가 할 수 있는 것과 할 수 없는 것에 대한 복잡한 양상을 드러냈습니다. 컴퓨터는 이미지의 구조를 이해하는 데 놀라울 정도로 뛰어났습니다. 건강한 흉부와 병든 흉부를 구분할 수 있었으며, 질병의 가능성을 무작위 추측보다 훨씬 더 나은 방식으로 순위를 매겼습니다. 폐에 물이 차거나 심장이 커진 상태와 같은 일부 질환에 대해서는 시스템이 상당히 정확했습니다. 그러나 특정 질병의 존재 여부에 대해 최종 결정을 내리라는 요청을 받았을 때, 시스템은 학습한 14가지 조건 중 11가지에 대해 침묵을 지켰습니다. 시스템은 대부분의 경우에 대해 "예" 또는 "아니오"라고 말할 만큼 충분한 확신을 갖지 못했습니다. 이러한 침묵은 설계상의 선택이 아니라 학습 데이터와 테스트에 사용된 이미지의 낮은 해상도 결과였습니다. 시스템은 패턴을 인식하는 법은 배웠지만, 임상 진단에 필요한 어려운 결정을 내리는 법은 배우지 못했습니다.
아마도 가장 드러나는 발견은 시스템이 생성한 보고서를 살펴보는 데서 왔을 것입니다. 시스템의 작성 부분이 매우 유창했기 때문에, 시스템은 마치 인간 의사가 작성한 보고서와 똑같이 들리는 텍스트를 생성했습니다. 그러나 연구진은 이러한 유창함에는 숨겨진 대가가 따른다는 것을 발견했습니다. 한 예로, 보고서는 심장 크기가 정상이며 폐 하단의 각도가 깨끗하다고 기술했습니다. 시스템은 심장 크기를 측정한 적도, 그 각도를 확인한 적도 없었습니다. 시스템은 단지 그러한 문장들이 의료 보고서에서 흔히 쓰이는 표현들이기 때문에 그 문장들을 채워 넣었을 뿐입니다. 시스템은 자신이 탐지한 질병에 대해서는 정확했지만, 그 주변의 세부 사항들은 지어내고 있었습니다. 이는 결정적인 경계를 보여주었습니다: 시스템은 발견한 질병 목록은 실재하며 감사 가능하다는 것을 보장할 수 있었지만, 그 질병들을 설명하는 문장들이 진실이라는 것은 보장할 수 없었습니다. 보고서는 발견된 질병에 대한 근거에는 기반을 두고 있었으나, 이야기를 완성하기 위해 지어낸 세부 사항들에 대해서는 근거가 없었습니다.
연구진은 또한 이 아키텍처가 전체 컴퓨터 코드를 다시 작성하는 대신 이름과 용어의 목록을 변경하는 것만으로 뇌 MRI나 머리 CT와 같은 다른 유형의 의료 스캔에도 적용될 수 있음을 보여주었습니다. 이는 탐지와 작성을 분리하는 방법이 서로 다른 의료 분야에서 작동할 수 있는 유연한 도구임을 시사합니다. 그러나 팀은 이것이 병원에서 바로 사용할 수 있는 의료 기기가 아니라 연구용 프로토타입임을 명시하는 데 주의를 기울였습니다. 이 시스템은 실제 환자를 대상으로 테스트되지 않았으며, 연구진은 이 보고서들이 의사들이 더 나은 결정을 내리는 데 실제로 도움이 되는지 아직 측정하지 않았습니다. 이 작업은 개념 증명으로서, 사실 관계는 고정되어 있더라도 그 주변의 산문은 그렇지 않을 수 있는 시스템을 구축하는 것이 가능하다는 것을 보여줍니다.
결국, 이 연구의 가치는 그 경계의 명확성에 있습니다. 이 시스템은 보고서를 쓰는 부분이 이미지로부터 차단되어 있기 때문에, 기계가 자신이 찾아낸 것에 대해 거짓말을 할 수 없다는 것을 증명합니다. 하지만 동시에 기계가 알지 못하는 것에 대해서도 자신감 있게 말할 수 있다는 점 또한 증명합니다. 연구진은 의료와 같이 이해관계가 높은 결정에 있어서, 우리는 무엇을 신뢰할 것인지에 대해 매우 주의해야 한다고 결론짓습니다. 시스템이 이런 방식으로 구축되었다면 발견 목록은 신뢰할 수 있지만, 주변 텍스트는 인간이 확인하기 전까지는 신뢰할 수 없습니다. 이 시스템은 의사를 대체하는 것이 아니라, 대신 기계가 확실히 알고 있는 곳과 단순히 추측하고 있는 곳을 보여줌으로써 블랙박스를 인간이 감사할 수 있는 투명한 과정으로 바꾸어 놓습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.