Expert-level vision-language foundation model for real-world radiology and comprehensive evaluation

현대적인 병원에서 영상의학과 의사의 진료실은 인간의 눈이 질병의 보이지 않는 징후를 찾아내기 위해 수천 장의 이미지를 스캔하는 고도의 집중력이 요구되는 공간입니다. 평면적인 흉부 X선부터 갑상선의 3차원 단면에 이르는 이 이미지들은 단순한 사진 그 이상입니다. 이는 해부학적 구조와 병리학에 대한 깊은 이해를 바탕으로 정확하게 해석되어야 하는 복잡한 데이터 세트입니다. 수십 년 동안 컴퓨터는 이러한 이미지에서 특정 패턴을 포착하도록 훈련되어 왔으며, 골절이나 폐 결절을 식별할 수 있는 특화된 도구로서 역할을 해왔습니다. 그러나 이러한 도구들은 전통적으로 단일 작업에 국한되어 있었으며, 의사와 대화를 나누거나 자신의 추론 과정을 자연어로 설명할 수 없었습니다. 최근에는 시각적 능력과 언어 이해 및 생성 능력을 결합한 새로운 세대의 인공지능이 등장했습니다. 비전-언어 모델(vision-language models)로 알려진 이 시스템들은 의료 영상의 시각적 세계와 임상 보고서의 텍스트 세계 사이의 간극을 메우는 것을 목표로 하며, 의사가 보는 것을 볼 수 있을 뿐만 아니라 전문가의 미묘한 차이를 담아 설명할 수 있는 조수가 될 것이라는 약속을 제시합니다.

한 연구팀은 이제 영상의학의 복잡한 언어를 마스터하도록 설계된 'RadFound'라는 새로운 시스템을 선보였습니다. 기존의 지식이나 기존 도구의 단순한 변형에 의존했던 이전의 시도들과 달리, 이 새로운 모델은 BLIP-2 아키텍처를 기반으로 구축되었으나 방대한 양의 의료 데이터를 사용하여 정교하게 다듬어졌습니다. 연구진은 810만 개 이상의 의료 이미지와 그에 대응하는 텍ac스트 설명이 포함된 25만 쌍의 이미지 데이터를 수집했습니다. 이 데이터 세트는 19개의 주요 장기 계통과 10개의 영상 양상을 포괄하여, 모델이 좁은 선택지가 아닌 광범위한 실제 사례로부터 학습할 수 있도록 보장합니다. 시스템이 전문가처럼 보는 법을 가르치기 위해, 연구팀은 모델이 이미지를 보고, 일부를 숨긴 뒤, 누락된 세부 정보를 재구성하면서 동시에 다른 관련 이미지와 비교하도록 강제하는 독특한 훈련 방법을 개발했습니다. 이 과정은 컴퓨터가 단일 스캔의 미세한 세부 사항뿐만 아니라, 서로 다른 이미지가 어떻게 연관되는지에 대한 더 넓은 맥락을 학습하도록 돕는데, 이는 영상의학과 의사가 현재의 스캔을 환자의 과거 기록과 비교하는 방식을 모방한 것입니다.

또한 이 시스템은 특화된 정렬(alignment) 과정을 통해 이러한 시각적 통찰력을 언어와 연결하는 법을 배웠습니다. 단순히 단어를 그림에 맞추는 대신, 모델은 이미지와 텍스트가 특정 순서로 엮인 데이터로 훈련되어 의료 보고서의 흐름을 이해하도록 학습되었습니다. 모델은 두 가지 각도에서 찍은 유방 촬영술을 비교하거나 갑상선의 3차원 CT 스캔을 분석하는 것과 같이, 여러 이미지를 동시에 살펴봐야 하는 지시사항을 처리하는 법을 배웠습니다. 이러한 능력 덕분에 모델은 현재의 스캔과 이전의 스캔을 비교해 달라는 요청이나, 서로 다른 신체 부위에 걸친 소견에 대한 상세한 설명을 요청하는 것과 같은 복잡한 임상적 질문을 처리할 수 있습니다. 연구진은 의료 이미지에 관한 질문에 답하고, 짧은 캡션을 작성하며, 흉부 X선, 유방 촬영술, 갑상선 스캔에 대한 전체 진단 보고서를 생성하는 등의 과제를 포함하여 직접 만든 새로운 테스트 세트로 이 시스템을 검증했습니다.

이 테스트 결과, 새로운 모델은 영상의학을 위해 특별히 설계되지 않은 기존 시스템들을 크게 압도하는 성능을 보였습니다. 의료 이미지에 관한 질문을 받았을 때, 모델은 질문이 복잡하거나 여러 뷰를 비교해야 하는 경우에도 경쟁 모델들보다 훨씬 더 자주 정답을 제공했습니다. 모델이 텍스트를 생성해야 하는 작업에서, 모델은 문법적으로 정확할 뿐만 아니라 임상적으로도 정확한 보고서를 생성했습니다. 연구진은 표준 컴퓨터 지표를 사용하여 이 성공을 측정했지만, 한 걸음 더 나아가 인간 의사들이 보고서를 평가하도록 했습니다. 이러한 평가에서 모델의 출력물은 가독성, 의학적 추론, 그리고 중요한 이상 징난을 포착하는 능력을 기준으로 평가되었습니다. 결과에 따르면, 모델은 10년 이상의 경력을 가진 시니어 영상의학과 의사와 대등한 수준의 성능을 보였으며, 어떤 경우에는 주니어 영상의학과 의사를 능가하기도 했습니다. 이는 이 시스템이 현대 영상의학의 다양하고 까다로운 과제들을 처리할 수 있는, 임상 워크플로우에서 신뢰할 수 있는 파트너로서 기능할 수 있는 전문성에 도달했음을 시사합니다.

이러한 인상적인 결과에도 불구하고, 연구진은 이 작업이 최종적인 해결책이라기보다는 중요한 진전임을 강조하며 주의를 기울이고 있습니다. 그들은 모델이 통제된 테스트에서는 우수한 성능을 보이지만, 이러한 기술을 매일의 병원 실무에 통합하는 데는 추가적인 조사가 필요하다는 점을 인정합니다. 현재의 평가는 보고서의 품질을 판단하기 위해 인간 전문가에게 크게 의존했는데, 이는 정확하지만 시간이 많이 걸리고 규모를 키우기 어려운 과정입니다. 연구팀은 향-후 연구가 인간의 점수 산정에만 의존하지 않고 보고서의 임상적 가치를 자동으로 측정할 수 있는 더 나은 방법을 개발하는 데 집중해야 한다고 제안합니다. 또한, 바쁜 병원 환경에서 인간 의사와 함께 이 시스템을 사용할 때의 실제 영향은 앞으로 지켜봐야 할 과제입니다. 그럼에도 불구하고, RadFound의 개발은 의료 영상의 독특한 복잡성을 이해하는 인공지능을 만드는 것이 가능하다는 것을 보여주며, 이는 언젠가 의사들이 환자에게 더 빠르고 정확한 진료를 제공하는 데 도움을 줄 수 있는 강력한 새로운 도구가 될 수 있음을 시사합니다.