Real-World Diagnostic Accuracy of Fully Autonomous, FDA-Approved Artificial Intelligence Systems for Diabetic Retinopathy Screening in the United States: A Systematic Review and Meta-Analysis

당신의 눈이 잠들지 않고 주변 세상을 끊임없이 포착하는 고화정 카메라라고 상상해 보세요. 하지만 수백만 명의 당뇨병 환자들에게는 '당뇨망막병증'이라는 은밀한 도둑이 그 카메라의 렌즈를 서서히 긁어놓고 있습니다. 그대로 방치한다면, 이 도둑은 사진을 흐릿하게 만들어 결국 영원히 사라지게 할 수도 있습니다. 좋은 소식은요? 이 도둑은 보통 느리고 예측 가능합니다. 일 년에 한 번씩 카메라 렌즈를 점검한다면, 흠집이 영구적으로 남기 전에 조기에 발견하여 고칠 수 있습니다.

하지만 렌즈를 점검하는 것은 쉽지 않습니다. 특별한 의사와 비싼 장비, 그리고 많은 시간이 필요하기 때문입니다. 많은 사람이 예약을 놓치기도 하고, 돌아다니는 안과 의사도 턱없이 부족합니다. 이때 등장하는 것이 바로 '디지털 탐정'인 인공지능(AI)입니다. 이들은 눈 뒷부분의 사진을 보고 인간보다 더 빠르게 흠집을 찾아내도록 훈련된 컴퓨터 프로그램입니다. 최근 정부의 규칙 제정 기관인 FDA는 인간 의사의 재확인 없이도 스스로 작동할 수 있는 두 가지 특정 디지털 탐정에게 초록불(승인)을 비춰주었습니다. 그들은 마치 비디오 게임에서 만점을 받는 것처럼 매우 정확할 것이라고 약속했습니다.

하지만 반전이 있습니다. 비디오 게임은 완벽한 조명과 방해 요소가 없는 통제된 환경에서 플레이됩니다. 하지만 현실 세계는 무질서합니다. 이 디지털 탐정들이 어두운 조명, 지친 직원들, 그리고 완벽하게 앉아 있지 못하는 환자들이 있는 바쁜 클리닉이라는 실제 세상으로 보내졌을 때 어떤 일이 벌어질까요? 그들은 여전히 모든 흠집을 잡아낼까요, 아니면 혼란에 빠질까요? 이것이 바로 젊은 연구자 슈레야 파리무(Shreya Parimoo)가 답하고자 했던 질문입니다.

---

야생 속의 디지털 탐정들

슈레야의 프로젝트는 범죄를 해결하는 대신, 두 가지 특정 AI 시스템인 **루미네틱스코어(LumineticsCore, 구 IDx-DR)**와 **아이아트(EyeArt)**가 실제로 미국 클리닉에서 어떻게 작동하는지에 대한 미스터리를 푸는 탐정 이야기와 같았습니다.

여러분은 "정부가 승인했다면 완벽하겠지!"라고 생각할지도 모릅니다. 하지만 슈레야는 모든 것이 잘 풀리는 화려한 실험실 테스트 너머를 보고 싶었습니다. 그녀는 이 AI 시스템들이 의사 사무실의 무질서하고 실제적인 혼돈 속에서 사용될 때 어떤 일이 일어나는지 보고 싶었습니다. 그녀는 108,000건 이상의 안구 검진 데이터를 포함한 다섯 가지 서로 다른 연구 자료를 수집했습니다. 정말 엄청난 양의 눈이죠!

주요 결과: 잘 잡아내지만, 때로는 너무 예민하다

이 이야기가 밝혀낸 내용은 다음과 같습니다.

1. "하나도 놓치지 않는" 초능력
AI 탐정들은 나쁜 것을 놓치지 않는 데 매우 뛰어납니다. 실제 환경에서도 이들은 질환이 있는 눈의 **95.8%**를 잡아냈습니다. 공항의 금속 탐지기를 생각해 보세요. 만약 금속 탐지기를 매우 민감하게 설정하면 벨트 버클, 열쇠, 동전에도 울릴 것입니다. 무기가 아닌 것에 대해서도 많이 울릴 수는 있지만, 무기는 절대로 놓치지 않을 것입니다. 이것이 바로 이 AI 시스템들이 하는 일입니다. 이들은 문제를 포착하는 능력이 너무 뛰어나서 사례를 거의 놓치지 않습니다. 만약 AI가 "이 눈은 괜찮아 보인다"라고 말한다면, 여러분은 그것이 정말 괜찮다는 것을 확신할 수 있습니다.

2. "너무 예민한" 문제
하지만 함정이 있습니다. 이들은 질병이 없다고 말하는 데 있어서는 다소 예민합니다. 실제 세상에서 AI는 눈이 실제로 건강할 때 **83.5%**의 확률로 건강하다고 말했습니다. 하지만 어떤 곳에서는 이 수치가 무려 **60.3%**까지 떨어지기도 했습니다.

주방에 있는 연기 감지기를 상상해 보세요. 만약 감지기를 너무 민감하게 설정하면, 빵을 조금 오래 구웠을 뿐인데도 "불이야!"라고 비명을 지를 것입니다. 실제 불은 아니지만, 감지기가 너무 민감해서 불이라고 착각하는 것입니다. 이것이 일부 클리닉에서 발생한 현상입니다. AI는 흠집이 아닌 것을 흠집처럼 보았고, 건강한 눈을 "의사의 진료가 필요한 상태"로 분류했습니다. 이를 '위양성(false positive)'이라고 합니다.

왜 차이가 날까요? 무질서한 실제 세상

슈레야는 AI의 뇌가 변한 것이 아니라, 주변 환경이 변한 것이라는 점을 발견했습니다. AI가 "A+" 학점을 받았던 화려한 실험실 테스트에서는 전문가들이 완벽한 조명과 특수 산동제를 사용하여 사진을 찍었습니다. 하지만 실제 세상에서 사진은 종종 일반 간호사나 기술자가 일반 클리닉에서 촬영했으며, 때로는 동공이 작거나 흐릿한 눈(마치 안개 낀 창문을 통해 보는 것 같은 상태)을 가진 경우도 있었습니다.

사진이 항상 완벽하지 않았기 때문에 AI는 약간 혼란을 느꼈습니다. AI는 그림자를 흠집으로 보기 시작했습니다. 또한, 일부 클리닉은 AI를 다르게 사용했습니다. 그들은 AI에게 "더 주의 깊게 봐! 확실하지 않으면 표시해!"라고 지시했습니다. 이로 인해 AI는 더 많은 문제를 잡아냈지만, 동시에 더 많은 건강한 눈을 문제로 분류하기도 했습니다.

결론: 훌륭한 도구이지만, 마법은 아니다

그렇다면 최종 점수는 얼마일까요? 논문은 이 AI 시스템들이 질병을 배제하는 데 있어 탁월하다고 결론짓습니다. 만약 AI가 당신은 안전하다고 말한다면, 당신은 거의 확실히 안전합니다. 이는 우리가 이 도구들을 사용하여 건강한 사람들을 빠르게 분류해냄으로써, 안과 의사들이 정말 도움이 필요한 사람들에게 집중할 수 있게 해준다는 점에서 큰 승리입니다.

하지만 논문은 또한 이 AI가 어디에서나 완벽할 것이라고 기대하지 말라고 경고합니다. "예민한" 행동은 일부 클리닉에서 AI가 너무 많은 사람을 재검사를 위해 안과로 보내게 만들 수 있음을 의미합니다. 이는 일정을 꽉 채우고 사람들이 더 오래 기다리게 만들 수 있습니다. 연구에 따르면 AI의 성능은 그것이 어디에서, 그리고 어떻게 사용되는지에 크게 좌우됩니다.

핵심 요약

슈레야의 연구는 이 FDA 승인을 받은 AI 탐정들이 우리의 시력을 구할 수 있는 강력한 도구이지만, 모든 방에서 똑같이 작동하는 마법 지팡이는 아니라는 점을 알려줍니다. 그것들은 매우 민감한 연기 감지기와 같습니다. 실제 불로부터 당신을 구해줄 것이지만, 단순히 토스트를 굽고 있을 때도 비명을 지를 수 있습니다.

이 연구는 우리가 이 시스템들을 신뢰하여 나쁜 소식을 찾아낼 수는 있지만, "가짜 알람"을 어떻게 처리할지에 대해서도 주의를 기울여야 한다는 것을 보여줍니다. 이 기술을 어디에나 도입하기 전에, 클리릭들은 AI가 너무 예민해지지 않도록 자신들만의 특정 환경에서 테스트를 거쳐야 합니다. 기술은 준비되었지만, 가짜 알람 때문에 사람들이 압도당하지 않도록 실제 환경의 설정은 여전히 약간의 조정이 필요합니다.