Probabilistic Robustness in Medical Image Classification

당신에게 아주 똑똑한 로봇 의사가 있다고 상상해 보세요. 이 로봇은 사람 세포의 사진을 보고 환자가 아픈지 건강한지를 판별합니다. 이 로봇은 '딥러닝'이라는 기술을 기반으로 하는데, 이는 이 분야에서 매우 뛰어난 성과를 내고 있는 인공지능의 한 종류입니다. 완벽한 조건, 즉 선명하고 고품질인 사진이 주어진다면 이 로봇은 거의 완벽합니다.

하지만 이 논문의 연구자들은 매우 중요한 질문을 던졌습니다. 사진이 완벽하지 않다면 어떻게 될까?

현실 세계의 의료 사진은 항상 깨끗하고 완벽한 실험실 환경에서 촬영되는 것은 아닙니다. 때로는 카메라가 약간 흐릿하거나, 조명이 너무 밝거나 어둡기도 하며, 이미지가 다소 거칠게 찍히기도 합니다. 연구진은 알고 싶었습니다. 만약 이 로봇에게 약간 불완란한 사진을 보여준다면, 여전히 올바른 판단을 내릴 수 있을까?

다음은 이 연구의 내용을 쉬운 비유를 들어 설명한 것입니다.

1. 옛날 방식 vs 새로운 방식

옛날 방식 (적대적 강건성 - Adversarial Robustness):
박물관의 보안 요원을 상상해 보세요. 옛날 방식의 테스트는 보안 요원에게 이렇게 묻는 것입니다. "숙련된 도둑이 진짜 그림과 똑같이 생겼지만 실제로는 가짜인 정교한 위작을 가져와서 보안 요원을 속일 수 있을까?"
이것은 "최악의 시나리오"입니다. 누군가 시스템을 속이기 위해 완벽하고 악의적인 거짓말을 준비하고 있다고 가정하는 것입니다. 만약 보안 요원이 단 한 번이라도 속는다면, 그 요원은 "강건하지 못하다(not robust)"고 간주됩니다.

새로운 방식 (확률적 강건성 - Probabilistic Robustness):
이 논문의 연구자들은 이렇게 말합니다. "그건 너무 극단적입니다. 현실 세계에서는 아무도 로봇을 속이기 위해 완벽한 가짜를 만들려고 애쓰지 않습니다. 대신, 사진이 실수로 조금 지저져지는 것뿐이죠."
그래서 그들은 테스트 방식을 바꿨습니다. 단 하나의 완벽한 속임수를 찾는 대신, 다음과 같이 물었습니다. "우리가 흔히 발생하는 방식들로 1,000장의 사진을 무작위로 망가뜨렸을 때, 로봇이 그중 몇 장을 여전히 맞출 수 있을까?"
이것을 확률적 강건성이라고 부릅니다. 이것은 "닌자가 로봇을 속일 수 있는가?"를 묻는 것이 아니라, "비가 오거나, 눈이 오거나, 안개가 끼었을 때, 로봇이 여전히 안전하게 운전할 수 있는가?"를 묻는 것과 같습니다.

2. 실험

연구팀은 두 가지 인기 있는 "로봇 두뇌"(ResNet-18 및 ResNet-50이라 불림)를 가져와 수천 장의 대장 조직 의료 이미지(PathMNIST라는 데이터셋)를 학습시켰습니다.

• 먼저, 그들은 완벽하고 깨끗한 사진들을 보여주었습니다. 로봇들은 90% 이상의 정확도를 보이며 놀라운 성능을 보였습니다.
• 둘째, 그들은 "자연스러운 손상(natural corruptions)"을 적용했습니다. 이것들은 흔히 발생하는 사진 오류라고 생각하면 됩니다:
  • 초점 이탈 (Defocus): 카메라 초점이 맞지 않아 흐릿함(blurry).
  • 움직임 (Motion): 사진을 찍는 동안 카메라가 흔들림.
  • 밝기 (Brightness): 빛이 너무 밝거나 너무 어두움.
  • 색상/채도 (Stain/Saturate): 색감이 이상하거나 색이 바랜 듯함.

3. 연구 결과

결과는 일종의 경종을 울리는 것이었습니다.

• "완벽한" 점수는 오해의 소지가 있다: 로봇이 완벽한 사진에서 90% 이상의 점수를 받는다고 해서 반드시 안전하다는 뜻은 아닙니다. 사진이 지저분해지면 로봇의 성능은 크게 떨어졌습니다.
  • 비유: 어떤 학생이 불이 켜져 있고 조용한 방에서 시험을 볼 때는 100점을 받는다고 상상해 보세요. 하지만 불이 깜빡거리고 시끄러운 음악이 흘러나오면, 그 학생의 점수는 60점으로 떨어질 수도 있습니다. 이 논문은 의료 이미지의 경우 이러한 점수 하락 폭이 매우 크다는 것을 발견했습니다.
• 흐림(Blur)이 적이다: 로봇은 색상 변화(예: 약간 너무 밝은 사진)는 어느 정도 처리했지만, 흐림 현상(움직임에 의한 흐림이나 초점이 맞지 않는 이미지)에는 매우 취약했습니다.
  • 비유: 이것은 누군가 테이블을 흔드는 동안 책을 읽으려는 것과 같습니다. 글자(의료적 세부 사항)를 구별하기가 너무 어려워집니다.
• 덩치가 크다고 항상 좋은 것은 아니다: 그들은 "더 큰" 로봇(ResNet-50)과 "더 작은" 로봇(ResNet-18)을 테스트했습니다. 더 큰 로봇은 완벽한 사진을 읽는 데는 약간 더 나았지만, 지저분한 사진을 처리하는 능력은 별로 나아지지 않았습니다.
  • 교훈: AI를 더 복잡하게 만든다고 해서 현실 세계에서 문제가 발생했을 때 자동으로 더 신뢰할 수 있게 되는 것은 아닙니다.

4. 주요 결론

이 논문은 이러한 AI 의사들을 병원에서 믿고 사용하려면, 단순히 완벽한 데이터에서 어떻게 수행되는지만 봐서는 안 된다고 주장합니다. 우리는 확률적 강건성을 측정해야 합니다.

자동차를 테스트하는 것과 같다고 생각하세요. 자동차가 안전한지 확인하기 위해 단순히 완벽하고 건조한 경주 트랙에서만 운전해 보는 것이 아닙니다. 비가 올 때, 자갈길 위에서, 그리고 안개 속에서도 테스트해야 합니다. 만약 자동차가 경주 트랙에서만 작동한다면, 그것은 현실 세계를 위한 준비가 되지 않은 것입니다.

요약하자면: 이 연구는 의료용 AI를 위한 새로운 "기상 보고서"를 구축했습니다. 이 모델들이 똑똑하긴 하지만, 사진이 조금만 흐리거나 어두워져도 놀라울 정도로 취약하다는 것을 보여주었습니다. 병원에서 이들을 안전하게 배치하기 위해서는, 사진이 완벽하지 않을 때 오류를 범할 가능성이 얼마나 되는지 정확히 알 필요가 있습니다.