Position: Explanation Stability Is a Property of the Model Method Pair, Not the Model

당신은 로봇 요리사가 왜 토스트를 태웠는지 알아내려고 노력 중이라고 상상해 보세요. 당신이 로봇에게 "왜 그랬어?"라고 묻자, 로봇은 빛나는 손가락으로 빵을 가리킵니다. 하지만 여기 함정이 있습니다. 로봇에게는 두 가지 다른 방식의 가리키기가 있습니다. 한 가지 방식은 '레이저 포인터'로, 빵의 가장 뜨거웠던 정확한 지점을 강조합니다. 다른 하나는 '스포트라이트'로, 전체 토스터기 영역을 넓게 비추며 일반적인 구역을 강조합니다. 만약 레이저 포인터만 사용한다면, 당신은 로봇이 매우 일관적이라고 생각할 수도 있습니다. 하지만 스포트라이트로 바꾸면, 로봇은 갑자기 주방의 완전히 다른 부분을 가리킬 수도 있습니다! 이것이 설명 가능한 인공지능(XAI)이라는 분야에서 커지고 있는 문제의 핵심입니다.

AI의 세계에서 우리는 '모델'(매우 똑똑한 디지털 뇌라고 생각하세요)을 구축하여 X선 사진에서 질병을 찾아내는 것과 같은 결정을 내립니다. 하지만 이러한 모델들은 종종 '블랙박스'와 같습니다. 무엇이 들어가고 무엇이 나오는지(입력과 출력)는 알지만, 그들이 어떻게 결정했는지는 알 수 없는 경우가 많습니다. 이를 해결하기 위해 과학자들은 '어트리뷰션 방법(attribution methods)'을 사용합니다. 이 도구들은 형광펜처럼 작동하여, 이미지의 어느 부분(예: X선 사진의 어두운 점)이 AI의 결정에 가장 중요했는지를 보여줍니다. 오랫동안 연구자들은 만약 AI 모델이 안정적이고 신뢰할 수 있다면, 어떤 하이라이트 도구를 사용하더라도 그 하이라이트가 항상 같은 지점을 가리킬 것이라고 가정해 왔습니다. 이 논문은 그 가정이 틀렸다고 주장합니다. 즉, 설명의 '안정성'은 AI 뇌 자체의 속성이 아니라, 당신이 사용하는 특정 하이라이트 도구의 결과라는 것입니다. 도구를 바꾸면, AI의 최종 답변은 그대로일지라도 그 AI가 들려주는 이야기는 완전히 바뀔 수 있습니다.

거대한 하이라이터 교체

이 논문의 저자인 카빌란 엘랑오반(Kabilan Elangovan)과 다니엘 팅(Daniel Ting)은 흉부 X선 사진을 이용한 통제된 실험을 통해 이 아이디어를 검증하기로 했습니다. 그들은 세 가지 유명한 AI 모델인 DenseNet201, ResNet50V2, InceptionV3를 가져와 폐렴과 코로나19를 포함한 다섯 가지 서로 다른 폐 질환을 찾아내도록 학습시켰습니다. 그들은 이 모델들이 직업을 수행하는 데 매우 뛰어나도록 훈련시켰으며, 세 모델 모두 99% 이상의 성공률(AUC)을 달ей했습니다. 즉, 세 모델 모두 질병을 진단하는 데 있어 똑같이 탁월했습니다.

그다음 반전이 찾아왔습니다. 연구진은 모델들에게 두 가지 매우 다른 하이라이트 도구를 사용하여 왜 그런 진단을 내렸는지 설명하도록 요청했습니다: LayerCAM과 Grad-CAM++.

• LayerCAM은 고해상도 현미경과 같습니다. 이미지를 픽셀 단위로 살펴보며 미세한 디테일과 국소적인 질감을 보존합니다.
• **Grad-CAM++**는 광각 렌즈와 같습니다. 전체적인 중요성에 따라 이미지의 여러 부분을 가중치로 두는 복잡한 수학을 사용하여 더 큰 그림을 봅니다.

연구진은 알고 싶었습니다. 만약 모델을 약간 미세 조정(fine-tuning)한다면, 하이라이터들이 안정적으로 유지될까요? 그들은 계속해서 동일한 폐 부위를 가리킬까요?

반전: 도구에 달려 있다

여기서 이야기는 기묘하게 흘러갑니다. 결과는 "안정성"이 어떤 하이라이터를 사용하느냐에 전적으로 달려 있다는 것을 보여주었습니다. 이는 마치 세 명의 서로 다른 사람에게 그림을 묘사해 달라고 요청하는 것과 같습니다. 한 사람은 "이 그림은 색상이 변하지 않기 때문에 안정적이다"라고 말하는 반면, 다른 사람은 "아니요, 형태가 격렬하게 움직이고 있어요"라고 말할 수 있습니다. 둘 다 맞을 수 있지만, 서로 다른 규칙을 사용하고 있는 것입니다.

• InceptionV3의 놀라움: 연구진이 LayerCAM(현미경)을 사용했을 때, InceptionV3는 가장 안정적인 모델처럼 보였습니다. 이 모델은 초점을 좁게 유지하며 0.777의 안정성 점수(IoU)를 기록했습니다. 마치 완벽하고 신뢰할 수 있는 AI처럼 보였습니다.

• Grad-CAM++의 충격: 하지만 Grad-CAM++(광각 렌즈)로 전환하자, InceptionV3는 무너졌습니다. 안정성 점수가 0.643으로 떨어졌는데, 이는 17.3%의 성능 저하를 의미합니다. 갑자기, 너무나 안정적으로 보였던 모델이 단지 도구가 바뀌었다는 이유만으로 매우 불안정한 상태가 되었습니다.

• DenseNet201의 영웅적 모습: 반면에, DenseNet201은 폭풍 속의 고요함이었습니다. 현미경을 사용하든 광각 렌즈를 사용하든, 이 모델의 안정성 점수는 거의 변하지 않았습니다. 0.699에서 0.690으로, 단 1.3%의 변화만을 보였습니다. 이 모델은 "방법론에 무관한(method-agnostic)" 성격을 가진 것으로 보였는데, 이는 도구에 관계없이 설명이 일관되게 유지됨을 의미합니다.

• ResNet50V2의 고군분투: ResNet50V2는 힘든 시간을 보냈습니다. LayerCAM 하에서는 0.519라는 중간 정도의 점수로 시작했지만, Grad-CAM++ 하에서는 0.383으로 급락했습니다. 어떤 도구를 써도 불안정했지만, 그 하락 폭은 특히 극적이었습니다.

가장 충격적인 사실은 무엇일까요? 세 모델 모두 여전히 99%의 확률로 정확한 진단을 내리고 있었다는 점입니다. 그들의 "답변"은 완벽했지만, 그들의 "이유"는 어떤 도구로 보느냐에 따라 모래성처럼 바람에 날려 흩어지고 있었습니다.

이것이 중요한 이유: "환상적 안전"의 함정

이 논문은 이 발견이 우리가 AI를 신뢰하는 방식의 주요 규칙을 깨뜨린다고 주장합니다. 현재 만약 어떤 연구자가 "우리 AI 모델은 안정적이고 신뢰할 수 있다"라고 말한다면, 그들은 대개 단 하나의 하이라이터 도구로부터 얻은 결과만을 보여줌으로써 이를 증명합니다. 이 논문은 그것이 과학적으로 유효하지 않다고 말합니다. 그것은 마치 자동차가 특정 유형의 에어백을 사용한 충돌 테스트를 통과했다고 해서 "안전하다"고 주장하면서, 다른 종류의 에어백으로는 전혀 테스트하지 않는 것과 같습니다.

저자들은 만약 당신이 LayerCAM 렌즈를 통해 InceptionV3만 본다면, 그것이 병원에 가장 적합한 선택이라고 생각할 수도 있다고 지적합니다. 하지만 만약 병원에서 실제로 Grad-CAM++를 사용하거나(또는 소프트웨어가 업데이트되어 도구가 바뀌면), AI의 설명은 신뢰할 수 없게 되어 의사들을 오도할 수 있습니다. 이 논문은 설명 안정성은 모델 자체의 특성이 아니라, "모델 + 방법" 쌍의 속성이라고 제안합니다. 이 둘을 분리할 수 없습니다.

시사점: 도구를 확인하라

그렇다면 우리는 무엇을 해야 할까요? 저자들은 AI를 연구하고 규제하는 방식에 몇 가지 변화를 제안합니다:

1. 단 하나의 도구만 믿지 마십시오: 연구자들은 최소 두 가지 이상의 다른 하이라이터 방법을 사용하여 테스트하지 않는 한, 모델이 "안정적"이라고 주장해서는 안 됩니다. 만약 결과가 크게 달라진다면, 그 모델은 안정적인 것이 아니라 그 특정 도구에 운 좋게 맞았던 것뿐입니다.
2. 규제 기관은 구체적이어야 합니다: 의료 기기가 FDA와 같은 기관으로부터 승인을 받을 때, 설명을 생성하는 데 사용되는 특정 하이라이터 도구가 반드시 고정되어야 합니다. 만약 병원이 나중에 도구를 변경한다면, 그 기기는 재승인을 받아야 할 수도 있습니다. 왜냐하면 AI가 제공하는 "이유"가 변할 수 있기 때문입니다.
3. 올바른 아키텍처를 선택하십시오: 만약 의료용 AI를 구축하고 있다면, 특정 방법에 크게 의존하며 취약한 InceptionV3보다는, 다양한 도구에 걸쳐 입지를 지키는 DenseNet201과 같은 모델을 선택하는 것이 좋습니다.

요약하자면, 이 논문은 경종을 울리는 메시지입니다. AI의 세계에서 설명의 "진실"은 단순히 AI의 뇌에 관한 것이 아니라, 우리가 그것을 바라보는 안경에 관한 것이기도 합니다. 만약 우리가 의학처럼 생사가 걸린 상황에서 AI를 신뢰하고자 한다면, 어떤 안경을 쓰더라도 우리의 설명이 견고하게 유지되는지 확인해야 합니다.