기술 요약: 비전 모델의 확장성이 국지 기반 설명 품질을 일관되게 향상시키지는 않음

문제 제기

인공지능 모델이 예측 정확도 향상을 위해 점점 더 확장되고 있지만, 모델의 깊이와 매개변수 수를 늘리는 것이 사후 (post-hoc) 설명의 품질을 향상시키는지 여부는 여전히 불분명합니다. 의료 및 금융과 같은 안전이 중요한 영역에서는 투명성이 최우선이지만, 심층 신경망 (CNN 및 비전 트랜스포머) 은 종종 "블랙박스"로 작동합니다. 지배적인 가설은 더 큰 모델이 더 강력한 의미론적 구조를 가진 특징을 학습하여 인간의 해석과 더 잘 부합하는 설명을 제공할 수 있다는 것입니다. 본 연구는 아키텍처의 깊이와 매개변수 수를 확장하는 것이 일관되게 더 높은 품질의 시각적 설명, 특히 관련 이미지 영역을 국지화 (localize) 하는 능력에 기여하는지 여부를 조사함으로써 해당 가설에 도전합니다.

방법론

저자들은 ResNet, DenseNet, 비전 트랜스포머 (ViT) 등 세 가지 다른 계열에 속하는 11 개의 컴퓨터 비전 모델을 포함하는 포괄적인 경험적 평가를 수행했습니다. 모델들은 ResNet-18 에서 ResNet-101, DenseNet-121 에서 DenseNet-201, ViT-B/16 에서 ViT-L/16 에 이르기까지 깊이와 복잡성이 다양했습니다. 연구에는 처음부터 훈련된 모델과 사전 훈련된 가중치 (ImageNet-1k, CheXpert, ImageNet-21k) 를 활용한 모델이 모두 포함되었습니다.

데이터셋:
실험은 정답 세그멘테이션 마스크가 있는 세 가지 데이터셋에서 수행되었습니다:

1. COVID-QU-Ex: COVID-19 검출을 위한 흉부 X 선.
2. Oxford-IIIT Pet: 객체 국지화를 위한 동물 이미지.
3. Chest X Pneumothorax: 기흉 검출을 위한 흉부 X 선.

설명 가능한 AI(XAI) 방법:
주목도 맵 (saliency maps) 을 생성하기 위해 다섯 가지 사후 설명 방법이 적용되었습니다:

• Saliency Maps
• GradientSHAP
• Integrated Gradients
• Feature Permutation
• Grad-CAM (ViT 에 맞게 적응됨)

평가 지표:
설명 품질은 생성된 귀속 맵과 정답 마스크 간의 정합성을 두 가지 지표를 사용하여 정량화했습니다:

1. 관련성 순위 정확도 (RRA): 정답 마스크 내에 속하는 상위 순위 귀속 픽셀의 비율을 측정합니다.
2. 이중 극성 정밀도 (DPP): 저자들이 제안한 새로운 지표입니다. 크기만 평가하는 기존 방식과 달리, DPP 는 양의 귀속 (마스크 내부의 지지 증거) 과 음의 귀속 (마스크 외부의 반증) 의 공간적 정밀도를 명시적으로 측정합니다. 이는 모순되거나 잡음이 있는 배경 귀속에 대해 패널티를 부과합니다.

통계 분석:
연구는 모델 규모와 사전 훈련 체계 전반에 걸친 통계적 유의성을 평가하기 위해 Benjamini-Hochberg 보정을 적용한 Kruskal-Wallis H 검정과 Mann-Whitney U 검정을 사용했습니다. 충실도 (fidelity) 는 계층별 가중치 무작위화와 입력 픽셀 순열을 포함한 건전성 검사 (sanity checks) 를 통해 추가로 평가되었습니다.

주요 기여

1. 체계적인 규모 평가: 저자들은 11 개 아키텍처와 세 가지 데이터셋에 걸쳐 모델 복잡성 (매개변수 수) 과 분류 성능 간의 관계를 조사했습니다.
2. 사전 훈련 효과의 정량화: 본 연구는 처음부터 훈련된 모델과 사전 훈련된 대응 모델을 비교하여 사전 훈련이 XAI 설명 품질에 미치는 영향을 정량화했습니다.
3. 이중 극성 정밀도 (DPP) 의 도입: 기존 지표의 한계를 해결하기 위해 양의 귀속과 음의 귀속의 공간적 정밀도를 평가하여 모순된 배경 잡음에 대해 설명에 패널티를 부과하는 DPP 를 도입했습니다.
4. 발산에 대한 경험적 증거: 예측 성능과 설명 품질이 분리될 수 있음을 입증하며, 높은 정확도를 달성하면서도 국지화 정밀도가 거의 0 에 가까운 시나리오를 지적했습니다.

결과

모델 규모와 설명 품질:
모든 데이터셋과 XAI 방법에 걸쳐 아키텍처의 깊이와 매개변수 수를 늘리는 것이 설명 품질을 일관되게 향상시키지는 않았습니다.

• 통계적 비교에서 더 큰 모델 (예: ResNet-101, DenseNet-201, ViT-L/16) 은 더 작은 변형 (예: ResNet-18, DenseNet-121, ViT-B/16) 보다 체계적으로 우월하지 않았습니다.
• 유의미한 차이가 발견된 경우, 더 작은 모델이 비교의 34% 에서 더 큰 모델의 성능을 맞먹거나 초과했으며, 가장 큰 모델이 최고 점수를 기록한 경우는 12% 에 불과했습니다.
• 규모 관련 차이의 효과 크기는 일반적으로 무시할 수 있을 정도로 작거나 작았습니다.

사전 훈련의 영향:
사전 훈련은 일반적으로 예측 성능을 향상시켰지만 국지화 점수 (RRA 또는 DPP) 를 일관되게 높이지는 않았습니다.

• 사전 훈련된 모델은 계층 무작위화 하에서 더 큰 저하 (학습된 가중치에 대한 더 강한 의존성) 와 입력 구조에 대한 더 높은 민감도를 보였지만, 이것이 국지화 지표의 체계적인 향상으로 이어지지는 않았습니다.
• 많은 유의미한 비교에서 처음부터 훈련된 모델은 사전 훈련된 모델만큼 잘 수행하거나 더 나은 성과를 거두었습니다.

예측 성능 대 설명 품질:
중요한 발견은 정확도와 해석 가능성의 분리였습니다. Chest X Pneumothorax 데이터셋에서 모델들은 합리적인 분류 성능 (AUC 약 0.77~0.87) 을 달성하면서도 국지화 점수는 거의 0 에 가까웠습니다. 이는 높은 정확도가 주석된 해부학적 영역이 아닌 우연한 상관관계나 획득 아티팩트에 의존함으로써 달성될 수 있음을 시사합니다.

건전성 검사:

• 계층 무작위화: 더 깊고 특히 사전 훈련된 모델은 가중치가 무작위화될 때 더 큰 저하를 보여, 네트워크 구조뿐만 아니라 학습된 매개변수에 대한 더 강한 의존성을 나타냈습니다.
• 입력 무작위화: 대부분의 경계 기반 방법은 픽셀 셔플링에 대해 낮은 민감도를 보였으나, Grad-CAM 은 더 큰 변화를 나타냈습니다. 사전 훈련된 모델은 일반적으로 처음부터 훈련된 모델에 비해 입력 구조 변화에 대해 더 높은 민감도를 보였습니다.

중요성과 주장

본 논문은 더 큰 모델이 항상 더 높은 품질의 설명을 제공하지는 않는다고 결론지었습니다. 모델을 확장하는 것이 본질적으로 주목도 맵의 의미론적 정합성을 향상시킨다는 가설은 데이터에 의해 지지되지 않습니다. 대신, 더 작은 모델이 종종 더 깊은 모델만큼 잘, 혹은 더 잘 정합되는 설명을 제공합니다.

저자들은 특히 안전에 민감한 배포의 경우 모델 선택 과정에서 설명 가능성을 명시적으로 평가해야 한다고 주장합니다. 예측 정확도만으로는 부족하며, 모델이 높은 성능을 달성하면서도 의도한 관심 영역을 국지화하지 못할 수 있기 때문입니다. 이중 극성 정밀도 (DPP) 의 도입은 지지 증거와 반증 모두를 고려함으로써 이러한 설명을 평가하는 더 엄격한 방법을 제공합니다.

본 연구는 모델 선택 절차가 성능과 함께 계산 비용과 운영 요구 사항을 고려해야 한다고 강조합니다. 더 작은 모델은 훨씬 낮은 자원 요구 사항으로 비교 가능한 설명 품질을 제공할 수 있기 때문입니다. 연구 결과는 과매개변수화 설정에서 예측 정확도와 해석 가능성이 분리될 수 있음을 시사하며, 규모가 커짐에 따라 설명이 향상된다고 가정하는 대신 설명의 충실도를 명시적으로 평가할 필요성을 제기합니다.