No gain from attention or graph modules in matched ResNet-50, ResNet-18, EfficientNet-B0 and MobileNetV2 baselines for nine-class chest radiographs

기술 요약: 매칭된 ResNet-50, ResNet-18, EfficientNet-B0 및 MobileNetV2 베이스라인에서 어텐션 또는 그래프 모듈의 이득 부재

문제 제기

ImageNet으로 사전 학습된 ResNet 계열 백본을 중심으로 한 심층 합성곱 신경망은 흉부 방사선 분류 분야를 지배하고 있다. 의료 영상 문헌에서 흔히 볼 정도로, 특징 표현을 날카롭게 하고 정확도를 높이기 위해 이러한 백본에 경량 어텐션(예: SE, CBAM, BAM)이나 그래프 모듈(예: GCN, GAT)을 추가하는 방식이 널리 사용된다. 그러나 보고된 성능 향상은 종종 일관성이 없고, 특정 모듈에 의존적이며, 엄격한 쌍체 통계 검증을 거치는 경우가 드물다. 더욱이, 베이스라인 자체가 이미 강력한 경우(예: 파인튜닝 후)에는 측정 가능한 개선의 여지가 매우 좁아지며, 이로 인해 실제적인 구조적 이득과 확률적 최적화 및 하드웨어 비결정성에 의한 실행 간 변동성을 구분하기 어려워진다.

본 연구는 다섯 가지 모듈(SE, CBAM, BAM, GCN, GAT)이 비포화된 9개 클래스 흉부 방사선 태스크에서 동일하게 동결된 백본의 ResNet-50 베이스라인보다 측정 가능한 개선을 제공하는가라는 구체적이고 반증 가능한 가설을 테스트한다.

연구 방법론

본 연구는 삽입된 모듈만을 유일한 변수로 하는 엄격히 통제된 벤치마크 설계를 채택한다.

• 데이터셋: NIH ChestX-ray14 컬렉션을 활용하여 9개 클래스(atelectasis, cardiomegaly, effusion, infiltration, mass, nodule, pneumonia, pneumothorax, no-finding)로 하위 샘플링하였다. 훈련 세트는 9,532장의 이미지(클래스당 최대 1,200장으로 제한, 작은 클래스는 전체 사용)로 구성되었으며, 검증 세트는 2,383장이다. 불균형을 완화하기 위해 클래스 가중치를 적용하였다.
• 모델 및 아키텍처:
  • 베이스라인: ImageNet 가중치를 가진 ResNet-50. 처음 두 단계(stage)는 동결되었으며, 마지막 두 단계, 삽입된 모듈, 그리고 분류 헤드는 학습되었다.
  • 변형 모델: 다섯 가지 모듈을 백본과 분류 헤드 사이의 전이 구간(백본 후단)에 한 번씩 삽입하였다.
  • 배치(Placement)에 대한 절제 실험: SE와 CBAM의 경우, 두 가지 추가 배치를 테스트하였다: (1) In-branch: 원본 논문의 설계를 재현하여 잔차 함수 내부(identity addition 전)에 삽로 삽입, (2) Per-block output gating: 모든 학습 가능한 블록의 완전한 출력(identity addition 후)에 적용.
  • 백본 강건성: 실험은 ResNet-18, EfficientNet-B0, MobileNetV2에 대해 비례적인 동결 방식을 적용하여 반복 수행되었다.
• 실험 프로토콜:
  • 시드(Seeds): 변동성과 모듈 효과를 분리하기 위해 각 모델을 10개의 무작위 시드로 학습시켰다.
  • 학습: 동일한 하이퍼파라미터(Adam, LR 1e-4, 배치 크기 16, 224×224 입력)를 사용하였다. 모듈별 별도의 학습률 튜닝은 수행하지 않았다.
  • 평가: 주요 지표는 macro-averaged AUC (one-vs-rest)였다.
• 통계 분석:
  • 쌍체 검정(Paired Tests): 베이스라인 대비 시드별 macro-AUC 차이에 대해 Wilcoxon 부호 순위 검정을 실시하였으며, Benjamini–Hochberg 허위 발견율(FDR) 제어를 적용하였다.
  • 등가 검정(Equivalence Testing): 사전 지정된 등가 마진 ±0.01 AUC를 사용하는 이방향 검정(Two One-Sided Tests, TOST)을 수행하였다.
  • 신뢰 구간(Confidence Intervals): 앙상블 예측을 위한 2,000회 반복 부트스트랩 CI 및 쌍체 차이에 대한 5,000회 리샘플링 부트스트랩 CI를 사용하였다.

주요 결과

1. 측정 가능한 이득 없음: 다섯 가지 모듈(SE, CBAM, BAM, GCN, GAT) 중 어느 것도 동일한 ResNet-50 베이스라인보다 우수한 성능을 보이지 않았다. 다섯 가지 모두 사전 지정된 등가 마진인 ±0.01 AUC 내에 존재했다.

   • 부정적 결과: CBAM과 GAT는 베이스라인보다 통계적으로 유의미하게 성능이 낮았다(CBAM: Δ = -0.0028, p=0.0195; GAT: Δ = -0.0053, p=0.0020; FDR 보정 후). 다만, 그 효과 크기는 등가 마진 내에 있었다.
   • 중립적 결과: SE, BAM, GCN은 베이스라인과 유의미한 차이를 보이지 않았다.

2. 삽입 위치의 영향:

   • In-Branch 배치: SE와 CBAM을 모든 학습 가능한 블록의 잔차 브랜치 내부에 삽입한 경우(정규 형태), 베이스라인과 동등한 성능(+0.0013 및 +0.0016)을 보였으며, 이득이나 손해가 없었다.
   • Per-Block Output Gating: 모든 블록의 완전한 출력에 모듈을 적용하여 identity 경로를 게이팅한 경우 성능 저하가 발생했다. SE는 베이스라인 대비 -0.0274, CBAM은 -0.0703만큼 하락하였다 (10/10 시드 모두 음수, p=0.0020). 이 페널티는 ResNet-50에 특이적이었으며 다른 백본으로는 일반화되지 않았다.

3. 강건성 체크:

   • 훈련 세트 크기: 훈련 세트를 2.4배(22,898장)로 늘려도 어떤 모듈에서도 이득이 발생하지 않았다.
   • 백본 변형: ResNet-18, EfficientNet-B0, MobileNetV2에서 실험을 반복한 결과, 이득이 없음을 확인하였다 (21개 비교 중 19개는 동등, 2개는 더 나쁨, 0개는 더 좋음).
   • 데이터 누수(Data Leakage): 이미지 레벨 분할에서 환자 레벨 분할(환자 중복 제거)로 전환했을 때 베이스라인 성능이 약간 감소(~0.01 AUC)했으나, 모듈이 이득을 주지 않는다는 결론은 변하지 않았다.

주요 기여

• 엄격한 벤치마킹: 본 연구는 어텐션 및 그래프 모듈을 동일한 베이스라인과 다중 시드 기반의 쌍체 통계 비교를 통해 검증함으로써, 기존 문헌의 통계적 검증 부족 문제를 해결하였다.
• 등가성 입증: 저자들은 TOST를 사용하여, 성능 미달이 단순히 귀무가설을 기각하지 못한 것이 아니라, 모듈이 0.01 AUC 마진 이상의 성능 향상을 제공하지 못한다는 통계적으로 뒷받침되는 결론임을 입증하였다.
• 배치 민감도: 삽입 위치가 중요하다는 점을 강조하였다. 정규 형태인 "in-branch" 배치는 중립적이지만, 블록 전체 출력을 게이팅하는 것은 ResNet-50에 있어 유해하며, 이는 표준 구현에서 자주 간과되는 세부 사항이다.
• 방법론적 표준: 의료 영상 분야에서 작은 구조적 변화를 평가할 때 다중 시드 쌍체 비교와 등가 마진을 사용하는 것이 표준이 되어야 한다고 주장한다.

의의 및 주장

본 논문은 특정 조건(사전 학습된 ResNet-50 또는 유사 백본을 9개 클래스 흉부 방사선 태스크에 파인튜닝하는 상황)에서 경량 어텐션 및 그래프 모듈이 성능을 향상시킬 것이라고 단정해서는 안 된다고 결론짓는다. 증명의 책임은 다중 시드 쌍체 비교를 통해 이득을 입증하는 데 있다.

저자들은 본 결과가 모든 맥락(예: 세그멘테이션 또는 다른 데이터셋)에서 어텐션 메커니즘이 도움이 될 수 없음을 증명하는 것이 아니라, 이 특정되고 통제된 설정에서 베이스라인이 충분히 강력하여 모듈이 측정 가능한 이득을 제공하지 못하며, 특정 구성(per-block gating)에서는 오히려 성능을 저하시킨다는 점을 명시한다. 본 연구는 문헌에 보고된 성능 향상이 종종 실행 간 변동이나 엄격한 통계적 제어의 부재로 인한 인공물(artifact)일 수 있음을 강조한다.