Neural Networks as Entropic Systems: Applications in Digital Pathology

기술 요약: 엔트로피 시스템으로서의 신경망 - 디지털 병리학에서의 적용

문제 정의
디지털 병리학에 적용된 딥러닝 시스템은 그 불투명성으로 인해 자주 비판을 받으며, 이는 임상적 신뢰와 해석 가능성을 저해하는 특성이다. 이러한 모델들은 높은 성능을 달anim하지만, 생물학적으로 유의미한 표현형을 습득하는 내부 메커니즘은 여전히 대부분 규명되지 않은 상태로 남아 있다. 사후 설명(post-hoc explanations)을 넘어, 학습 과정 자체에서 신경망의 학습 역학을 경험적으로 측정할 수 있는 프레임워크가 필요하다.

방법론
저자들은 최적화 과정 중 활성화 구조, 가중치 진화, 그리고 스펙트럼 구성을 직접 측정함으로써 학습 시간의 학습 역학을 경험적으로 규명하기 위한 프레임워크를 제안한다. 본 연구는 TCGA-BRCA(The Cancer Genome Atlas Breast Invasive Carcinoma) 데이터셋의 전체 슬라이드 이미지(WSI)를 활용한다. 회귀 타겟은 복제 타이밍 기반의 메틸화 대리 지표로부터 도출되었으며, 이는 생물학적으로 근거가 있는 목적 함수 역할을 한다.

Vision Transformer(ViT) 아키텍처가 이 데이터셋을 바탕으로 20 에포크(epoch) 동안 훈련되었으며, 에포크 내 행동(intra-epoch behavior)을 추적하였다. 분석은 다음 세 가지 주요 차원에 집중되었다:

1. 활성화 구조(Activation Structure): 상관관계가 있는 뉴런 그룹의 형성과 그 모듈성(modularity) 모니터링.
2. 가중치 진화(Weight Evolution): 가중치 궤적의 분산과 확산 추적.
3. 스펙트럼 조직화(Spectral Organization): 네트워크 내부 상태의 스펙트럼 특성 분석.
4. 이미지 공간 어텐션(Image Space Attention): 시간에 따른 모델 어텐션의 공간적 초점 시각화.

주요 결과
연구를 통해 훈련 과정 전반에 걸쳐 재현 가능한 구조적 시그니처가 관찰되었다:

• 모듈형 활성화: 상관관계가 있는 뉴런 그룹들이 안정적인 활성화 모듈을 형성하였다. 이 그룹들의 모듈성은 훈련이 진행됨에 따라 증가하였으며, 이는 표현형 엔트로피(representation entropy)가 최대 60%까지 감소하는 것과 일치하였다.
• 가중치 역학: 가중치 궤적은 점진적으로 감소하는 분산을 가진 유계 확산(bounded diffusion)을 보였다. 이러한 동작은 감쇠된 확률 과정(damped stochastic process)과 일치하며, 후기 에포크에서는 안정적인 정지 상태(stationary regime)로 수렴하였다.
• 어텐션 변화: 이미지 공간에서 모델의 어텐션은 시간에 따라 체계적으로 이동하였다. 초기 에포크는 콜라겐이 풍부한 기질(stromal) 영역에 대한 어텐션이 특징적이었던 반면, 후기 에포크는 염기성(basophilic)이 강한 증식성 핵 영역에 집중하였다. 이러한 변화는 복제 스트레스(replicative stress)의 조직학적 상관관계와 일치한다.

의의 및 주장
본 논문은 신경망이 훈련 중에 예측 가능하고 정량화 가능한 내부 구조를 개발하며, 이는 직접 시각화 및 측정이 가능하다고 주장한다. 학습 역학을 엔트로피, 모듈형 조직화, 그리고 확률적 안정화의 관점에서 구성함으로써, 저자들은 병리 AI 모델이 어떻게 생물학적으로 유의미한 표현형을 습득하는지에 대한 실질적이고 기계적인 관점을 제공한다. 이 접근 방식은 모델의 내부 상태 진화에 근거한 관측 가능한 해석 가능성을 통해, 임상 환경에서 딥러닝의 "불투명한" 성격을 규명할 수 있는 경로를 제시한다.