Interpretability of deep-learning methods applied to large-scale structure surveys

기술적 요약: 대규모 구조 탐사에 적용된 딥러닝 방법의 해석 가능성

문제 제기
딥러닝, 특히 합성곱 신경망 (CNN) 은 고정된 요약 통계에 기반한 고전적 방법과 비교해 동등하거나 더 우수한 성능을 제공하며, 대규모 구조 (LSS) 탐사의 우주론적 분석을 위한 강력한 도구로 부상했습니다. 그러나 이러한 방법들이 주요 분석 도구로 채택되는 데 있어 큰 장벽은 그 '블랙박스'적 성질입니다. 의사결정 과정이 투명한 고전적 방법과 달리, CNN 은 직접적인 물리적 의미를 갖지 않는 수백만 개의 매개변수를 최적화합니다. 이러한 해석 가능성의 부재는 잠재적인 한계와 편향을 가려 결과에 대한 신뢰를 어렵게 하거나, 이러한 알고리즘을 위해 향후 탐사를 구체적으로 최적화하는 것을 어렵게 만듭니다. 해석 가능성은 일반 머신러닝 분야에서 활발히 연구되고 있지만, 우주론에 적용되는 것은 아직 초기 단계에 머물러 있습니다.

방법론
저자들은 훈련된 네트워크를 일반 데이터로 분석하는 '사후 (a posteriori)' 분석과 구별되는 새로운 해석 가능성 접근법을 제안합니다. 대신, 그들은 훈련 전 에 입력 데이터를 체계적으로 저하시켜 네트워크의 행동을 조사하고 제약력에 미치는 영향을 관찰합니다.

• 데이터 및 아키텍처: 본 연구는 Kacprzak & Fluri(2022) 의 DeepLSS 아키텍처를 단순화한 버전을 활용합니다. 평탄한 $\Lambda$CDM 우주의 N-바디 시뮬레이션에서 생성된 토모그래픽 약한 렌즈 수렴 ($\kappa_g$) 맵을 사용합니다. 데이터셋은 4 개의 적색편이 구간을 가로지르는 900 제곱도 (deg$^2$) 를 커버합니다. 두 가지 네트워크 아키텍처가 훈련됩니다:

  1. 원시 픽셀 맵을 입력으로 받는 ResNet 기반 CNN.
  2. 맵의 자동 및 교차 스펙트럼을 입력으로 받아 비교를 위한 기준선 (baseline) 으로 작용하는 파워 스펙트럼 (PS) 신경망.
     두 네트워크 모두 음의 로그 가능도 손실 함수를 사용하여 우주론적 매개변수 $\Omega_m$과 $\sigma_8$(및 그 공분산) 을 예측하도록 훈련됩니다.

• 저하 전략: 네트워크의 예측을 주도하는 특징을 이해하기 위해 저자들은 첫 번째 합성곱 층 이전에 특정 정보 유형을 제거하거나 변경하는 전처리 계층을 삽입합니다. 저하 항목에는 다음이 포함됩니다:

  • 스케일 수정: 가우시안 평활화 스케일 ($R = 2, 4, 8, 16$ Mpc/h) 변경 및 Starlet 변환을 통한 특정 스케일 범위 분리.
  • 수렴 임계값: 맵을 저, 중, 고 수렴 영역 ($\kappa_g$ 임계값) 으로 분리.
  • 변환: 데이터를 푸리에 공간 (실수/허수 또는 진폭/위상) 으로 변환하거나 Starlet 변환 적용.
  • 정보 제거: 적색편이 구간의 셔플링 (토모그래픽 순서 제거), 적색편이 구간 합계 (토모그래픽 깊이 제거), 그리고 전체 픽셀 셔플링 (모든 공간 정보 제거).

• 성능 지표: 네트워크 성능은 Markov Chain Monte Carlo (MCMC) 체인에서 계산된 두 가지 지표로 정량화됩니다:

  1. $S_8$에 대한 제약의 표준 편차 ($\sigma_{S_8}$).
  2. 사후 분포의 정보 엔트로피 ($H$).

주요 결과
본 연구는 CNN 의 예측 과정이 가우시안 및 비가우시안 정보의 특정 혼합에 의존하며, 선형 및 비선형 영역 사이의 전이 영역에 있는 스케일에 뚜렷한 중점을 둔다는 것을 밝혀냈습니다.

• 스케일 의존성: 네트워크는 8~12 Mpc/h 주변의 스케일을 포함하는 데이터에서 가장 잘 수행되며, 이는 탐사의 적색편이에서 선형 및 비선형 영역 사이의 전이에 해당합니다.

  • 작은 스케일 제거 (주로 노이즈 지배적) 는 거의 영향을 미치지 않습니다.
  • 큰 스케일만 제공 ($>16$ Mpc/h) 하면 성능이 크게 저하되어 파워 스펙트럼 네트워크 수준으로 떨어집니다.
  • 작은 스케일만 제공 ($<10$ Mpc/h) 하면 기준 모델보다 성능이 약간 나빠집니다.
  • 흥미롭게도 가장 작은 ($<5$ Mpc/h) 과 가장 큰 ($>20$ Mpc/h) 스케일을 제거하면 성능이 약간 향상되는데, 이는 네트워크가 가장 정보량이 풍부한 중간 스케일에 집중할 수 있게 하기 때문일 가능성이 높습니다.

• 수렴 영역:

  • 중간 수렴 영역 (중간 값, 픽셀의 약 60%) 은 그 자체로는 가장 적은 정보를 포함합니다.
  • 극단 영역 (낮은 수렴/공동과 높은 수렴/피크) 은 매우 정보량이 풍부합니다.
  • 그러나 중간 수렴 영역을 극단 영역 중 하나와 결합하면 극단 영역만 사용할 때보다 성능이 크게 향상됩니다. 이는 극단 영역이 비가우시안 정보를 제공하지만, 중간 영역에서 발견되는 대규모 연결 구조가 부족함을 시사합니다.
  • 높은 수렴 영역 (피크) 과 푸리에 진폭 (가우시안 정보) 을 결합하면 기준 모델과 동등한 성능을 회복하는데, 이는 피크 카운트와 파워 스펙트럼의 결합이 강력한 전략임을 시사합니다.

• 변환 및 공간 정보:

  • Starlet 변환 (이미지를 다중 스케일 채널로 분해) 은 성능을 저하시키지 않으며 약간 향상시킬 수 있습니다.
  • 푸리에 공간 입력 (실수/허수 또는 진폭/위상) 은 성능을 크게 저하시켜, CNN 아키텍처가 실공간 이미지에 최적화되어 있음을 나타냅니다.
  • 적색편이 정보: 적색편이 구간을 합계하는 것 (토모그래픽 깊이 제거) 은 이 단순화된 기준선에서 놀랍게도 성능 저하를 초래하지 않습니다. 그러나 적색편이 순서를 셔플링하면 성능이 저하되어, 네트워크가 데이터의 올바른 표현에 의존함을 시사합니다.
  • 공간 정보: 전체 픽셀 셔플링 (모든 공간 구조 제거) 은 성능을 크게 저하시켜 네트워크를 파워 스펙트럼 접근법과 유사한 수준으로 떨어뜨리지만, 네트워크는 여전히 관련성 있는 예측을 생성합니다.

의의 및 주장
본 논문은 데이터 저하가 제약력에 미치는 영향을 분석함으로써 우주론에서 딥러닝 모델을 해석하기 위한 새로운 직관적인 방법론을 제시하는 것이 주요 기여라고 주장합니다. 저자들은 다음과 같이 결론 내립니다:

1. 하이브리드 정보 요구: 고전적 요약 통계와 마찬가지로, CNN 은 최적의 제약력을 달성하기 위해 가우시안 (대규모) 및 비가우시안 (소규모, 피크/공동) 정보 모두를 필요로 합니다.
2. 임계 스케일: 네트워크에게 가장 중요한 정보는 선형 및 비선형 영역의 한계에 있는 구조 (8~12 Mpc/h) 에 있습니다.
3. 결합 관측의 검증: 파워 스펙트럼 분석 (가우시안) 과 피크 카운트 또는 민코프스키 함수 (비가우시안) 를 결합하는 것이 정보 손실을 최소화하는 효과적인 전략이라는 가설을 지지합니다.
4. 아키텍처 민감성: CNN 은 데이터 표현 (실공간을 푸리에 공간보다 선호) 과 공간 상관관계의 존재에 매우 민감합니다.

저자들은 이러한 발견이 천체물리학적 불확실성 (고유 정렬 등) 이 결여된 단순화된 물리 모델에 기반한 것이며, 부록 A 는 적색편이 구간화와 관련된 결과를 변경할 수 있음을 보여준다고 지적합니다. 그럼에도 불구하고, 이 연구는 네트워크가 가장 가치 있다고 여기는 구체적인 물리적 특징을 식별함으로써 '블랙박스' 우려를 해소하고, 약한 렌즈 탐사에서 딥러닝이 어떻게 우주론적 정보를 추출하는지에 대한 기초적인 이해를 제공합니다.