Interpretability of deep-learning methods applied to large-scale structure surveys

Technische Samenvatting: Interpretatie van Deep-Learning-methoden toegepast op surveys van grote schaalstructuren

Probleemstelling
Deep learning, met name Convolutional Neural Networks (CNN's), is een krachtig instrument geworden voor de kosmologische analyse van surveys van grote schaalstructuren (LSS), en biedt prestaties die vergelijkbaar zijn met of zelfs beter zijn dan klassieke methoden gebaseerd op vaste samenvattende statistieken. Een aanzienlijke barrière voor hun adoptie als primaire analyse-instrumenten is echter hun "black-box"-karakter. In tegenstelling tot klassieke methoden, waarbij het beslissingsproces transparant is, optimaliseren CNN's miljoenen parameters zonder directe fysieke betekenis. Dit gebrek aan interpretatie verbergt potentiële beperkingen en vertekeningen, waardoor het moeilijk is om de resultaten te vertrouwen of toekomstige surveys specifiek voor deze algoritmen te optimaliseren. Hoewel interpretatie een actief veld is binnen het algemene machine learning, blijft de toepassing ervan op de kosmologie in de kinderschoenen.

Methodologie
De auteurs stellen een nieuwe interpretatiebenadering voor die verschilt van "a posteriori"-analyse (het analyseren van een getraind netwerk op normale data). In plaats daarvan onderzoeken ze het gedrag van het netwerk door de invoerdata systematisch te degraderen voordat het trainen plaatsvindt en het effect op het construerend vermogen te observeren.

• Data en Architectuur: De studie maakt gebruik van een vereenvoudigde versie van de DeepLSS-architectuur (Kacprzak & Fluri 2022). Er worden tomografische zwakke lensconvergentie ($\kappa_g$)-kaarten gebruikt die zijn gegenereerd uit N-body-simulaties van een plat $\Lambda$CDM-universum. De dataset beslaat 900 deg$^2$ over vier roodshift-bins. Twee netwerkarchitecturen worden getraind:

  1. Een op ResNet gebaseerde CNN die ruwe pixelkaarten als invoer neemt.
  2. Een Power Spectrum (PS) neuronaal netwerk dat auto- en cross-spectra van de kaarten als invoer neemt, dienend als basislijn voor vergelijking.
     Beide netwerken worden getraind om kosmologische parameters $\Omega_m$ en $\sigma_8$ (en hun covarianties) te voorspellen met behulp van een negatieve log-likelihood-verliesfunctie.

• Degradatiestrategie: Om te begrijpen welke kenmerken de voorspellingen van het netwerk aandrijven, voegen de auteurs voorverwerkingslagen toe om specifieke informatietypes te verwijderen of te wijzigen voordat de eerste convolutielaag. De degradaties omvatten:

  • Schaalmodificaties: Het veranderen van Gaussische gladmakende schalen ($R = 2, 4, 8, 16$ Mpc/h) en het isoleren van specifieke schaalbereiken via Starlet-transformaties.
  • Convergentiedrempels: Het scheiden van kaarten in gebieden met lage, middelhoge en hoge convergentie ($\kappa_g$-drempels).
  • Transformaties: Het omzetten van data naar Fourier-ruimte (reëel/imaginaire of amplitude/fase) of het toepassen van Starlet-transformaties.
  • Informatieverwijdering: Het door elkaar schudden van roodshift-bins (verwijderen van tomografische volgorde), het optellen van roodshift-bins (verwijderen van tomografische diepte) en volledige pixel-shuffling (verwijderen van alle ruimtelijke informatie).

• Prestatiemetingen: De prestaties van het netwerk worden gekwantificeerd met twee indicatoren die zijn berekend uit Markov Chain Monte Carlo (MCMC)-ketens:

  1. De standaardafwijking van de beperking op $S_8$ ($\sigma_{S_8}$).
  2. De informatie-entropie ($H$) van de posterior-verdeling.

Belangrijkste Resultaten
De studie onthult dat het voorspellingsproces van de CNN rust op een specifieke mix van Gaussische en niet-Gaussische informatie, met een duidelijk accent op schalen bij de overgang tussen lineaire en niet-lineaire regimes.

• Schaalafhankelijkheid: Het netwerk presteert het beste wanneer de data schalen rond 8 tot 12 Mpc/h omvat, wat overeenkomt met de overgang tussen lineaire en niet-lineaire regimes bij de roodshifts van de survey.

  • Het verwijderen van kleine schalen (gedomineerd door ruis) heeft weinig effect.
  • Het verstrekken van alleen grote schalen ($>16$ Mpc/h) degradeert de prestaties aanzienlijk, waardoor ze dalen tot het niveau van het Power Spectrum-netwerk.
  • Het verstrekken van alleen kleine schalen ($<10$ Mpc/h) resulteert in iets slechtere prestaties dan de referentie.
  • Interessant genoeg verbetert het verwijderen van de kleinste ($<5$ Mpc/h) en grootste ($>20$ Mpc/h) schalen de prestaties licht, waarschijnlijk door het netwerk in staat te stellen zich te richten op de meest informatieve intermediaire schalen.

• Convergentiegebieden:

  • Middelhoge convergentiegebieden (intermediaire waarden, ~60% van de pixels) bevatten op zichzelf de minste informatie.
  • Extreme gebieden (lage convergentie/voids en hoge convergentie/peaks) zijn zeer informatief.
  • Het combineren van middelhoge convergentiegebieden met een van de extreme gebieden verbetert de prestaties echter aanzienlijk in vergelijking met alleen de extreme gebieden. Dit suggereert dat hoewel extreme gebieden niet-Gaussische informatie bieden, ze de grootschalige verbonden structuren missen die in middelhoge gebieden voorkomen.
  • Het combineren van gebieden met hoge convergentie (peaks) met de Fourier-amplitude (Gaussische informatie) herstelt de prestaties tot een niveau gelijk aan het referentiemodel, wat suggereert dat een combinatie van piektellingen en power spectrum een robuuste strategie is.

• Transformaties en Ruimtelijke Informatie:

  • Starlet-transformaties (het decomponeren van afbeeldingen in multi-schaal kanalen) degraderen de prestaties niet en kunnen ze licht verbeteren.
  • Invoeren in Fourier-ruimte (reëel/imaginaire of amplitude/fase) degraderen de prestaties aanzienlijk, wat aangeeft dat de CNN-architectuur is geoptimaliseerd voor afbeeldingen in de reële ruimte.
  • Roodshift-informatie: Het optellen van roodshift-bins (verwijderen van tomografische diepte) veroorzaakt verrassend genoeg geen significante prestatieverlies in deze vereenvoudigde basislijn. Het door elkaar schudden van de roodshift-volgorde degradeert de prestaties echter, wat suggereert dat het netwerk vertrouwen heeft op de juiste presentatie van de data.
  • Ruimtelijke informatie: Volledige pixel-shuffling (verwijderen van alle ruimtelijke structuur) veroorzaakt aanzienlijke prestatieverlies, waardoor het netwerk terugvalt tot een niveau vergelijkbaar met de Power Spectrum-benadering, maar het netwerk produceert nog steeds relevante voorspellingen.

Betekenis en Beweringen
Het artikel beweert dat de primaire bijdrage een nieuwe, intuïtieve methode is voor het interpreteren van deep learning-modellen in de kosmologie door het effect van datadegradatie op het construerend vermogen te analyseren. De auteurs concluderen dat:

1. Hybride Informatievereiste: Net als klassieke samenvattende statistieken vereisen CNN's zowel Gaussische (grootschalige) als niet-Gaussische (kleinschalige, piek/void) informatie om optimaal construerend vermogen te bereiken.
2. Kritieke Schalen: De meest kritieke informatie voor het netwerk ligt in structuren aan de grens tussen lineaire en niet-lineaire regimes (8–12 Mpc/h).
3. Validatie van Gecombineerde Probes: De resultaten ondersteunen de hypothese dat het combineren van power spectrum-analyse (Gaussisch) met piektellingen of Minkowski-functionaliteiten (niet-Gaussisch) een effectieve strategie is die informatieverlies minimaliseert.
4. Architecturale Gevoeligheid: De CNN is zeer gevoelig voor de representatie van data (voorkeur voor reële ruimte boven Fourier-ruimte) en de aanwezigheid van ruimtelijke correlaties.

De auteurs merken op dat deze bevindingen gebaseerd zijn op een vereenvoudigd fysiek model (zonder astrofysische onzekerheden zoals intrinsieke uitlijning, wat Appendix A laat zien resultaten met betrekking tot roodshift-binning kan veranderen). Niettemin biedt de studie een fundamenteel begrip van hoe deep learning kosmologische informatie uit zwakke lenssurveys haalt, en adresseert het de "black box"-bezorgdheid door de specifieke fysieke kenmerken te identificeren die het netwerk als het waardevolst beschouwt.