PERTURB-c: Correlation Aware Perturbation Explainability for Regression Techniques to Understand Retrieval Black-boxes

Technische Samenvatting: PERTURB-c: Correlatie-bewuste Perturbatie-uitlegbaarheid voor Regressietechnieken om Retrieval Black-boxes te Begrijpen

Probleemstelling
Het vakgebied van de karakterisering van exoplaneet-atmosferen gaat over van traditionele, computationeel intensieve fysische retrievals naar machine learning (ML) gebaseerde methoden. Hoewel ML aanzienlijke snelheidvoordelen biedt, introduceert het een "black-box" opaakheid, waardoor het moeilijk wordt te verifiëren of voorspellingen gebaseerd zijn op fysisch plausibele kenmerken of artefacten van de trainingsdata. Een kritieke barrière voor de adoptie van ML in dit domein is de hoge correlatie die inherent is aan spectrale data (door spectrale lijnverbreding en moleculaire transmissiestructuren).

Standaard interpreteerbaarheidsmethoden, zoals ceteris paribus-profielen en SHAP (SHapley Additive exPlanations), vertrouwen op het perturberen van individuele inputkenmerken (golflengtebins) terwijl andere constant worden gehouden of willekeurig worden gesampled uit de trainingsdistributie. In hoog gecorreleerde spectrale data genereren deze benaderingen frequent "out-of-distribution" (OOD) samples—spectra die fysisch onmogelijk zijn (bijv. een hoge absorptie op één golflengte zonder de bijbehorende gecorreleerde kenmerken op aangrenzende golflengten). Wanneer modellen worden bevraagd met deze niet-fysische inputs, worden hun reacties instabiel en oninformatief, wat standaard feature importance metrieken onbetrouwbaar maakt voor spectrale retrieval-taken.

Methodologie: PERTURB-c
De auteurs stellen PERTURB-c voor (Perturbation Explainability for Regression Techniques to Understand Retrieval Black-boxes), een framework ontworpen om fysisch consistente perturbaties te genereren voor gecorreleerde spectrale data.

1. Correlatie-bewuste Perturbatie: In tegen tegenstelling tot standaardmethoden die single bins modificeren, perturbeert PERTURB-c een cluster van aangrenzende golflengtebins simultaan. Het maakt gebruik van de fysische kennis dat spectrale correlatie afneemt met de afstand in golflengte.
2. Gaussiaanse Maskering: De perturbatie wordt toegepast met behulp van een Gaussiaanse vensterfunctie ($w_{gauss}$) gecentreerd op de doelgolflengte. Dit zorgt ervoor dat modificaties aan een specifieke bin vergezeld gaan van gecorreleerde, kleinere modificaties aan naburige bins, waardoor de gegenereerde spectra binnen de fysische distributie van de trainingsdata blijven.
3. Ruis-geconstreerde Sampling: De magnitude van de perturbatie wordt getrokken uit een normale verdeling geschaald door het bekende instrumentele ruisprofiel ($\sigma_m$) op elke golflengte, wat ervoor zorgt dat de gewijzigde observaties binnen het domein van plausibele fysische metingen blijven.
4. Twee-niveau Analyse:
   • Tier 1 (T1): Een snelle modus met grove sampling (50 samples) die een lineaire benadering past aan de perturbatie-respons om de teken (positief/negatief) en magnitude van feature belang te bepalen.
   • Tier 2 (T2): Een high-fidelity modus (2.000 samples) die de niet-lineaire responscurves van meerdere golflengten gelijktijdig visualiseert.
5. Visualisatie: De auteurs introduceren een heat-map representatie voor T2-analyse. In plaats van ruwe responsmagnitudes te plotten (die verdwijnen bij nul-perturbatie), plotten zij de responsgradiënt ($\delta r / \delta \xi$). Dit maakt de intuïtieve visualisatie mogelijk van hoe de voorspelling van het model verandert over een continuüm van golflengten en perturbatieniveaus, waardoor hoog-dimensionale feature belangrijkheid wordt gecondenseerd in één leesbare plot.

Casestudy en Resultaten
Het framework werd getest op een gesimuleerde retrieval van de exoplaneet WASP-107b met behulp van een dense neuraal netwerk getraind op 50.000 gesimuleerde planetaire observaties. Het model had als taak om moleculaire abundanties (waaronder $SO_2$, $SiO$, $PH_3$, etc.) te extraheren uit een lage-resolutie spectrum (100 golflengtebins).

• Vergelijking met SHAP: Standaard SHAP-analyse slaagde er niet in om de feature belangrijkheid af te stemmen op bekende fysische spectrale kenmerken van $SO_2$. De door SHAP gegenereerde samples waren grotendeels out-of-distribution, wat leidde tot een slechte correlatie tussen de interpreteerbaarheidsoutput en de werkelijke spectrale banden.
• PERTURB-c Prestaties: PERTURB-c identificeerde succesvol de specifieke golflengtegebieden (bijv. rond 13 $\mu$m) waar het model vertrouwde op $SO_2$ spectrale kenmerken. De heat-map visualisatie toonde duidelijk aan dat het model zich concentreerde op de voorste rand van de $SO_2$-band en de bandgap bij 12 $\mu$m.
• Efficiëntie: Vanwege de hoge efficiëntie van het genereren van in-distribution samples, had PERTURB-c ongeveer 200 keer minder samples nodig dan SHAP om een equivalente informatie-inhoud te extraheren. Bijgevolg was de executietijd voor PERTURB-c (Tier 2) ongeveer 22 keer sneller dan SHAP (0.2456s vs. 5.3159s voor de specifieke testcase).
• Degeneratie Breken: De analyse onthulde dat het model specifieke $SO_2$-banden gebruikte om degeneraties te doorbreken bij het extraheren van $SiO$, wat het vermogen van het framework aantoont om complexe, niet-lineaire modelgedragingen te ontsluiten.

Significantie en Claims
Het artikel claimt dat PERTURB-c een fundamentele beperking van bestaande interpreteerbaarheidsinstrumenten bij toepassing op gecorreleerde spectrale data aanpakt. Door fysische consistentie af te dwingen via Gaussiaanse maskering, voorkomt de methode de generatie van niet-fysische samples die modelreacties destabiliseren.

De auteurs positioneren PERTURB-c niet als een vervanging voor Bayesiaanse retrievals, maar als een noodzakelijke tool voor de "low-latency" strategieën die vereist zijn in het tijdperk van big data in de exoplaneetwetenschap. Belangrijke bijdragen zijn:

• Model Agnosticisme: Het framework is toepasbaar op elk regressiemodel dat met één-dimensionale gestructureerde inputs met hoge correlatie omgaat.
• Proposal Tooling: De auteurs demonstreren dat PERTURB-c kan worden gebruikt om observationele restricties te reverse-engineeren. Door een hypothese te simuleren (bijv. adiabatische verhitting leidend tot hoge $SO_2$), kunnen onderzoekers PERTURB-c gebruiken om te bepalen welke onzekerheden per golflengtebin noodzakelijk zijn om die hypothese te valideren, wat helpt bij de voorbereiding van telescoopvoorstellen en target selectie.
• Transparantie: De heat-map visualisatie biedt een meer intuïtieve en informatie-rijke representatie van feature belangrijkheid voor grote aantallen inputkenmerken vergeleken met standaard staafdiagrammen of waterfall charts.

Het artikel concludeert dat hoewel ML-retrievals essentieel worden, hun adoptie afhangt van het vermogen om hun "redenering" te verifiëren. PERTURB-c biedt een robuuste, efficiënte en fysisch gefundeerde methode om deze transparantie te bereiken, het risico op bias te mitigeren en te garanderen dat voorspellingen worden gedreven door fysisch plausibele spectrale kenmerken.