Quantifying the Reconstructability of Astrophysical Methods with Large Language Models and Information Theory: A Case Study in Spectral Reconstruction

Technische Samenvatting: Kwantificering van de Reconstructeerbaarheid van Astrofysische Methoden met Grote Taalmodellen en Informatietheorie

Probleemstelling
Moderne astrofysisch onderzoek is afhankelijk van complexe data-analyselijnen, maar gepubliceerde beschrijvingen missen vaak de granulariteit die nodig is voor computationele reproduceerbaarheid. Hoewel open-source praktijken zijn verbeterd, garandeert het delen van code alleen geen reproduceerbaarheid vanwege verborgen aannames, specifieke configuraties en de afhankelijkheid van impliciete deskundigenkennis. De huidige literatuur mist een kwantitatief kader om te meten hoe effectief een wetenschappelijke methode uitsluitend op basis van de geschreven beschrijving kan worden gereconstrueerd. Deze studie adresseert de kloof tussen expliciete tekstuele documentatie en de impliciete "algoritmische ellips" die vereist is om een methode uit te voeren, en onderzoekt of Grote Taalmodellen (LLM's) kunnen dienen als diagnostische hulpmiddelen om methodologische transparantie te auditeren.

Methodologie
De auteurs stellen een informatietheoretisch kader voor om de reconstructeerbaarheid van wetenschappelijke methoden te kwantificeren. De kernhypothese behandelt algoritmische reconstructie als een inferentieprobleem waarbij een LLM een kansverdeling van kandidaat-algoritmes ($\hat{Y}$) genereert op basis van een tekstinput ($X$).

1. Informatietheoretisch Kader:

   • Entropie ($H$): Shannon-entropie wordt gebruikt om de onzekerheid van de hypotheseruimte voor algoritmes te meten. Hoge entropie wijst op een breed scala aan plausibele implementaties, terwijl lage entropie suggereert dat de tekst de oplossing sterk beperkt. De auteurs onderscheiden tussen lexicale entropie (diversiteit van trefwoorden/methodenamen) en semantische entropie (diversiteit van structurele implementatielogica).
   • Mutuele Informatie (MI): Wordt gebruikt om de informatiewinst te kwantificeren die wordt verkregen door het toevoegen van tekstlagen (Titel $\to$ Abstract $\to$ Volledige Methoden), en meet hoeveel de tekst de onzekerheid over de methode vermindert.
   • Alignatiemetrieken: Jensen-Shannon-divergentie (JSD) en Cosine-afstand meten hoe nauw de verdeling van door LLM's gegenereerde oplossingen aansluit bij de "Ground Truth" (de specifieke implementatie van de oorspronkelijke auteurs).
   • Residuale Informatie ($K_{res}$): De divergentie tussen de verdeling van de LLM gegeven volledige tekst en de Ground Truth, die de kloof van "impliciete kennis" kwantificeert.

2. Experimenteel Ontwerp:

   • Casestudy: Het kader wordt toegepast op een specifiek astrofysisch probleem: probabilistische spectrale reconstructie van Trans-Neptunische Objecten (TNO's) uit schaarse fotometrie. Deze methode omvat Principal Component Analysis (PCA), Kernel Density Estimation (KDE) en machine learning (GBDT/AutoGluon).
   • Experiment 1 (Diagnostische Analyse): Lokale LLM's (DeepSeek-R1 en GPT-oss) genereren 200 kandidaat-algoritmische beschrijvingen per informatiestaat (Titel, Titel+Abstract, Volledige Methoden). Deze worden geclusterd in lexicale (TF-IDF) en semantische (embedding) ruimten om entropie en alignatiemetrieken te berekenen.
   • Experiment 2 (Functionele Stress Test): Frontier LLM's (Gemini, ChatGPT, Claude) krijgen de opdracht om uitvoerbare Python-code te genereren op basis van dezelfde teksthiërarchieën. De code wordt geëvalueerd met behulp van een "Hiërarchie van Wetenschappelijke Validiteit" ($V$):
     • $V=0$: Ongeldig/Niet-fysiek.
     • $V=1$: Onbeperkt/Overfitting (wiskundig geldig maar fysiek onhoudbaar).
     • $V=2$: Functioneel/Zelfverzekerd (correct raamwerk maar ontbrekende impliciete beperkingen).
     • $V=3$: Gecalibreerd/Wetenschappelijk (volledig in lijn met de ground truth inclusief impliciete kennis).

Belangrijkste Resultaten

1. De Entropievloer: Het verhogen van tekstuele details (van Titel tot Volledige Methoden) verlaagt de lexicale entropie succesvol en verschuift de verdeling naar het juiste conceptuele raamwerk (macrotoestand). Echter, de semantische entropie stort niet in tot nul. Een aanhoudende "entropievloer" blijft bestaan, wat aangeeft dat zelfs met volledige tekst meerdere structureel diverse implementaties consistent zijn met de beschrijving.
2. Ontkoppeling van Informatiewinst en Compressie: Hoewel het toevoegen van tekst de Mutuele Informatie verhoogt met betrekking tot het concept (bijvoorbeeld het identificeren van PCA en KDE), faalt het om de implementatieruimte te comprimeren. De tekst reorganiseert de waarschijnlijkheidsmassa naar het juiste gebied, maar elimineert de structurele variantie niet.
3. De Kloof in Wetenschappelijke Validiteit:
   • Alleen Titel ($V=0$): Modellen grijpen terug naar generieke priors (bijvoorbeeld Gaussian Processes) en slagen er niet in de domeinspecifieke probleemstructuur te vangen.
   • Abstract ($V=1$): Modellen identificeren het kernidee (PCA) maar slagen er niet in de oplossingsruimte te beperken, wat leidt tot onbeperkt overfitting en fysiek onmogelijke outputs (bijvoorbeeld negatieve flux).
   • Volledige Methoden ($V=2$): Modellen reconstrueren de functionele lijn succesvol (PCA + KDE + ML) en produceren uitvoerbare code. Ze slagen er echter systematisch niet in impliciete deskundigenkennis af te leiden, zoals de noodzaak om latente covariantie te modelleren (bijvoorbeeld via Gaussian Copulas) om gekalibreerde onzekerheidsschattingen te produceren.
   • Ground Truth ($V=3$): Alleen de oorspronkelijke implementatie, die deze impliciete beperkingen omvat, bereikt volledige wetenschappelijke kalibratie.

Betekenis en Beweringen
Het artikel beweert dat LLM's kunnen worden herbestemd als "zero-shot diagnostische hulpmiddelen" om de transparantie van wetenschappelijke literatuur te auditeren. De studie toont aan dat:

• Tekstuele Beperkingen: Gepubliceerde manuscripten vaak falen in het overdragen van de "geïntegreerde fysieke intuïtie" die vereist is voor strikte wetenschappelijke kalibratie. De kloof tussen $V=2$ (functioneel) en $V=3$ (gekalibreerd) vertegenwoordigt informatie die zelden in druk wordt geformaliseerd.
• Macrotoestand versus Microtoestand: Reproduceerbaarheid moet worden gezien als convergeren naar een gedeelde algoritmische macrotoestand (conceptueel raamwerk) in plaats van een identieke microtoestand (specifieke code). Tekst is effectief in het definiëren van de macrotoestand, maar onvoldoende om de microtoestand uniek te bepalen.
• Praktische Toepassing: De auteurs stellen een "Zero-Shot Stress Test" voor waarbij auteurs LLM's gebruiken om een blinde reconstructie van hun eigen methoden te proberen voordat ze deze indienen. Dit proces kan ontbrekende structurele beperkingen en verborgen aannames identificeren die menselijke reviewers vanwege gedeelde domeinintuïtie kunnen over het hoofd zien.
• Toekomstige Standaarden: Het artikel suggereert dat auteurs, naast broncode, "reproduceerbaarheidspromptsets" moeten leveren die de macrotoestand en essentiële impliciete beperkingen expliciet coderen, waardoor LLM's kunnen fungeren als compilers die gedeelde wetenschappelijke intentie vertalen naar functionele, omgevingsspecifieke implementaties.

De studie concludeert dat hoewel LLM's kernmethodologieën kunnen herstellen, ze de diepgaande mate blootleggen waarin functionele wetenschap afhankelijk is van impliciete kennis, wat suggereert dat huidige tekstuele beschrijvingen vaak onvoldoende zijn voor volledige computationele reproduceerbaarheid zonder expliciete formalisering van impliciete expertbeslissingen.