Quantifying the Reconstructability of Astrophysical Methods with Large Language Models and Information Theory: A Case Study in Spectral Reconstruction

Résumé technique : Quantification de la reproductibilité des méthodes astrophysiques avec les grands modèles de langage et la théorie de l'information

Énoncé du problème
La recherche astrophysique moderne repose sur des pipelines d'analyse de données complexes, pourtant les descriptions publiées manquent souvent de la granularité requise pour une reproductibilité computationnelle. Bien que les pratiques open source se soient améliorées, le partage du code seul ne garantit pas la reproductibilité en raison d'hypothèses cachées, de configurations spécifiques et de la dépendance à l'égard de connaissances expertes tacites. La littérature actuelle fait défaut d'un cadre quantitatif pour mesurer dans quelle mesure une méthode scientifique peut être reconstruite à partir de sa seule description écrite. Cette étude comble le fossé entre la documentation textuelle explicite et l'« ellipse algorithmique » implicite nécessaire à l'exécution d'une méthode, en se demandant si les grands modèles de langage (LLM) peuvent servir d'outils de diagnostic pour auditer la transparence méthodologique.

Méthodologie
Les auteurs proposent un cadre théorique de l'information pour quantifier la reproductibilité des méthodes scientifiques. L'hypothèse centrale traite la reconstruction algorithmique comme un problème d'inférence où un LLM génère une distribution de probabilité d'algorithmes candidats ($\hat{Y}$) étant donné une entrée textuelle ($X$).

1. Cadre théorique de l'information :

   • Entropie ($H$) : L'entropie de Shannon est utilisée pour mesurer l'incertitude de l'espace des hypothèses algorithmiques. Une entropie élevée indique une large gamme d'implémentations plausibles, tandis qu'une faible entropie suggère que le texte contraint fortement la solution. Les auteurs distinguent l'entropie lexicale (diversité des mots-clés/noms de méthodes) de l'entropie sémantique (diversité de la logique d'implémentation structurelle).
   • Information mutuelle (IM) : Utilisée pour quantifier le gain d'information apporté par l'ajout de couches textuelles (Titre $\to$ Résumé $\to$ Méthodes complètes), mesurant dans quelle mesure le texte réduit l'incertitude sur la méthode.
   • Métriques d'alignement : La divergence de Jensen–Shannon (JSD) et la distance cosinus mesurent la proximité entre la distribution des solutions générées par le LLM et la « Vérité terrain » (l'implémentation spécifique des auteurs originaux).
   • Information résiduelle ($K_{res}$) : La divergence entre la distribution du LLM donnée le texte complet et la Vérité terrain, quantifiant l'écart de « connaissances tacites ».

2. Conception expérimentale :

   • Étude de cas : Le cadre est appliqué à un problème astrophysique spécifique : la reconstruction spectrale probabiliste d'objets transneptuniens (TNO) à partir de photométrie éparses. Cette méthode implique une analyse en composantes principales (PCA), une estimation de densité par noyau (KDE) et l'apprentissage automatique (GBDT/AutoGluon).
   • Expérience 1 (Analyse diagnostique) : Des LLM locaux (DeepSeek-R1 et GPT-oss) génèrent 200 descriptions algorithmiques candidates par état d'information (Titre, Titre+Résumé, Méthodes complètes). Ceux-ci sont regroupés dans des espaces lexicaux (TF-IDF) et sémantiques (incorporation) pour calculer l'entropie et les métriques d'alignement.
   • Expérience 2 (Test de stress fonctionnel) : Des LLM de pointe (Gemini, ChatGPT, Claude) sont chargés de générer du code Python exécutable basé sur les mêmes hiérarchies textuelles. Le code est évalué selon une « Hiérarchie de validité scientifique » ($V$) :
     • $V=0$ : Invalide/Non physique.
     • $V=1$ : Non contraint/Surapprentissage (mathématiquement valide mais physiquement infondé).
     • $V=2$ : Fonctionnel/Surenchâssé (cadre correct mais manquant de contraintes implicites).
     • $V=3$ : Calibré/Scientifique (pleinement aligné avec la vérité terrain incluant les connaissances tacites).

Résultats clés

1. Le plancher d'entropie : L'augmentation du détail textuel (du Titre aux Méthodes complètes) réduit avec succès l'entropie lexicale et déplace la distribution vers le cadre conceptuel correct (macro-état). Cependant, l'entropie sémantique ne s'effondre pas à zéro. Un « plancher d'entropie » persistant demeure, indiquant que même avec un texte complet, plusieurs implémentations structurellement diverses sont cohérentes avec la description.
2. Découplage du gain d'information et de la compression : Bien que l'ajout de texte augmente l'information mutuelle concernant le concept (par exemple, l'identification de la PCA et de la KDE), il échoue à compresser l'espace d'implémentation. Le texte réorganise la masse de probabilité vers la région correcte mais n'élimine pas la variance structurelle.
3. L'écart de validité scientifique :
   • Titre uniquement ($V=0$) : Les modèles se fient par défaut à des priors génériques (par exemple, processus gaussiens) et échouent à capturer la structure du problème spécifique au domaine.
   • Résumé ($V=1$) : Les modèles identifient l'idée centrale (PCA) mais échouent à contraindre l'espace des solutions, conduisant à un surapprentissage non contraint et à des sorties physiquement impossibles (par exemple, un flux négatif).
   • Méthodes complètes ($V=2$) : Les modèles reconstruisent avec succès le pipeline fonctionnel (PCA + KDE + ML) et produisent du code exécutable. Cependant, ils échouent systématiquement à inférer les connaissances tacites expertes, telles que la nécessité de modéliser la covariance latente (par exemple, via des copules gaussiennes) pour produire des estimations d'incertitude calibrées.
   • Vérité terrain ($V=3$) : Seule l'implémentation originale, qui inclut ces contraintes implicites, atteint une calibration scientifique complète.

Signification et revendications
L'article revendique que les LLM peuvent être détournés en « outils de diagnostic zero-shot » pour auditer la transparence de la littérature scientifique. L'étude démontre que :

• Limites textuelles : Les manuscrits publiés échouent souvent à transmettre l'« intuition physique intégrée » requise pour une calibration scientifique stricte. L'écart entre $V=2$ (fonctionnel) et $V=3$ (calibré) représente une information rarement formalisée dans l'imprimé.
• Macro-état vs Micro-état : La reproductibilité devrait être vue comme la convergence vers un macro-état algorithmique partagé (cadre conceptuel) plutôt qu'un micro-état identique (code spécifique). Le texte est efficace pour définir le macro-état mais insuffisant pour déterminer de manière unique le micro-état.
• Application pratique : Les auteurs proposent un « Test de stress zero-shot » où les auteurs utilisent des LLM pour tenter une reconstruction aveugle de leurs propres méthodes avant la soumission. Ce processus peut identifier des contraintes structurelles manquantes et des hypothèses cachées que les examinateurs humains pourraient négliger en raison d'une intuition de domaine partagée.
• Normes futures : L'article suggère qu'outre le code source, les auteurs devraient fournir des « ensembles d'invites de reproductibilité » qui encodent explicitement le macro-état et les contraintes tacites essentielles, permettant aux LLM d'agir comme des compilateurs traduisant l'intention scientifique partagée en implémentations fonctionnelles spécifiques à l'environnement.

L'étude conclut que si les LLM peuvent récupérer les méthodologies fondamentales, ils révèlent l'ampleur profonde à laquelle la science fonctionnelle repose sur des connaissances tacites, suggérant que les descriptions textuelles actuelles sont souvent insuffisantes pour une reproductibilité computationnelle complète sans formalisation explicite des décisions d'experts implicites.