CELEBI: Towards Reproducible and FAIR Physics Analysis

In de wereld van de hogere fysica kijken wetenschappers niet simpelweg door een telescoop of een microscoop om antwoorden te vinden. In plaats daarvan bouwen ze massieve, complexe machines die deeltjes op elkaar laten botsen, wat een storm van data creëert die gesorteerd, gemeten en begrepen moet worden. Dit proces is geen enkele gebeurtenis, maar een lange, kronkelende reis van ontdekking. Een onderzoeker neemt ruwe data en haalt deze door een reeks computerprogramma's, waarbij keuzes worden gemaakt over welke stukken informatie behouden blijven en welke worden weggegooid. Ze passen instellingen aan, testen verschillende theorieën en verfijnen hun methoden gedurende maanden of zelfs jaren. Het uiteindelijke resultaat is een wetenschappelijke bevinding, maar die bevinding is onlosmakelijk verbonden met het specifieke pad dat het team heeft genomen om daar te komen. Als de code verandert, of als een parameter wordt bijgesteld, kan het resultaat ook veranderen. De grote uitdaging in dit vakgebied is niet alleen het verkrijgen van het antwoord, maar het precies onthouden hoe het is gevonden. Zonder een duidelijk verslag van de genomen stappen kan een resultaat van vorig jaar vandaag onmogelijk te reproduceren zijn, waardoor de wetenschappelijke gemeenschap niet in staat is het werk te verifiëren of erop voort te bouwen.

Dit is het probleem dat Mingrui Zhao, een onderzoeker aan de Peking Universiteit, wilde oplossen met een nieuw systeem genaamd Celebi. In het artikel beschrijft Zhao hoe moderne natuurkundige analyses continu evolueren. Naarmate datasets groeien en software-updates arriveren, kunnen de omstandigheden waaronder een eerder resultaat werd geproduceerd, moeilijk te bepalen worden. Stel je een team voor dat werkt aan een complexe berekening waarbij de code constant wordt herschreven. Een resultaat dat tijdens een interne review wordt gepresenteerd, komt mogelijk niet meer overeen met de huidige versie van de analyse omdat de onderliggende regels zijn verschoven. In grote samenwerkingen, waar veel mensen aan verschillende variaties van hetzelfde project werken, kan deze verwarring overweldigend zijn. De onderzoeker merkte op dat bestaande tools weliswaar de stroom van data konden beheren of de definitieve bestanden konden opslaan, maar dat ze moeite hadden met het behouden van een persistente, onbreekbare link tussen een specifiek resultaat en de exacte staat van de analyse die het creëerde.

Om dit aan te pakken, ontwierp Zhao Celebi als een framework dat de analyse niet behandelt als een enkel, vloeiend document, maar als een verzameling gestructureerde, herbruikbare onderdelen. Het systeem scheidt de lichtgewicht instructies — zoals de code, de configuratie-instellingen en de afhankelijkheden — van de zware dataproducten die worden gegenereerd. Het organiseert deze instructies in een duidelijke workflow waarin elk onderdeel weet waarvan het afhankelijk is. De kerninnovatie ligt in de manier waarop het systeem met verandering omgaat. Terwijl de werkende analyse evolueert, bewaart Celebi specifieke momenten in de tijd, genaamd "impressions". Een impression is een bevroren snapshot van de analyse op een bepaald moment, die de code, de parameters en de exacte staat van elke gebruikte afhankelijkheid vastlegt. Deze impressions zijn onveranderlijk (immutable), wat betekent dat ze niet gewijzigd kunnen worden zodra ze zijn opgeslagen. Wanneer een resultaat wordt gegenereerd, wordt het permanent geassocieerd met de specifieke impression die het heeft gecreëerd. Dit betekent dat zelfs als de hoofdanalyse honderd keer wordt bijgewerkt, het oorspronkelijke resultaat verbonden blijft aan de exacte omstandigheden waaronder het voor het eerst werd geproduceerd.

Het praktische effect van deze organisatie is een systeem dat wetenschappers in staat stelt hun werk te wijzigen zonder hun geschiedenis te verliezen. Omdat de componenten modulair zijn, kan een onderzoeker één deel van de analyse wijzigen, zoals de methode die wordt gebruikt om data te filteren, zonder het hele project te hoeven herschrijven. Het systeem houdt automatisch bij welke downstream-taken door die wijziging worden beïnvloed. Als een wetenschapper een systematische variatie wil uitvoeren, bijvoorbeeld om te testen hoe een andere aanname de uitkomst beïnvloedt, kan hij dit doen door de ongewijzigde delen van de analyse te hergebruiken en alleen de specifieke sectie aan te passen die verschilt. Dit vermindert duplicatie en maakt de verschillen tussen diverse configuraties expliciet. Het systeem ondersteunt ook het gecontroleerd opnieuw uitvoeren van deze bewaarde staten. Als een team een oud resultaat moet verifiëren, kunnen ze de bewaarde impression opnieuw uitvoeren, mits de benodigde inputs en softwareomgevingen nog beschikbaar zijn, wat garandeert dat de nieuwe run een ware reproductie is van de oude.

Deze aanpak verandert fundamenteel hoe samenwerking en beoordeling binnen een natuurkundig team plaatsvinden. In een typisch project werken meerdere medewerkers mogelijk aan verschillende configuraties, en resultaten kunnen verspreid zijn over diverse bestanden en persoonlijke mappen. Celebi brengt hier orde in door alle materialen, documentatie en afhankelijkheden in een gestructureerd depot te organiseren. Een medewerker kan een specifieke component inspecteren, samen met de lokale documentatie en de exacte staat van de afhankelijkheden, zonder de volledige analyse vanaf nul te hoeven reconstrueren. Dit maakt het gemakkelijker voor nieuwe teamleden om het werk te begrijpen en voor reviewers om de logica achter een resultaat te controleren. Wanneer een reviewer om een wijziging vraagt, kan het team de analyse bijwerken en een nieuwe impression aanmaken, waarbij de oude naast de nieuwe wordt bewaard. Dit maakt een directe vergelijking tussen revisies mogelijk, waarbij exact wordt getoond wat er is veranderd en hoe dit de uitkomst heeft beïnvloed. Het systeem bouwt in essentie een transparante tijdlijn van het onderzoek, waarbij elk resultaat terug naar de bron kan worden herleid.

Het uiteindelijke doel van dit werk is om natuurkundige analyse FAIR te maken: Vindbaar (Findable), Toegankelijk (Accessible), Interoperabel (Interoperable) en Herbruikbaar (Reusable). Momenteel vereit het hergebruiken van een wetenschappelijk resultaat vaak niet alleen de definitieve data, maar ook een diep begrip van de gebruikte code en instellingen, die vaak verloren gaan of begraven liggen. Door resultaten te associëren met identificeerbare, bewaarde staten van de analyse, biedt Celebi een fundament voor het vinden en hergebruiken van deze materialen. De gestructureerde aard van het systeem stelt computers in staat om de analyse-logica te interpreteren, wat kan helpen om verschillende onderzoeksinfrastructuren met elkaar te laten samenwerken. Hoewel het artikel niet beweert dat Celebi elk probleem in wetenschappelijke preservatie oplost, biedt het een praktisch fundament voor het uitbreiden van deze principes voorbij alleen de ruwe data naar de computationele processen die wetenschappelijke kennis genereren. Het systeem vertrouwt niet op handmatige boekhouding of retrospectieve reconstructie van de geschiedenis; in plaats daarvan legt het de herkomst (provenance) van het werk vast terwijl het gebeurt, dag na dag. Hiermee zorgt het ervoor dat het pad naar een ontdekking even helder en toegankelijk blijft als de ontdekking zelf.