CELEBI: Design and Realization of a Reproducible Physics Analysis Framework

In de uitgestrekte, risicovolle wereld van de deeltjesfysica kijken wetenschappers niet simpelweg door een microscoop om antwoorden te vinden. In plaats daarvan bouwen ze enorme machines die deeltjes op elkaar laten botsen, wat een chaotische stortregen van signalen creëert die moet worden vertaald naar kennis. Deze vertaling is geen enkel moment van ontdekking, maar een lange, kronkelende reis van computationele verwerking. Detectoren leggen ruwe data vast, die vervolgens via gecentraliseerde systemen worden verwerkt om schonere datasets te creëren. Pas daarna beginnen individuele onderzoekers aan hun eigen werk: het schrijven van code om specifieke gebeurtenissen te selecteren, het aanpassen van wiskundige parameters en het uitvoeren van complexe statistische tests om te zien of er een nieuw deeltje is gevonden of of een theorie standhoudt. Dit hele proces is een keten van beslissingen, waarbij het eindresultaat afhangt van een specifieke combinatie van software, instellingen en data-inputs.

De uitdaging voor de wetenschappelijke gemeenschap is dat deze keten constant in beweging is. Terwijl onderzoekers hun methoden verfijnen, veranderen ze de code, passen ze de getallen aan en wisselen ze datasets uit. Een resultaat dat vandaag wordt gepubliceerd, kan rusten op een versie van een programma die morgen al is gewijzigd. Als een wetenschapper van vijf jaar geleden een resultaat wil controleren, of als een nieuw team voort wil bouwen op een oude bevinding, staan zij voor een moeilijke puzzel: hoe de exacte staat van het werk te reconstrueren op het moment dat het werd uitgevoerd. Het is niet voldoende om alleen de definitieve getallen of de broncode op te slaan; men moet de volledige context bewaren van hoe die getallen tot stand zijn gekomen. Zonder dit wordt de geschiedenis van wetenschappelijke ontdekkingen een verzameling onsamenhangende snapshots, waarbij de weg van een vraag naar een antwoord verloren gaat.

Om dit op te lossen, is een framework genaamd Celebi ontwikkeld door Mingrui Zhao aan de Peking University. Dit systeem is ontworpen om het leven van een natuurkundige analyse te beheren, waarbij het een analyse niet beschouwt als een statisch bestand, maar als een levende, evoluerende collectie van materialen. De onderzoeker realiseerde zich dat de manier waarop wetenschappers hun werk momenteel organiseren, vaak de instructies voor een berekening mengt met de enorme hoeveelheden data die die berekeningen produceren. Dit maakt het moeilijk om precies bij te houden welke versie van een programma tot welk resultaat heeft geleid, vooral wanneer het werk in de loop van de tijd verandert. Celebi scheidt deze twee werelden. Het houdt de lichtgewicht instructies — de code, de instellingen en de logica — op één plek, terwijl de zware, gegenereerde data elders leeft. Deze scheiding zorgt ervoor dat de instructies op een duidelijke, georganiseerde manier kunnen worden bewaard zonder te worden afgeremd door de terabytes aan data die zij produceren.

De kern van Celebi is een nieuwe manier van denken over hoe een analyse wordt opgebouwd. De onderzoeker introduceerde een concept dat hij een "gematerialiseerde workflow" noemt. In traditionele computing is een workflow vaak slechts een lijst met stappen die een computer vertelt wat de volgende actie is. In Celebi wordt de workflow gebouwd uit werkelijke, tastbare objecten die de onderdelen van de analyse vertegenwoordigen. Het systeem maakt onderscheid tussen een "algoritme", wat het algemene recept is voor een berekening, en een "taak", wat de specifieke toepassing van dat recept is op een bepaalde set data met specifieke instellingen. Stel je een chef voor die een basisrecept heeft voor een soep (het algoritme), maar verschillende batches maakt voor verschillende klanten, waarbij hij variërende hoeveelheden zout toevoegt of andere groenten gebruikt (de taken). In dit systeem blijft het basisrecept hetzelfde, maar elke specifieke batch wordt geregistreerd als een unieke taak die terugkoppelt naar het recept en de gebruikte ingrediënten. Deze structuur maakt het mogelijk om hetzelfde stuk code in veel verschillende delen van een analyse te hergebruiken zonder de code te hoeven kopiëren en plakken, wat fouten vermindert en de geschiedenis van het werk veel duidelijker maakt.

Om deze structuur voor mensen gemakkelijk leesbaar en begrijpelijk te maken, heeft de onderzoeker de digitale bestanden georganiseerd op een manier die de logische structuur van de analyse weerspiegelt. In plaats van alles in complexe, verborgen mappen te verbergen, gebruikt het systeem een duidelijke hiërarchie van projecten, directory's, algoritmen en taken. Elk van deze objecten draagt zijn eigen aantekeningen en beschrijvingen, zodat iedereen die naar het bestandssysteem kijkt, direct kan begrijpen wat een stuk code doet en hoe het verbonden is met de rest van het werk. Deze organisatie zorgt ervoor dat de analyse zelfbeschrijvend blijft; de context is ingebouwd in de bestanden zelf. Bovendien behandelt het systeem data-inputs anders, afhankelijk van waar ze vandaan komen. Als data wordt gegenereerd door een vorige stap in de analyse, volgt het systeem de link tussen de taken. Als data van buitenaf komt, creëert het systeem een specifiek object om te markeren waar deze externe data in de workflow binnenkomt. Dit creëert een consistente kaart van de oorsprong van elk stuk informatie, ongeacht de bron.

De meest cruciale innovatie in Celebi is een mechanisme genaamd "impressions". Omdat de lopende analyse altijd in beweging is, had de onderzoeker een manier nodig om een specifiek moment in de tijd te bevriezen zonder het werk te stoppen. Een impression is als een snapshot van de gehele analyse op een bepaald moment, die de exacte staat van de code, de parameters en de afhankelijkheden vastlegt. Zodra een impression is gemaakt, is deze onveranderlijk (immutable); deze kan niet worden gewijzigd. Als de wetenschapper later de code of de instellingen wijzigt, creëert hij een nieuwe werktoestand, maar de oude impression blijft exact zoals hij was. Dit stelt hen in staat om een permanent verslag bij te houden van de omstandigheden waaronder een specifiek resultaat is geproduceerd. Wanneer een resultaat wordt gegenereerd, is het direct gekoppeld aan de impression die het heeft gecreëerd. Dit betekent dat een wetenschapper, zelfs jaren later, kan zien welk resultaat is gegenereerd en precies weet welke versie van de code en welke specifieke instellingen werden gebruikt om het te creëren, omdat dat resultaat permanent verbonden is met die onveranderlijke snapshot.

Het systeem scheidt ook de handeling van het bewaren van de analyse van de handeling van het uitvoeren ervan. De bewaarde instructies worden opgeslagen in een repository, maar wanneer het tijd is voor de eigenlijke berekening, neemt een apart systeem, een "Production Factory", het over. Een middleware-laag, genaamd Yuki, fungeert als de brug tussen de twee. Wanneer een bewaarde staat moet worden uitgevoerd, vertaalt Yuki de opgeslagen instructies naar een formaat dat een computer kan uitvoeren en stuurt het naar een workflow runner. Dit ontwerp betekent dat de manier waarop de analyse wordt bewaard, niet afhankelijk is van de specifieke computer of software die wordt gebruikt om het uit te voeren. De onderzoeker kan de computatieomgeving of de executietools veranderen zonder de analyse zelf te hoeven herschrijven. Deze flexibiliteit zorgt ervoor dat de analyse op de lange termijn kan worden bewaard, zelfs naarmate de technologie die wordt gebruikt om het uit te voeren evolueert.

Door deze elementen te combineren, biedt Celebi een volledig framework voor het beheer van de levenscyclus van een natuurkundige analyse. Het biedt een manier om de instructies voor een berekening gescheiden te houden van de enorme data die het produceert, organiseert die instructies in een menselijk leesbare structuur en creëert permanente, onveranderlijke verslagen van specifieke toestanden. Deze aanpak pakt een fundamenteel probleem in de moderne wetenschap aan: de moeilijkheid om resultaten te reproduceren wanneer het onderliggende werk voortdurend verschuift. De onderzoeker laat zien dat door een analyse te behandelen als een collectie gestructureerde, onderling verbonden objecten en door gebruik te maken van impressions om specifieke toestanden vast te leggen, het mogelijk is om een heldere en ononderbroken bewijsketen te behouden van de oorspronkelijke vraag tot het uiteindelijke antwoord. Dit werk legt de basis voor een toekomst waarin wetenschappelijke resultaten niet alleen worden gepubliceerd, maar ook volledig worden bewaard, traceerbaar zijn en op elk moment door iedereen, overal, opnieuw kunnen worden bezocht en geverifieerd.