REBEL, Reproducible Environment Builder for Explicit Library resolution

REBEL is een nieuw framework dat de reproduceerbaarheid en toegankelijkheid van bioinformatica-onderzoek verbetert door via geavanceerde afhankelijkheidsinference en Docker-automatisering deterministische, FAIR-compliant softwareomgevingen te creëren die ongevoelig zijn voor versiedrift en het ontbreken van systeemafhankelijkheden.

De kern

Stel je voor dat je een heerlijke taart wilt bakken. Je hebt het recept (de code) en de ingrediënten (de softwarepakketten). Maar er is een groot probleem: de supermarkt waar je de ingrediënten koopt, verandert elke dag.

Als je vandaag een bakpoeder koopt, is het misschien van het merk "A". Maar als je het recept over een jaar probeert te gebruiken, is het merk "A" verdwenen, of is het recept van "A" veranderd zodat je taart nu niet meer rijst. In de wereld van bio-informatica (waar wetenschappers enorme hoeveelheden biologische data analyseren) gebeurt dit constant. Softwarepakketten zijn afhankelijk van andere pakketten, die weer afhankelijk zijn van nog andere pakketten. Als één link in die keten verandert of verdwijnt, werkt je hele analyse niet meer. Dit maakt het bijna onmogelijk om wetenschappelijke resultaten later nog eens te controleren of te herhalen.

REBEL is de oplossing voor dit probleem. Het is een slimme tool die ervoor zorgt dat je taart (je analyse) altijd perfect lukt, ongeacht hoe lang geleden je het recept schreef of welke supermarkt er vandaag open is.

Hier is hoe REBEL werkt, vertaald naar alledaagse beelden:

1. Het Probleem: De "Verdwijnende" Supermarkt

Normale software-installatieprogramma's (zoals Conda of de standaard installatie in R) doen alsof ze naar een levende supermarkt gaan. Ze zeggen: "Ik wil brood." De supermarkt geeft ze het nieuwste brood dat er is.

• Het gevaar: Als je over een jaar terugkijkt, is dat brood misschien niet meer te koop, of is het recept veranderd. Je kunt je taart niet meer bakken.
• Het tweede probleem: Soms staat er in het recept niet vermeld dat je ook een speciale oven nodig hebt of een bepaald type bakpapier. De supermarkt geeft je geen waarschuwing; je taart lukt gewoon niet, en je weet niet waarom.

2. De Oplossing: REBEL als de "Uitstekende Boodschapper"

REBEL werkt niet als een simpele boodschapper die naar de levende supermarkt rent. Het werkt als een super-voorzichtige logistiek expert die drie slimme trucs gebruikt:

• Truc 1: De Diepe Inspectie (De "Microscoop")
  REBEL kijkt niet alleen naar wat er op het etiket van het pakket staat. Het leest het hele recept van het pakket door (de broncode). Het ziet dan: "Oh, hier staat dat ze een speciale mixer nodig hebben, maar dat staat niet op de boodschappenlijst!" Zo vindt het verborgen onderdelen die anderen missen.

• Truc 2: De Slimme Vertaler (De "Fuzzy Match")
  Soms heet een onderdeel in het recept "Mixa", maar heet het in de supermarkt "Mixer-Model-X". REBEL heeft een slim woordenboek (een kennisbank) dat weet: "Ah, 'Mixa' is eigenlijk 'Mixer-Model-X'". Het lost deze verwarring op, zelfs als de namen niet exact hetzelfde klinken.

• Truc 3: De Veilige Opslag (De "Tijdcapsule")
  Dit is het belangrijkste. Zodra REBEL precies weet wat je nodig hebt (tot op het laatste boutje van je computer), haalt het niet het nieuwste uit de supermarkt. Het haalt de exacte versies die op dat moment werken, en stopt ze allemaal in een luchtdichte, ondoordringbare koffer (een lokaal archief).

  • Het resultaat: Je hebt nu een complete "taartkoffer" met precies de ingrediënten die je nodig hebt. Je kunt deze koffer over 10 jaar openen, en je kunt de taart opnieuw bakken, precies zoals de eerste keer. Het maakt niet uit of de supermarkt dan nog bestaat of niet.

3. Voor Iedereen (Zelfs zonder Bakkerservaring)

Vroeger moest je een expert zijn in "containers" (een ingewikkeld systeem om software te verpakken) om dit te doen. REBEL heeft een nieuwe functie, DockerBuilder, die dit voor je regelt.

• Hoe het werkt: Je schrijft gewoon een simpele lijstje op een vel papier: "Ik wil pakket A, pakket B en pakket C".
• De magie: REBEL pakt dat lijstje, doet al het zware werk (zoals het vinden van de verborgen onderdelen en het vullen van de koffer), en maakt er een kant-en-klare, reisvrije "taartdoos" van. Je hoeft niet te weten hoe de doos van binnen werkt; je hoeft alleen maar je lijstje te geven.

4. De AI-Hulp: De "Detective"

Soms lukt het zelfs voor REBEL niet om een probleem op te lossen. Dan komt de AI-hulp in actie.

• Stel, je taart lukt niet. REBEL leest de foutmeldingen (het "gejammer" van de computer).
• De AI fungeert als een detective die door duizenden regels tekst snelt om de échte oorzaak te vinden (bijvoorbeeld: "Het ontbreekt aan een specifieke schroef").
• Als de detective de oplossing vindt, schrijft hij die op in het woordenboek van REBEL. De volgende keer dat iemand diezelfde schroef nodig heeft, weet REBEL het direct.

Conclusie: Waarom is dit belangrijk?

REBEL zorgt ervoor dat wetenschappelijk onderzoek eerlijk en duurzaam blijft.

• Vandaag: Je werkt in een veilige omgeving waar alles werkt.
• Over 10 jaar: Iemand anders kan jouw werk controleren, omdat je jouw "taartkoffer" hebt bewaard. Ze hoeven niet te gokken welke versies van software er toen waren.

Kortom: REBEL zorgt ervoor dat je wetenschappelijke ontdekkingen niet verloren gaan in de tijd, omdat ze niet afhankelijk zijn van een supermarkt die elke dag verandert. Het maakt reproduceerbaar onderzoek toegankelijk voor iedereen, niet alleen voor de computer-experts.

Technische samenvatting

Probleemstelling

De bio-informatica staat voor twee fundamentele uitdagingen die de FAIR-principes (Findable, Accessible, Interoperable, Reusable) en wetenschappelijke reproduceerbaarheid ondermijnen:

1. Fragiliteit van lange termijn reproduceerbaarheid: Standaard package managers (zoals die voor CRAN, Bioconductor en PyPI) downloaden afhankelijkheden bij elke build opnieuw vanuit live repositories. Dit leidt tot:
   • Versie-drift: Het pinnen van een pakketversie garandeert niet de versies van transitive afhankelijkheden. Deze kunnen onafhankelijk veranderen, wat resulteert in verschillende omgevingen en numerieke resultaten bij builds op verschillende tijdstippen.
   • Verdwijnen van bibliotheken: Pakketten kunnen uit repositories worden verwijderd of hernoemd, waardoor oude builds faalt.
2. Gebrek aan toegankelijkheid: Installatiemetadaten missen vaak kritieke systeemafhankelijkheden (bijv. specifieke C-bibliotheken). Gebruikers moeten handmatig fouten in logbestanden analyseren om te achterhalen welke onderliggende bibliotheek ontbreekt. Het bouwen van een reproduceerbare Docker-omgeving vereist bovendien expertise in containerisatie en systeembeheer, wat een drempel vormt voor de meeste onderzoekers.

Bestaande tools zoals Conda en Docker lossen deze problemen slechts gedeeltelijk op: Conda downloadt opnieuw vanuit live bronnen, en Docker-images zijn statische snapshots die niet deterministisch vanuit een recept kunnen worden gereconstrueerd zonder netwerktoegang.

Methodologie: Het REBEL Framework

REBEL is een framework dat werkt op het niveau van afhankelijkheidsresolutie en de installatieproblemen aanpakt voordat de installatie plaatsvindt. Het proces is opgedeeld in drie fasen: Discovery, Save en Apply.

1. Dependency Inference Heuristieken

Om onvolledige of impliciete metadata te overbruggen, gebruikt REBEL drie strategieën om het volledige afhankelijkheidsgraf te resolveren:

• Deep Inspection (Diepe Inspectie): Statische analyse van de broncode van het pakket om verborgen systeemafhankelijkheden te detecteren die niet in de officiële metadata staan.
• Fuzzy Matching: Een engine die hoge-niveau pakketnamen (bijv. R-pakketten) koppelt aan hun onderliggende systeem-equivalenten. Dit wordt ondersteund door een dynamische Knowledge Base met handmatig gecureerde regels en regex-patronen. Deze database kan runtime worden bijgewerkt via GitHub zonder de software zelf te hoeven updaten.
• Conservative Dependency Locking: In plaats van de nieuwste versie te installeren, gebruikt REBEL een terugwaartse iteratieve strategie. Het probeert versies van afhankelijkheden van nieuw naar oud te installeren totdat een versie succesvol compileert en laadt in de doelomgeving. Dit voorkomt incompatibiliteiten door updates.

2. AI-gestuurde Uitbreiding

Voor pakketten die na de drie heuristieken nog steeds niet worden opgelost, gebruikt REBEL een AI-harness:

• Log-analyse: Installatielogboeken worden opgedeeld in chunks. Een TF-IDF-ranking filtert ruis (zoals "building" of "installing") en selecteert de meest informatieve foutberichten (bijv. "undefined reference").
• LLM-integratie: De geselecteerde fragmenten worden naar een Large Language Model gestuurd om kandidaat-resolutieregels te genereren. Deze worden gevalideerd en toegevoegd aan de Knowledge Base, waardoor het systeem zelflerend wordt.

3. Offline Archivering en DockerBuilder

• Rebelspell.yaml & RebelEnv: Zodra de afhankelijkheden zijn vastgesteld, wordt een manifest (rebelspell.yaml) gegenereerd. Het commando rebel save downloadt alle componenten (pakketten, systeembibliotheken, binaries) naar een lokaal archief (rebelenv/).
• Deterministische Rebuild: Het commando rebel apply reconstrueert de omgeving uitsluitend met lokale bestanden, zonder netwerktoegang.
• DockerBuilder: Een tool die een simpele tekstbestand met vereisten omzet in een volledig reproduceerbare Docker-image. Dit gebeurt in twee stappen: eerst wordt een tijdelijke container gebruikt om het offline bundel te maken, waarna een schone Dockerfile wordt gegenereerd die alleen lokale bestanden gebruikt. Dit vereist geen Docker-ervaring van de gebruiker.

Belangrijkste Resultaten

De auteurs hebben REBEL getest met een aselecte steekproef van 1.000 CRAN-pakketten in geïsoleerde Docker-containers (Ubuntu 24.04).

• Installatiesucces:
  • Bij standaard installatie (Bare) faalden 328 pakketten (32,8%).
  • REBEL loste 84 van deze 328 mislukkingen op (25,6%) uitsluitend met de drie heuristieken.
  • De AI-harness loste vervolgens nog eens 65 van de resterende mislukkingen op.
  • Totale herstel: REBEL herstelde in totaal 149 van de 328 mislukte installaties, wat neerkomt op een herstelpercentage van 45,4%.
• Determinisme: Alle succesvol geïnstalleerde pakketten met REBEL bleken deterministisch opnieuw te kunnen worden gebouwd op verschillende machines, wat bevestigt dat het lokale archief een stabiele, zelfstandige record is van de computatieomgeving.
• Toegankelijkheid: Met DockerBuilder kunnen onderzoekers zonder containerisatie-ervaring reproduceerbare Docker-images genereren vanuit een tekstbestand.

Bijdrage en Significantie

REBEL biedt een praktische oplossing voor de structurele problemen in bio-informatica-reproduceerbaarheid:

1. Echte Lange Termijn Reproduceerbaarheid: Door alle componenten lokaal te archiveren en te gebruiken voor toekomstige builds, elimineert REBEL de afhankelijkheid van live repositories en versie-drift. Dit maakt "offline rebuilds" mogelijk, wat essentieel is voor het bewaren van wetenschappelijke resultaten.
2. Democratisering van Reproduceerbaarheid: Door het automatiseren van complexe afhankelijkheidsresolutie en het genereren van Docker-images via een simpele interface, maakt REBEL reproduceerbaarheid toegankelijk voor onderzoekers zonder technische expertise in systeembeheer of containerisatie.
3. FAIR-Compliance: REBEL zorgt ervoor dat computationele analyses volledig FAIR-compliant kunnen worden gemaakt, waarbij de omgeving zelf een permanent, zelfstandig en deelbaar artefact wordt dat bij publicaties kan worden opgenomen.

Kortom, REBEL verschuift de focus van het reconstrueren van een omgeving na een analyse naar het werken binnen een reproduceerbare container vanaf dag één, waarbij de integriteit van de softwareomgeving gegarandeerd blijft ongeacht de tijd die verstrijkt.