Lila: Decentralized Build Reproducibility Monitoring for the Functional Package Management Model

Technische Samenvatting: Lila – Gedecentraliseerde monitoring van reproduceerbaarheid bij builds

Probleemstelling
Hoewel reproduceerbare builds (R-B) een fundamentele methode bieden voor het waarborgen van de integriteit van de software supply chain door bit-voor-bit equivalentie tussen broncode en binaries te verifiëren, stuit de grootschalige adoptatie ervan op twee primaire hindernissen. Ten eerste was er historisch gezien onzekerheid over de haalbaarheid van het bereiken van hoge reproduceerbaarheidspercentages over enorme, diverse pakketcollecties. Ten tweede, en dat is de specifieke focus van dit werk, is er een gebrek aan effectieve infrastructuur voor het monitoren van reproduceerbaarheid op schaal. Bestaande monitoringoplossingen zijn doorgaans gecentraliseerd, computationeel duur en vaak beperkt tot subsets van pakketten of recente versies. Deze beperkingen belemmeren zowel het praktische onderhoud van reproduceerbare builds als het vermogen om grootschalige empirische studies naar build-reproduceerbaarheid uit te voeren.

Methodologie en Systeemontwerp
De auteurs introduceren Lila, een gedecentraliseerd systeem ontworpen om resultaten van reproduceerbaarheid te beoordelen en te aggregeren, specifiek voor functionele pakketbeheerecosystemen, met een initiële implementatie gericht op Nix.

• Gedecentraliseerde Attestatie: Lila maakt gebruik van de post-build-hook mechanisme binnen het Nix-buildsysteem. Bij voltooiing van een lokale build inspecteert de Lila-client de gegenereerde outputpaden. Het construeert een cryptografische attestatie die het volgende bevat:
  • De hash van het build-recept (derivatieve).
  • De cryptografische hashes van de inhoud van alle geproduceerde outputs.
  • Een handtekening gegenereerd door de private key van de builder.
• Aggregatiearchitectuur: Deze ondertekende attestaties worden via een geauthenticeerde REST API ingediend bij een centrale aggregatieserver. De server valideert de rapporten en slaat ze op in een querybare database.
• Data-inname: Het systeem is ontworpen om data te absorberen van onafhankelijke builders uit uiteenlopende hardware- en omgevingen, evenals van het NixOS continuous integration platform, waardoor een uitgebreide dataset wordt gecreëerd.
• Interface en Nut: De server biedt een webinterface en API (gedetailleerd in Tabel 2 van het artikel) waarmee gebruikers reproduceerbaarheidsdashboards kunnen genereren, specifieke pakketsets kunnen monitoren en regressies in reproduceerbaarheid over tijd kunnen detecteren. Het systeem ondersteunt ook historische tracking, wat analyse van oudere pakketversies mogelijk maakt.

Belangrijkste Bijdragen

1. Gedecentraliseerde Monitoringinfrastructuur: Lila pakt de schaalbaarheidsuitdaging van de monitoring van reproduceerbaarheid aan door de uitvoering van de build en de generatie van attestaties te distribueren naar onafhankelijke deelnemers, in plaats van te vertrouwen op een enkele gecentraliseerde builder farm.
2. Empirische Databasis: Door rapporten van diverse omgevingen te aggregeren, creëert Lila een persistente database die geschikt is voor toekomstig empirisch onderzoek. Dit stelt onderzoekers in staat om de impact van specifieke factoren in de build-omgeving op bitwise reproduceerbaarheid te bestuderen op een schaal die voorheen onbereikbaar was.
3. Praktische Tooling voor Maintainers: Het systeem biedt direct nut voor ontwikkelaars en pakketbeheerders door dashboards aan te bieden die de tijdige identificatie van pakketten faciliteren die in reproduceerbaarheid zijn geregressieerd, wat snellere remediëring mogelijk maakt.
4. Integratie met Functioneel Pakketbeheer: Het ontwerp is afgestemd op het functionele pakketbeheermodel (specifiek Nix en Guix), waarbij gebruik wordt gemaakt van cryptografische derivatie-hashes om build-recepten en outputs uniek te identificeren.

Resultaten en Deploymentstatus
Het artikel rapporteert over de geleidelijke uitrol van Lila binnen de Nix-community. Een experimentele instantie heeft succesvol meer dan 150.000 reproduceerbaarheidsrapporten verzameld. Deze uitrol is al nuttig gebleken door het genereren van dashboards die experts hielpen specifieke problemen met reproduceerbaarheid te identificeren. De auteurs merken op dat hun initiële uitrol met een kleine groep gebruikers geen inherente schaalbaarheidsproblemen in het ontwerp heeft aangetoond. Bovendien heeft het systeem bewezen in staat te zijn om reproduceerbaarheid over tijd te volgen, inclusief historische versies van pakketten.

Betekenis en Claims
De auteurs positioneren Lila als een fundamenteel onderdeel voor het bevorderen van de beveiliging van de software supply chain en academisch onderzoek.

• Voor Praktici: Lila dient als een praktisch hulpmiddel om de vertrouwensrelaties in de binaire distributie supply chain te minimaliseren door het bieden van verifieerbare, geaggregeerde bewijzen van build-reproduceerbaarheid.
• Voor Onderzoekers: Het biedt een nieuwe infrastructuur om vragen te beantwoorden over de variabiliteit van reproduceerbaarheidspercentages over ecosystemen heen en de specifieke impact van build-omgevingscomponenten op de reproduceerbaarheid van artefacten.
• Beperkte Omvang: De auteurs erkennen dat hoewel Lila de generatie van attestaties decentraliseert, het momenteel vertrouwt op een gecentraliseerde server voor aggregatie. Zij beschouwen dit als een pragmatische eerste stap, waarbij zij opmerken dat een volledig peer-to-peer aggregatiearchitectuur aanzienlijk meer engineering vereist met betrekking tot coördinatie en consensus. Het systeem is ontworpen om extensibel te zijn, met compatibiliteit voor het Guix-ecosysteem, en wordt uitgebracht als open-source software onder de EUPL-1.2 licentie.