Cloud-Native Architecture and Pipeline Optimization for Built-Environment Data

In de moderne wereld van software is het bouwen van een programma niet langer een solitaire handeling die op één enkele computer wordt uitgevoerd. Het is een enorme, industriële operatie geworden waarbij code constant wordt samengesteld, getest en naar gebruikers wordt verzonden, dag en nacht door. Dit proces genereert een enorme oceaan aan digitale bijproducten: de voltooide softwarebestanden, de verslagen van wat er is gewijzigd, en de logs die laten zien hoe lang elke stap duurde. Onderzoekers noemen dit de "built-environment data" (data uit de gebouwde omgeving). Naarmate bedrijven groeien van tientallen ingenieurs naar duizenden, zwelt het volume van deze data aan, wat de traditionele systemen die bedoeld zijn om het te beheren vaak overbelast. Deze oudere systemen waren gebouwd voor statische, onveranderlijke omgevingen, vergelijkbaar met een fabriek met een vast aantal machines die nooit slapen. Wanneer de vraag piekt, raken deze fabrieken verstopt, wat zorgt voor vertragingen en geld verspilt. Om dit op te lossen, hebben experts gekozen voor een nieuwe manier om deze digitale fabrieken te organiseren, een manier die softwarecomponenten behandelt als draagbare containers die onmiddellijk kunnen worden aangemaakt, verplaatst en weggegooid naar behoefte. Deze aanpak, bekend als cloud-native architectuur, belooft het hele proces flexibel en efficiënt te maken, maar het vereist een nieuw soort beheer om echt te kunnen werken.

Jim Dorsey, een onderzoeker aan de Miami University of Science and Technology, zette zich scharpe in om te onderzoeken hoe men deze flexibele, container-gebaseerde architectuur het beste kan combineren met specifieke strategieën om het bouwproces te versnellen. De kernvraag was of het simpelweg overstappen naar een modern, cloud-gebaseerd systeem voldoende was, of dat het gepaard moest gaan met slimme trucs om de werkstroom te beheren. De studie richtte zich op de "pipeline", de opeenvolging van stappen die ruwe code verandert in een voltooid product. Dorsey stelde een framework voor dat deze draagbare containers gebruikt om het werk af te handelen, terwijl het tegelijkertijd technieken toepast zoals het gelijktijdig uitvoeren van onafhankelijke taken, het opslaan van de resultaten van dure stappen om ze later te hergebruiken, en het dynamisch aanpassen van de beschikbare rekenkracht op basis van hoe druk het systeem is. Het doel was om te zien of deze combinatie de tijd kon verkorten die nodig is om software te bouwen, de kosten voor het draaien van de systemen kon verlagen en het hele proces betrouwbaarder kon maken.

Om dit idee te testen, bouwde de onderzoeker een gecontroleerd experiment met behulp van een gesimuleerde omgeving die een echte cloud-opstelling nabootste. Ze creëerden drie verschillende versies van een software-buildingsysteem om deze met elkaar te vergelijken. De eerste was een traditionele opstelling, die de oudere, statische manier vertegenwoordigde waarbij computers altijd draaien, of ze nu nodig zijn of niet. De tweede versie gebruikte de moderne cloud-native aanpak, waarbij computers alleen worden opgestart wanneer er werk is en direct worden uitgeschakeld nadat het werk is gedaan. De derde versie nam die moderne aanpak en voegde daar de extra optimalisatiestrategieën aan toe, zoals de slimme planning en caching die eerder werden genoemd. Ze lieten een reeks realistische softwareprojecten door elk van deze drie systemen lopen, waarbij het proces tientallen keren werd herhaald om nauwkeurige gegevens te verzamelen over hoe lang elke build duurde en hoeveel het kostte.

De resultaten toonden een duidelijke progressie in prestaties. Het traditionele systeem deed er gemiddeld 18,4 minuten over om een build te voltooien. Wanneer de onderzoekers overschakelden naar het moderne cloud-native systeem zonder extra trucs, daalde de tijd naar 12,7 minuten, een significante verbetering van ongeveer 31 procent. De grootste sprong kwam echter van het volledig geoptimaliseerde systeem. Door de strategieën voor parallel werk en slim hulpbronbeheer toe te voegen, daalde de gemiddelde bouwtijd verder naar slechts 7,2 minuten. Dit betekende een totale reductie van bijna 61 procent vergeleken met de oude methode. De snelheidstoename was niet alleen een kwestie van tijd; het betekende ook dat het systeem meer builds per uur kon voltooien, springend van ongeveer 3,3 builds per uur in het oude systeem naar 8,3 in het volledig geoptimaliseerde systeem.

Naast snelheid keek de studie ook naar hoe efficiënt het systeem zijn middelen gebruikte en hoeveel het kostte om te draaien. In de traditionele opstelling stonden de computers vaak ongebruikt te wachten op werk, wat resulteerde in een zeer laag gebruikscijfer van ongeveer 23 procent. Dit verspilde energie en geld. Het moderne cloud-native systeem verbeterde dit naar 47 procent, en de volledig geoptimaliseerde versie bereikte 62 procent, wat betekende dat de computers veel harder werkten wanneer ze draaiden. Deze efficiëntie vertaalde zich direct in besparingen. De kosten om één stuk software te bouwen, daalden van $4,82 in het traditionele systeem naar $3,15 in het moderne systeem, en uiteindelijk naar $1,87 in het geoptimaliseerde systeem. Dit was een reductie van meer dan 60 procent in kosten, wat bewees dat de combinatie van de nieuwe architectuur en de optimalisatiestrategieën niet alleen sneller, maar ook veel goedkoper was.

Betrouwbaarheid en het vermogen om te zien wat er binnen het systeem gebeurde, verbeterden ook. Het oudere systeem had een succespercentage van ongeveer 94 procent, wat betekende dat sommige builds faalden. Het geoptimaliseerde systeem verhoogde dit naar 98,4 procent, met minder fouten veroorzaakt door een tekort aan rekenkracht. Bovendien nam het vermogen om het systeem te volgen en te begrijpen, ook wel observability genoemd, toe van 68 procent van het proces in het oude systeem naar 97 procent in het geoptimaliseerde systeem. Dit betekent dat wanneer er iets misging, het veel gemakkelijker was om de oorzaak te vinden. De studie merkte echter op dat deze winsten niet zonder prijs kwamen. Het meest geoptimaliseerde systeem was het meest complex om op te zetten en te beheren. Het vereiste meer zorgvuldige planning en diepere technische kennis om te onderhouden. De onderzoekers vonden dat hoewel de voordelen aanzienlijk waren, organisaties de wens voor snelheid en lage kosten moesten afwegen tegen de toegenomen complexiteit van het beheren van een dergelijk geavanceerd systeem.

De studie concludeerde dat het simpelweg adopteren van een moderne, cloud-gebaseerde architectuur een noodzakelijke eerste stap is, maar op zichzelf niet genoeg is om de problemen van snelheid en kosten op te lossen. De architectuur biedt de flexibele basis, maar het zijn de specifieke optimalisatiestrategieën — zoals het parallel uitvoeren van taken en het hergebruiken van eerder werk — die het volledige potentieel ontsluiten. Het onderzoek suggereert dat voor organisaties die willen moderniseren, de beste weg is om eerst een systeem te bouwen dat geobserveerd en gemeten kan worden, en daar vervolgens deze optimalisatietechnieken op te bouwen. Hoewel de meest geavanceerde opstelling de beste prestaties biedt, geeft de studie aan dat een middenweg vaak voldoende is, omdat deze significante verbeteringen biedt ten opzichte van de oude manieren zonder de extreme complexiteit van de volledig geoptimaliseerde versie. Uiteindelijk biedt het werk een duidelijk stappenplan voor het beheren van de groeiende vloedgolf aan digitale data in softwareontwikkeling, waardoor een potentiële flessenhals wordt omgezet in een gestroomlijnde, efficiënte motor.