Hardening vibe-coded web applications with an automated security-audit skill: a controlled comparison of two builds of the same app

Stel je voor dat je een huis bouwt, maar in plaats van de stenen zelf te leggen, vraag je het aan een supersnelle, ongelooflijk getalenteerde robot. Je geeft de robot een simpele zin zoals: "Bouw een gezellig huisje met een rode deur," en binnen enkele seconden overhandigt de robot je een perfect uitziend huis. Dit is de wereld van "vibe coding", waar kunstmatige intelligentie (AI) complete werkende apps schrijft vanuit korte prompts. Het is als magie: je krijgt direct een afgewerkt product. Maar hier zit de adder onder het gras: de robot is geweldig in het maken van dingen die er goed uitzien en snel werken, maar het vergeet vaak de saaie, onzichtbare veiligheidszaken. Het kan de voordeur onvergrendeld laten, vergeten rookmelders te installeren, of de achterpoort wagenwijd open laten staan, omdat die zaken er niet toe doen voor een snelle rondleiding door een mooi huis.

In de wereld van computerbeveiliging worden deze onzichtbare gaten "vulnerabilities" (kwetsbaarheden) genoemd. Zie ze als verborgen scheuren in het fundament of ramen die niet op slot gaan. Voor een professioneel team zijn er beveiligers (menselijke experts) die deze zaken controleren voordat iemand er intrekt. Maar voor de individuele bouwer die AI gebruikt, is er niemand anders die controleert. De robot overhandigt simpelweg de sleutels, en de bouwer weet misschien niet eens dat het huis onveilig is. Dit artikel stelt een eenvoudige, cruciale vraag: Als we exact hetzelfde huis twee keer bouwen—de ene keer met alleen de robot, en een andere keer met de robot plus een speciale "beveiligingsinspecteur" die zijn eigen werk controleert—hoeveel veiliger wordt het tweede huis dan? De onderzoekers wilden zien of het toevoegen van een eenvoudige, geautomatiseerde controle een wankele, onveilige app kon veranderen in een fort, zonder de leuke, snelle beleving van het bouwen ("the vibe") te vertragen.

Het Experiment: Twee Apps, Eén Groot Verschil

De onderzoekers zetten een gecontroleerd experiment op met een neppe online winkel genaamd "Northwind". Ze vroegen een AI om deze winkel twee keer te bouwen. De eerste versie, laten we het App A noemen, werd gebouwd met alleen de robot. De tweede versie, App B, werd gebouwd met dezelfde robot, maar deze keer had de robot een speciale "security audit skill" (beveiligingsaudit-vaardigheid) toegevoegd. Deze vaardigheid is als een onvermoeibare inspecteur die een vijfstapslus uitvoert: het scant de code, markeert problemen, lost ze op, en scant vervolgens opnieuw om te controleren of de oplossing daadwerkelijk heeft gewerkt.

De kern van dit experiment was dat het enige verschil tussen de twee apps deze beveiligingsvaardigheid was. De prompt die aan de AI werd gegeven was identiek, en de kernfuncties (de producten, de winkelwagen, de checkout) waren exact hetzelfde. Dit zorgde ervoor dat eventuele verschillen in veiligheid niet voortkwamen uit het feit dat de AI geluk had of het ontwerp veranderde, maar puur door de beveiligingsinspecteur.

De Resultaten: Een Enorme Veiligheidsboost

De resultaten waren spectaculair. Wanneer ze beide apps scoorden op een schaal van 100 op basis van 16 verschillende beveiligingsregels (zoals het hebben van een "Content Security Policy", wat een regelboek is dat de browser vertelt welke scripts zijn toegestaan, en een "Referer Policy", die voorkomt dat de app je browsegeschiedenis naar andere sites lekt), was het verschil enorm.

• App A (Zonder Security Skill): Deze scoorde een 58 van de 100. Het had 16 beveiligingsproblemen, waaronder vier "high-severity" (hoog-risico) gaten. Dit waren de gevaarlijke gaten, zoals ontbrekende sloten op de voordeur. Het totale "risico" werd gemeten op 100 eenheden.
• App B (Met Security Skill): Deze scoorde een 99 van de 100. De beveiligingsvaardigheid heeft bijna alles opgelost. Het elimineerde alle vier de hoog-risico gaten en verminderde het totaal aantal problemen van 16 naar slechts 1. Het totale risico daalde van 100 eenheden naar 1 eenheid.

In gewone cijfers: de beveiligingsvaardigheid verlaagde het onbeheersbare risico met 99,0%. Het resterende risico betrof een specifieke controle die een echte backend-server vereist (die deze demo niet had), waardoor de vaardigheid eerlijk genoeg aangaf dat dit iets was waar nog menselijke aandacht voor nodig was, in plaats van te doen alsof het al was opgelost.

Waarom dit Belangrijk Is: De "Glitch" Bonus

Een van de meest interessante bevindingen was niet alleen het stoppen van hackers, maar ook het voorkomen dat de app zichzelf kapot maakt. De onderzoekers ontdekten dat als je simpelweg strikte beveiligingsregels toevoegt aan een slordige app, de app vaak vastloopt. Bijvoorbeeld: als je een browser vertelt "Geen externe scripts toegestaan," maar de app bevat code die probeert externe scripts te gebruiken, dan stopt de app met werken.

De beveiligingsvaardigheid was slim genoeg om dit te beseffen. Voordat het de strikte regels toevoegde, ging het terug om de code op te schonen, waarbij stijlen en scripts op de juiste plaatsen werden geplaatst, zodat de app nog steeds perfect zou ogen en functioneren. Het voorkwam "glitches" die een menselijke bouwer misschien pas zou opmerken als het te laat was. Het plakte niet alleen de gaten dicht; het versterkte de hele structuur zodat de beveiligingsregels niet zouden leiden tot de instorting van het huis.

Wat het Papier Zegt (en Niet Zegt)

Het artikel is heel duidelijk over wat het niet bewijst. Het beweert niet dat de app nu "onkwetsbaar" is of dat je je helemaal geen zorgen meer hoeft te maken over beveiliging. De auteurs benadrukken dat dit een statische demo is (een neppe winkel met nep betalingen) en dat echte apps met echt geld en echte gebruikersgegevens nog steeds professionele menselijke beveiligingsexperts nodig hebben voor diepgaande penetratietesten. De verbetering van 99% is specifief voor de controles die de vaardigheid in dit type app kan automatiseren.

Echter, het artikel suggereert sterk dat voor de miljoenen kleine apps die door hobbyisten en individuele ontwikkelaars met behulp van AI worden gebouwd, dit soort geautomatiseerde, ingebouwde audit een game-changer is. Het suggereert dat door beveiligingscontroles direct in de workflow van de AI te verweven, we de "veiligheidsbodem" van software met een enorme hoeveelheid kunnen verhogen, waardoor wat voorheen een gevaarlijke gewoonte van "vibe coding" was, verandert in iets veel betrouwbaars. De studie concludeert dat deze aanpak een goedkope, impactvolle stap is die AI-gegenereerde software ongeveer twee grootheden veiliger maakt, simpelweg door het veilige pad het standaardpad te maken.