Can AI Write Compliant Code, and to What Extent? Evaluating SOC 2 Compliance of Claude Fable 5, Claude Opus 4.8, and Claude Opus 5 Across Four Use Cases
Deze studie evalueert de SOC 2-naleving van drie frontier AI-modellen over vier use cases, waarbij wordt vastgesteld dat hoewel ongeprompt code-generatie vaak kritieke kwetsbaarheden bevat en belangrijke beveiligingscontroles mist, het toevoegen van een enkele zin die naar SOC 2-standaarden verwijst de conformiteit aanzienlijk verbetert naar 86–100% en onveilige constructies elimineert, hoewel het er niet in slaagt controles aan te pakken die buiten de directe taakconceptie van het model vallen en de onbetrouwbaarheid van geautomatiseerde patroonherkenningsscoring benadrukt ten gunste van semantische verificatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Onzichtbare Veiligheidsnet
Stel je voor dat je een superintelligente, onvermoeibare leerling inhuurt om een huis voor je te bouwen. Deze leerling, een Kunstmatige Intelligentie, kan blauwdrukken maken, beton mengen en ramen installeren sneller dan welk menselijk team dan ook. Maar hier is de crux: de leerling is nooit verteld over bouwvoorschriften. De leerling weet hoe je een huis maakt dat er goed uitziet en blijft staan, maar het kan vergeten om rookmelders te installeren, de achterdeur op slot te doen of de fundering te verstevigen tegen aardbevingen. In de wereld van software is dit precies wat er gebeurt wanneer teams AI vragen om code te schrijven. De code werkt, maar het kan zijn dat de onzichtbare veiligheidsregels ontbreken die nodig zijn om data te beschermen tegen hackers.
Dit artikel duikt in een specifiek hoekje van de informatica genaamd compliance, wat gewoon een deftig woord is voor "het volgen van het regelboek". Specifiek keken de onderzoekers naar SOC 2, een reeks regels die bedrijven gebruiken om te bewijzen dat ze klantgegevens beschermen. Ze wilden twee dingen weten: Als je een AI vraagt om code te schrijven zonder veiligheid te vermelden, volgt het dan per ongeluk toch de regels? En als je slechts één klein zinnetje toevoegt met: "Hé, dit moet voldoen aan de SOC 2-regels," lost dat dan alles op? Het is een beetje als vragen: "Als ik een chef vraag om een broodje te maken, zal hij er dan aan denken om zijn handen te wassen? En als ik fluister 'hygiënecode', zal hij dan plotseling onthouden om handschoenen te dragen?"
De Grote AI-Codetest
Om de antwoorden te vinden, zetten de onderzoekers van Vanta een enorme, gecontroleerde experiment op. Ze behandelden drie verschillende versies van een krachtige AI (genaamd Claude Fable 5, Claude Opus 4.8 en Claude Opus 5) als deelnemers aan een kookwedstrijd. Ze gaven elke AI vier verschillende "recepten" om te coderen: een tool om cloudopslag te beheren, een loginsysteem, een database-instelling en een file-upload handler.
Ze voerden de test twee keer uit voor elk recept. In de eerste ronde gaven ze de AI een neutrale prompt, zoals "Schrijf een tool om bestanden te uploaden." In de tweede ronde gaven ze exact dezelfde prompt, maar voegden ze één enkele zin toe: "Deze data is gevoelig en moet voldoen aan de SOC 2-standaarden."
De onderzoekers gedroegen zich vervolgens als strenge inspecteurs. Ze draaiden de code niet alleen om te zien of het werkte; ze controleerden elke regel tegen een checklist van veiligheidsregels. Ze keken naar zaken als encryptie (het versleutelen van data zodat dieven het niet kunnen lezen), toegangscontroles (zorgen dat alleen de juiste mensen bestanden kunnen inzien) en logging (een dagboek bijhouden van wie wat heeft gedaan).
Wat ze vonden: De "Magische Zin" en de Blinde Vlekken
De resultaten waren een mix van verrassend goed nieuws en enkele zeer belangrijke waarschuwingen.
1. De "Magische Zin" doet wonderen (maar niet alles)
Wanneer de AI werd gevraagd om code te schrijven zonder enige veiligheidsinstructies, was het een kwestie van geluk of pech. Afhankelijk van de taak volgde de code de regels tussen de 47% en 88% van de tijd. Het was goed in de basis, zoals wachtwoordbescherming, maar slecht in de saaie, onzichtbare zaken zoals het beveiligen van cloudopslag-buckets.
Echter, op het moment dat de onderzoekers die enkele zin over SOC 2 toevoegden, schoot de prestatie van de AI omhoog. Elke test sprong naar een compliance van 86% tot 100%. Die ene zin was 23 tot 50 procentpunten aan verbetering waard. Het was alsof de AI plotseling wakker werd en zich herinnerde: "O ja, ik moet een helm dragen!" Cruciaal was dat deze zin ook elke onveilige constructie verwijderde die de onderzoekers vonden, zoals openstaande debuggers of ongeauthenticeerde downloads.
2. Het "Idioom"-probleem
De studie toonde aan dat de AI regels volgt die deel uitmaken van de "normale manier" om code te schrijven. Bijvoorbeeld, het onthield bijna altijd om wachtwoorden te hashen (het versleutelen zodat ze niet gestolen kunnen worden), omdat dat simpelweg de manier is om een loginsysteem te schrijven. Maar het vergat zaken die niet deel uitmaken van het "standaardrecept", zoals het toevoegen van extra sloten aan een cloudopslag-bucket of het instellen van een multi-factor authenticatie (MFA) hook.
Zelfs met de "magische zin" bleef een stabiele set controles ontbreken omdat deze buiten de standaardconceptie van de taak vallen. Specifieke functies zoals MFA-hooks, veilige cookie-flags en account lifecycle management werden niet automatisch toegevoegd door alleen de standaard te noemen; je moest ze individueel in de prompt benoemen. De magische zin herstelde het grote plaatje en de verborgen gevaren, maar kon niet in elk klein, specifiek detail voorzien, tenzij je er expliciet om vroeg.
3. De "Onzichtbare" Gevaren
Hier wordt het eng. In drie van de zestien "neutrale" tests (waarbij geen veiligheid werd vermeld), schreef de AI code die daadwerkelijk gevaarlijk was, ook al zag het er prima uit.
- Eén AI liet een "debugger" openstaan, wat is als een achterdeur in een huis laten openstaan waardoor iedereen de controle over de computer kan overnemen.
- Twee andere creëerden downloadlinks die niet controleerden wie er op klikte, waardoor iedereen privébestanden van anderen kon downloaden.
- Een andere AI creëerde een database die per ongeluk alle data zou verwijderen als je probeerde deze uit te schakelen in een niet-productieve omgeving.
De eerste automatische scanner van de onderzoekers miste al deze gevaarlijke fouten. Het was pas toen een mens er nauwkeurig naar keek, dat ze beseften dat de code kapot was. Dit bewijst dat standaard computerscanners niet slim genoeg zijn om deze "onzichtbare" fouten in AI-code te vangen.
4. Het Model Maakt Niet Veel Uit
De onderzoekers verwachtten dat de nieuwste, slimste AI (Opus 5) veel beter zou zijn dan de oudere versies. Maar het verschil was minimaal. De "magische zin" (de prompt) maakte een veel groter verschil dan het veranderen van het AI-model zelf. Als je compliant code wilt krijgen, helupt het niet veel om een nieuwere AI te kiezen; het helpt meer om de AI simpelweg te vertellen de regels te volgen.
De Kern van het Verhaal
Dit artikel leert ons dat AI een fantastische bouwer is, maar geen veiligheidsinspecteur. Als je het vraagt om iets te bouwen zonder veiligheid te vermelden, zal het een huis bouwen dat weliswaar blijft staan, maar misschien rookmelders of sloten mist. Als je één zin toevoegt over het volgen van de regels, zal het plotseling de meeste veiligheidsvoorzieningen installeren en de gevaarlijke achterdeuren verwijderen.
Er blijven echter hiaten. De AI zal niet automatisch specifieke, complexe veiligheidsfuncties installeren (zoals MFA of specifieke cookie-instellingen) tenzij je er bij naam naar vraagt, zelfs als je de regels noemt. En, misschien wel het belangrijkste: je kunt niet simpelweg een computerprogramma vertrouwen om het werk van de AI te controleren; je hebt een mens nodig die nauwlettend kijkt, omdat de AI gevaarlijke fouten op slimme manieren kan verbergen die eenvoudige scanners missen.
De les voor iedereen die AI gebruikt om code te schrijven is simpel: Ga er niet vanuit dat de AI de regels kent. Je moet de regels aan de AI vertellen, en daarna moet je het werk dubbelchecken, want een huis dat er perfect uitziet, kan nog steeds een verborgen valstrik bevatten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.