How Secure is Code Generated by ChatGPT?
Deze studie concludeert dat ChatGPT, hoewel het zich bewust is van potentiële kwetsbaarheden, vaak onveilige code genereert die niet bestand is tegen bepaalde aanvallen, zelfs wanneer de prompt gericht is op het verbeteren van de beveiliging.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De ChatGPT-Bakker en de Giftige Taart: Een Verhaal over Code en Veiligheid
Stel je voor dat je een nieuwe bakker hebt gehuurd, laten we hem ChatGPT noemen. Deze bakker is een wonder: hij kan in een flits een perfect recept voor een taart schrijven, een complex gebakje ontwerpen of zelfs een hele bakkerij opzetten, alleen maar omdat jij het hem vraagt. Hij is snel, creatief en lijkt alles te weten.
Maar hier is het probleem: Deze bakker is een beetje slordig als het om veiligheid gaat.
In dit onderzoek hebben drie wetenschappers (Raphaël, Anderson en Jacob) precies dit getest. Ze vroegen ChatGPT om 21 verschillende "recepten" (computerprogramma's) te maken in verschillende talen (zoals C++, Python en Java). Hun doel? Kijken of deze taarten veilig zijn om te eten, of dat ze giftig zijn voor de computer die ze gebruikt.
Hier is wat ze ontdekten, vertaald in alledaags taal:
1. De Taart ziet er mooi uit, maar is giftig
In de meeste gevallen (16 van de 21) was de taart die ChatGPT maakte niet veilig.
- Voorbeeld: ChatGPT maakte een programma om bestanden te delen. Het leek prima, maar het had geen slot op de deur. Iemand kon zomaar door de muren lopen (een zogenaamde "path traversal" aanval) en alle bestanden van de bakker stelen.
- Voorbeeld: ChatGPT maakte een wachtwoordgenerator, maar gebruikte een slechte methode om willekeurige getallen te kiezen. Het was alsof je je slot deed met een sleutel die iedereen in de buurt had.
De code werkte technisch gezien (de taart werd gebakken), maar als een hacker er een beetje aan zou trekken, viel de hele constructie in elkaar.
2. De bakker weet het wel, maar doet het niet
Het meest vreemde was dit: ChatGPT wist dat zijn taart giftig was!
Toen de onderzoekers vroegen: "Hey, is deze taart niet giftig als iemand er een rare smaakstof in doet?", antwoordde ChatGPT direct: "Oh ja, je hebt gelijk! Dat is een groot gevaar. Hier is hoe je het moet fixen."
Maar toen ze vroegen: "Maak dan een veilige versie," gebeurde er iets raars:
- Soms maakte hij een nieuwe taart die nog steeds giftig was, maar dan met een klein extraatje dat het gevaar niet echt oploste.
- Soms zei hij: "Ik kan dat niet, dat is te moeilijk."
- Soms maakte hij een veilige versie, maar alleen als je heel specifiek vroeg om die veiligheid. Als je gewoon vroeg: "Maak een wachtwoordgenerator", kreeg je een onveilige versie. Als je vroeg: "Maak een zeer veilige wachtwoordgenerator met speciale beveiliging", kreeg je een goede versie.
3. De "Nieuweling" in de keuken
De onderzoekers stelden zich voor dat ChatGPT wordt gebruikt door een beginner (een leerling-bakker).
- De leerling vraagt: "Maak een taart."
- De bakker (ChatGPT) maakt een taart die er mooi uitziet, maar die instabiel is.
- De leerling proeft het en zegt: "Oei, dit smaakt raar!"
- De bakker zegt: "Ah ja, ik heb een foutje gemaakt. Hier is de oplossing."
- Het gevaar: De leerling weet niet dat hij überhaupt een fout had gemaakt. Hij vertrouwt de bakker blindelings. Als hij de "onveilige" taart naar een feestje meeneemt, kan iedereen ziek worden.
4. De ethische dilemma's (De morele vraag)
De auteurs stelden zich ook de vraag: Is het eerlijk van de bakker?
- ChatGPT weigert vaak om recepten te maken voor bommen (aanvalscodes).
- Maar hij maakt wel graag recepten voor taarten met een verborgen mes (kwetsbare code).
- Het is alsof de bakker zegt: "Ik maak geen munitie voor jou, maar ik maak wel een mes dat zo scherp is dat het per ongeluk je vinger afsnijdt, en ik geef je geen waarschuwing."
Wat betekent dit voor jou?
- Vertrouw niet blindelings: Als je ChatGPT gebruikt om code te schrijven, is het alsof je een onervaren stagiair in je keuken hebt. Je moet altijd controleren of hij geen giftige ingrediënten heeft gebruikt.
- Je moet de juiste vragen stellen: ChatGPT is slim, maar hij wacht tot jij hem waarschuwt. Als je niet vraagt: "Is dit veilig?", dan maakt hij het niet veilig. Je moet zelf de "veiligheidschef" spelen.
- Het is een leermeester, geen vervanger: De onderzoekers concluderen dat ChatGPT nog niet klaar is om een professionele programmeur te vervangen. Maar het kan wel een geweldige leraar zijn. Als je vraagt "Waarom is dit gevaarlijk?", geeft hij een goed antwoord. Het kan studenten leren hoe ze veilig moeten werken, zolang ze maar niet denken dat het antwoord altijd 100% waar is.
Kortom: ChatGPT is een fantastische assistent die snel kan schrijven, maar hij is nog geen veiligheidsexpert. Hij maakt vaak fouten die een hacker makkelijk kan misbruiken. Gebruik hem, maar blijf zelf de chef-kok die de taart controleert voordat hij de oven uitkomt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.