LLMs + Security = Trouble
Dit artikel betoogt dat het beveiligen van door AI gegenereerde code niet moet gebeuren via post-hoc controles, maar door beveiligingsbeperkingen direct tijdens het generatieproces af te dwingen (bijvoorbeeld via *constrained decoding*), om zo de onbetrouwbaarheid van menselijke verificatie en probabilistische detectie te vermijden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Titel: "LLM's + Beveiliging = Problemen"
Stel je voor dat je een supermoderne, supersnelle robot-kok hebt (de LLM). Deze robot kan in een fractie van een seconde een heel recept schrijven. Maar er is één probleem: de robot heeft de geschiedenis van de voedselvergiftiging nooit echt begrepen. Hij weet wel hoe een taart eruitziet, maar hij vergeet soms dat je rauwe eieren niet moet gebruiken als je wilt dat mensen het overleven.
Dit paper van Benjamin Livshits waarschuwt ons: we laten deze "robot-koks" nu massaal de keuken van de softwarewereld besturen, en dat is levensgevaarlijk.
1. Het probleem: "Brand bestrijden met vuur"
Op dit moment proberen we de fouten van de AI op te lossen door andere AI te gebruiken om de code te controleren. De auteur noemt dit "fighting fire with fire" (brand bestrijden met vuur).
De metafoor: Het is alsof je een keuken vol brandende pannen probeert te redden door een andere robot in de keuken te sturen die met een brandblusser zwaait. Die tweede robot is misschien slim, maar hij is ook een kansberekening. Hij ziet misschien 99% van de vlammen, maar die ene kleine, sluwe vonk die de hele keuken doet ontploffen? Die mist hij. De hacker (de dief in de keuken) is vaak geduldiger en slimmer dan de controle-robot. Hij zoekt specifiek naar die ene kleine vonk die de beveiliging omzeilt.
2. De valkuil van de "Vibe Coding"
Veel mensen gebruiken AI nu voor "vibe coding". Dat betekent: je typt een beetje een vaag commando ("Maak een app die foto's bewerkt") en je accepteert wat de AI uitspuugt omdat het "goed voelt" (de vibe is goed).
De metafoor: Dit is als een bouwmeester die een huis laat bouwen door een magische machine. De machine bouwt een prachtig huis dat er fantastisch uitziet. Maar de bouwmeester kijkt alleen naar de buitenkant. Hij controleert niet of de fundering wel van beton is of van zand. Omdat de bouwmeester de AI blind vertrouwt, merkt hij pas dat het huis instort als de eerste storm komt.
3. De oplossing: "Bouwen volgens de regels" (Security by Construction)
De auteur zegt: we moeten stoppen met achteraf proberen de fouten te repareren. We moeten de AI dwingen om tijdens het schrijven van de code al de veiligheidsregels te volgen.
Hij stelt twee betere wegen voor:
- De Wiskundige Controle (Neurosymbolic): In plaats van alleen maar te "gokken" wat het volgende woord is, moet de AI ook de harde wetten van de logica en wiskunde gebruiken. Het is het verschil tussen een kok die "denkt" dat zout goed is, en een kok die een exacte weegschaal gebruikt.
- De "Diffusie" Methode: Dit is een nieuwe manier van AI-denken. In plaats van woord voor woord te typen (zoals een mens), "beeldt" de AI het hele plaatje in één keer uit en verfijnt het dit steeds meer. De auteur denkt dat dit een geweldige kans biedt om veiligheidsregels direct in de structuur van de code te bakken, alsof je een mal gebruikt om een koekje te bakken: de vorm (de veiligheid) staat al vast, dus het koekje kan nooit de verkeerde vorm krijgen.
De kernboodschap in één zin:
Stop met het vertrouwen op AI-detectie om de fouten van AI-generatie te repareren; we moeten de AI leren om vanaf de allereerste letter de regels van de veiligheid te volgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.