Emerging Challenges in Threat Modeling for GenAI-Augmented Systems: A View from the Trenches
Dit artikel presenteert een verkennende beoordeling van GenAI-bewuste threat modeling-methoden binnen een omgeving van kleine en middelgrote ondernemingen, waarbij wordt onthuld dat hoewel bestaande technieken verschillende bedreigingen identificeren, ze momenteel onvoldoende ondersteuning bieden voor GenAI-specifieke risico's met betrekking tot software supply chains en mensgerichte beveiliging, naast opmerkelijke uitdagingen op het gebied van bruikbaarheid en workflow-integratie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een massief, hoogtechnologisch kasteel bouwt. Voordat je ook maar één steen legt, heb je een "dreigingsmodel" nodig. Zie dit als een speciale soort schatkaart waar je, in plaats van aan te geven waar het goud ligt, elke mogelijke manier tekent waarop een schurk naar binnen kan sluipen, een muur kan slopen of de bewakers kan misleiden. Decennialang hebben beveiligingsexperts een standaard checklist gebruikt genaamd STRIDE om deze kaarten te tekenen. Het is als een meesterlijst van veelvoorkomende inbraken: iemand die zich voordoet als een bewaker (Spoofing), een raam inslaat (Tampering) of de sleutels steelt (Information Disclosure). Het werkt geweldig voor traditionele software, wat lijkt op een rigide, voorspelbare machine.
Maar nu bouwen we een nieuw soort kasteel: een kasteel dat wordt aangedreven door Generatieve AI (GenAI). Dit is geen rigide machine; het is meer als een briljante, chaotische en soms hallucinerende tovenaar die in jouw muren leeft. Deze tovenaar kan code schrijven, vragen beantwoorden en kunst creëren, maar hij kan ook misleid worden door een slim gefluister (een "prompt injection") of gevoed worden met slechte ingrediënten waardoor hij gif uitspuugt. De grote vraag is: kunnen onze oude, rigide schatkaarten (de STRIDE-checklist) de sluwe manieren vinden om deze nieuwe tovenaar te misleiden? Als we proberen een kaart die ontworpen is voor een stenen fort te gebruiken om een spion in een magische bibliotheek te vinden, zullen we dan de echte gevaren missen? Dit artikel duikt in dat exacte probleem en vraagt zich af of onze huidige beveiligingsinstrumenten wel klaar zijn voor het tijdperk van AI-tovenaars.
Het Verhaal van het Papier: Oude Kaarten Testen op Nieuwe Tovenaars
De auteurs van dit artikel, een team van beveiligingsonderzoekers en professionals uit de sector, besloten deze vraag aan een test te onderwerpen. Ze zaten niet alleen in een lab te gissen; ze gingen de "loopgraven" in van een echt bedrijf (een kleine of middelgrote onderneming, of SME) dat een systeem bouwde met behulp van AI om klant-e-mails te verwerken en zakelijke rapporten te genereren. Ze wilden zien hoe goed drie verschillende "threat modeling"-methoden zouden werken op dit door AI versterkte systeem.
Om dit te doen, voerden ze eerst een snelle scan uit van de nieuwste onderzoeken om de beste nieuwe methoden te vinden die specif kind specifiek voor AI zijn ontworpen. Ze kozen drie kanshebbers:
- M1 (AIaaS Framework): Een methode die naar het systeem kijùkt als een verzameling activa (data, modellen, processen) en vraagt: "Hoe zou iemand deze kunnen verstoren?"
- M2 (ADMIn Framework): Een methode die zich richt op drie hoofdaanvalsoppervlakken: de data, het model en de inputs.
- M3 (ThreatFinderAI): Een luxe, door tools ondersteunde methode die een speciale taal gebruikt om de AI-onderdelen van het systeem te tekenen en verbinding maakt met een enorme database van bekende AI-aanvallen om automatisch dreigingen te vinden.
Ze pasten al deze drie methoden toe op het systeem van het bedrijf, dat een Large Language Model (LLM) gebruikte om e-mails te lezen en rapporten te schrijven. Vervolgens controleerden ze hun bevindingen tegenover een beroemde "Top 10"-lijst van AI-risico's (de OWASP Top 10 voor LLM's) om te zien welke methode de belangrijkste gevaren ontdekte. Ten slotte vroegen ze de daadwerkelijke ontwikkelaars bij het bedrijf wat zij vonden van het gebruik van deze methoden.
Wat Ze Vonden: Het Goede, Het Slechte en Het Ontbrekende
De resultaten waren een mix van "niet slecht" en "we moeten het beter doen."
Het Goede Nieuws:
Alle drie de methoden waren behoorlijk goed in het opsporen van de "klassieke" AI-trucs. Ze identificeerden succesvol Prompt Injection (waarbij een gebruiker de AI misleidt om de regels te negeren), Data Poisoning (waarbij slechte data het model corrumpeert) en Sensitive Information Disclosure (waarbij de AI per ongeluk geheimen verklapt). De door tools ondersteunde methode, M3, was de duidelijke winnaar. Het vond de meeste dreigingen, was het makkelijkst voor de ontwikkelaars om te gebruiken en voelde het minst als een zware taak. Het is als het hebben van een metaaldetector die hard piept wanneer hij een begraven munt vindt, vergeleken met graven met een lepel.
Het Slechte Nieuws (De Gaten):
Hier worstelden de oude kaarten. De methoden toonden beperkte ondersteuning voor het opsporen van risico's gerelateerd aan de software supply chain (zoals als het AI-model zelf is gebouwd met gestolen of defecte onderdelen) en Excessive Agency (wanneer de AI te veel macht krijgt om beslissingen te nemen zonder dat een mens het werk controleert).
- Supply Chain: Geen van de methoden bood een specifieke manier om risico's te modelleren of te identificeren die voortkomen uit de "ingrediënten" die de AI gebruikte. Als het AI-model werd gedownload van een verdachte website, ontbrak het de methoden aan de specifieke syntaxis of checklists om dit effectief te signaleren.
- Mensgerelateerde Risico's: Ze misten ook het gevaar dat mensen de AI te veel vertrouwen. Als de AI een stuk code schrijft dat er perfect uitziet maar eigenlijk gevaarlijk is, en een menselijke ontwikkelaar kopieert het gewoon zonder te controleren, dan is dat een enorm risico. De methoden hadden geen goede manier om in kaart te brengen hoe dat "luie vertrouwen" het systeem kon breken.
Wat de Ontwikkelaars Zeiden:
De ontwikkelaars die deze methoden probeerden, waren het eens met de data. Ze hielden van M3 omdat het een tool had die het zware werk deed. Ze vonden dat de andere methoden te handmatig waren en te veel tijd kostten. Echter, ze wezen allemaal op een grote hindernis: deze methoden passen niet gemakkelijk in hun dagelijkse workflow. Ze willen checklists, sjablonen en een manier om de beveiligingsbevindingen direct te koppelen aan hun takenbeheersoftware (zoals een "ticket"-systeem). Eén ontwikkelaar zei: "Sjablonen zouden het zo veel makkelijker maken," terwijl een ander opmerkte dat ze de risico's op datalekken niet uit zichzelf hadden ontdekt zonder deze tools.
De Conclusie: We Hebben Nieuwe Kaarten Nodig voor Nieuwe Kastelen
Het artikel suggereert dat hoewel onze huidige instrumenten een goed begin zijn voor het vangen van de voor de hand liggende AI-trucs, ze niet genoeg zijn voor het volledige plaatje. We zijn momenteel blind voor de risico's die voortkomen uit de supply chain (waar de AI vandaan komt) en de risico's waarbij mensen de AI te blindelings vertrouwen.
De auteurs stellen voor dat de toekomst van beveiligingsmodellering op drie manieren moet veranderen:
- Inclusief de Supply Chain: We hebben kaarten nodig die niet alleen het kasteel laten zien, maar ook de wegen die de stenen aanvoeren en de mensen die ze hebben gemaakt.
- Gebruik Tools en Prompts: We hebben geautomatiseerde tools nodig die ons helpen deze kaarten snel te tekenen, misschien zelfs door AI te gebruiken om de dreigingen zelf te vinden.
- Let op de Mensen: We moeten modelleren hoe mensen met de AI interageren, specifiek zoekend naar momenten waarop een mens lui kan worden en een foutief antwoord vertrouwt, waardoor een kleine fout verandert in een grote ramp.
Kortom, het artikel suggereert dat we de oude kaarten niet alleen kunnen patchen; we moeten geheel nieuwe kaarten tekenen die rekening houden met de magie, de supply chain en de menselijke neiging om de tovenaar net iets te veel te vertrouwen. Tot die tijd kunnen onze AI-kastelen op papier veilig lijken, maar kunnen ze nog steeds geheime deuren hebben waarvan we niet eens hebben nagedacht om ze te vergrendelen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.