"Abuse Risks are Often Inherent to Product Features": Exploring AI Vendors' Bug Bounty and Responsible Disclosure Policies
Dit artikel analyseert de beleidskaders voor het melden van kwetsbaarheden van 264 AI-leveranciers, waarbij wordt onthuld dat velen geen duidelijke richtlijnen hebben of expliciet kritieke AI-specifieke risico's zoals jailbreaking en hallucinaties uitsluiten, terwijl het drie onderscheidende leveranciersprofielen identificeert en een aanzienlijke kloof benadrukt tussen de huidige industriële praktijken en de urgentie van realtime AI-incidenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van Kunstmatige Intelligentie (AI) voor als een enorme, bruisende stad waar bedrijven elke dag nieuwe, magische hulpmiddelen bouwen. Sommige van deze tools kunnen verhalen schrijven, andere kunnen ziekten diagnosticeren, en sommige kunnen zelfs auto's besturen. Maar net als bij elke nieuwe technologie, hebben deze tools barsten in hun fundamenten—kwetsbaarheden.
Wanneer een gewone softwaretool kapot gaat, is er een goed gevestigd systeem om het te repareren: Bug Bounty Programma's. Denk aan deze als "Gezocht"-posters. Bedrijven zetten een beloning (geld) in voor iedereen die een gat in hun muur vindt en hen vertelt over de vondst, in plaats van dat een dief naar binnen glipt.
Dit artikel is een rapportcijfer voor de vraag hoe goed AI-bedrijven deze "Gezocht"-posters voor hun nieuwe, magische tools ophangen. De onderzoekers, van de Universiteit van Edinburgh, hebben naar 264 verschillende AI-bedrijven gekeken om te zien of ze klaar zijn om deze nieuwe soorten barsten aan te pakken.
Hier is wat zij vonden, eenvoudig uitgelegd:
1. De "Stille Meerderheid" en de "Niet-aanwezigen"
De onderzoekers ontdekten dat 36% van de AI-bedrijven helemaal geen "Gezocht"-poster heeft.
- De Analogie: Stel je voor dat je naar een winkel loopt om de eigenaar te vertellen: "Hé, je voordeur staat open," maar de eigenaar heeft geen brievenbus, geen telefoonnummer en geen bordje met "Meld problemen hier." Je moet dan zelf raden naar wie je het moet vertellen, of erger nog, ze negeren je misschien.
- De Realiteit: Slechts 18% van deze bedrijven zegt expliciet: "Wij accepteren meldingen over AI-specifieke problemen." De rest heeft ofwel algemene regels die AI niet vermelden, of ze zwijgen volledig.
2. Wat telt als een "Bug"? (De Scope)
Het artikel ontdekte dat bedrijven erg kieskeurig zijn over wat ze een "bug" vinden die het waard is om voor te betalen. Ze trokken een duidelijke lijn in het zand:
- De "Ja, wij betalen"-lijst (In-scope):
- De Analogie: Als iemand je sleutels steelt, je slot breekt of in je kluis sluipt, dan is dat een misdaad.
- De Realiteit: Bedrijven zijn blij om te betalen voor zaken als het stelen van gegevens, het binnendringen in het systeem of het kopiëren van hun geheime AI-modellen. Dit zijn traditionele beveiligingsmisdaden, die zich simpelweg afspelen binnen een AI.
- De "Niet ons probleem"-lijst (Out-of-scope):
- De Analogie: Als je een robot vraagt een gedicht te schrijven en hij schrijft per ongeluk iets onbeleefds, of als hij begint te hallucineren (dingen verzinnen), dan zegt het bedrijf: "Dat is gewoon hoe de robot denkt, niet een kapot slot."
- De Realiteit: Bedrijven wijzen vaak meldingen af over Jailbreaking (het foppen van de AI om de regels te breken), Hallucinaties (de AI die liegt) of Schadelijke Output (AI die gemeen is of leugens verspreidt). Ze beweren vaak dat dit "inherente kenmerken" van het product zijn, en geen bugs.
3. De Drie Typen AI-bedrijven
De onderzoekers deelden de 264 bedrijven in drie verschillende "persoonlijkheden" in:
- 🌟 De Proactieve Verhelderaars (17%):
- Wie zij zijn: De grote spelers zoals Google, Microsoft en Meta.
- Wat zij doen: Zij hebben duidelijke borden met: "Dit is precies waarvoor wij betalen, dit is wat we niet betalen, en dit is hoeveel." Ze hebben zelfs speciale gidsen over hoe je hun AI veilig kunt testen. Ze behandelen AI-bugs als een serieuze, aparte categorie.
- 🤐 De Stille Eenlingen (44%):
- Wie zij zijn: Vooral apps die AI gebruiken (zoals een chatbot in een klantenservice-app).
- Wat zij doen: Ze hebben wel een "Gezocht"-poster, maar die is geschreven voor de ouderwetse software. Het vermeldt AI helemaal niet. Als je een AI-bug vindt, zullen ze het misschien oplossen, maar ze vertellen je niet of je in aanmerking komt voor een beloning of hoe ze het zullen beoordelen. Het is alsof je een winkel binnenloopt waar de manager in de achterkamer zit en niet naar buiten komt om te praten.
- 🚫 De Beperkende Eenlingen (39%):
- Wie zij zijn: Kleinere leveranciers of bedrijven die gewoon geen zin hebben in de moeite.
- Wat zij doen: Ze hebben ofwel helemaal geen contactmethode, of ze zeggen expliciet: "Wij accepteren geen AI-bugmeldingen." Ze kunnen zeggen: "Als je probeert onze AI te breken, betalen we je niet en kunnen we zelfs boos op je worden."
4. Het "Lag"-probleem
Het papier vond een aanzienlijke tijdsvertraging, of een "lag", in hoe de industrie reageert.
- De Analogie: Stel je voor dat wetenschappers in een lab ontdekken dat een nieuw type brug wankel is (Academisch Onderzoek). Daarna beginnen mensen van de brug af te vallen (Echte incidenten in de echte wereld). Uiteindelijk past het brugbedrijf jaren later het veiligheidshandboek aan om te zeggen: "Ja, deze brug is wankel, en zo kun je dat melden" (Vendor Policies).
- De Realiteit: Academische onderzoekers bestudelen de zwakheden van AI al jaren. Echte ongelukken met AI vinden al een hele tijd plaats. Maar AI-bedrijven zijn pas nu (voornamelijk in 2023 en 2024) begonnen met het bijwerken van hun officiële regels om deze specifieke problemen te erkennen. Ze reageren langzamer dan de onderzoekers en de ongelukken.
5. De Grote Disconnect
Er is een mismatch tussen waar het publiek zich zorgen over maakt en waar bedrijven om geven.
- Publieke angst: Mensen maken zich vooral zorgen over AI die gemeen is, leugens verspreidt (desinformatie) of bevooroordeeld is (discriminatie). Dit zijn "Content Safety"-problemen.
- Focus van bedrijven: Bedrijven maken zich vooral zorgen over "Technische Beveiliging", zoals hackers die hun code of gegevens stelen.
- Het resultaat: Als je meldt dat een AI haatzaaiende taal verspreidt, kan een bedrijf zeggen: "Dat is geen beveiligingsbug, dat is een veiligheidsprobleem, en daar betalen we niet voor." Maar als je meldt dat een hacker het brein van de AI heeft gestolen, zullen ze je veel geld betalen.
Samenvatting
Het artikel concludeert dat hoewel de AI-industrie snel groeit, het "veiligheidsnet" (de bug bounty programma's) nog steeds wordt gebreid. Veel bedrijven zijn nog niet eens begonnen met breien, en degenen die dat wel doen, zijn vooral gericht op het vangen van dieven, niet op het oplossen van het feit dat de AI onbeleefd of foutief kan zijn. De onderzoekers suggereren dat voor AI echt veilig te zijn, bedrijven moeten stoppen met deze "onbeleefde AI"-problemen simpelweg als "kenmerken" te behandelen en ze moeten gaan behandelen als bugs die gemeld en opgelost moeten worden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.