Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
Dit artikel presenteert de eerste systematische beveiligingsanalyse van door AI aangedreven applicaties op hubs met vooraf getrainde modellen, waarbij duizenden kritieke kwetsbaarheden — waaronder nieuwe architecturale gebreken en wijdverspreide lekken van inloggegevens — aan het licht worden gebracht door de ontwikkeling van het Insightor-framework en verantwoorde openbaarmaking aan de getroffen platforms.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van Kunstmatige Intelligentie voor als een enorme, bruisende stad van "AI-apps". Dit zijn als kleine digitale kiosken of verkoopautomaten waar je een computer kunt vragen om dingen te doen—zoals een gedicht schrijven, een afbeelding genereren of een document analyseren—zonder dat je een supercomputer hoeft te bezitten. Je loopt gewoon naar de kiosk (de website), typt je verzoek in, en krijgt je resultaat.
Dit artikel, getiteld "Your Space is My Zone," is een beveiligingsinspectie van deze kiosken. De onderzoekers ontdekten dat hoewel deze AI-apps technologie toegankelijk maken voor iedereen, de manier waarop ze worden gebouwd en beheerd vol gaten zit waar kwaadwillenden zo doorheen kunnen lopen.
Hier is een eenvoudige uitsplitsing van hun bevindingen met behulp van alledaagse analogieën:
1. De Setting: Het "AI-winkelcentrum"
Beschouw platforms zoals Hugging Face, Replicate en ModelScope als een gigantisch winkelcentrum.
- De Ontwikkelaars: Dit zijn de mensen die de kiosken bouwen. Dat kan iedereen zijn, van grote techbedrijven tot hobbyisten.
- De Gebruikers: Dit zijn de shoppers die naar de kiosken lopen om ze te gebruiken.
- Het Probleem: Het management van het winkelcentrum (het platform) laat bijna iedereen een kiosk bouwen, maar ze controleren niet altijd of de kiosk veilig is gebouwd. Het is alsof je iedereen een voedselkraam in een winkelcentrum laat openen zonder te controleren of ze een gezondheidsvergunning hebben of of de kassa vergrendeld is.
2. De Vijf Belangrijkste Beveiligingslekken
De onderzoekers vonden vijf specifieke manieren waarop deze "AI-kiosken" kwetsbaar zijn:
A. De "Ghost Key" Aanval (Broken Access Control)
Stel je een hotel voor waar je een toegangskaart krijgt voor je kamer. Normaal gesproken stopt de kaart met werken wanneer je uitcheckt.
- De Fout: In dit AI-winkelcentrum, als een ontwikkelaar zijn app verwijdert en iemand anders onmiddellijk dezelfde naam opeist, kan de oude "toegangskaart" (digitale token) nog steeds werken voor de nieuwe eigenaar.
- Het Risico: Een hacker kan voorspellen dat een populair bedrijf binnenkort een AI-app zal openen, een nepversie met die naam aanmaken, een "sleutel" verkrijgen, deze verwijderen en dan wachten. Wanneer het echte bedrijf hun app opent, werkt de oude sleutel van de hacker nog steeds, waardoor hij kan binnensluipen om geheimen te stelen of de app te veranderen.
B. Het "Gedeelde Logboek" Lek (Sensitive Data Exposure)
Stel je een restaurant voor waar de ober elke bestelling opschrijft op een openbaar whiteboard dat voor iedereen leesbaar is.
- De Fout: Deze AI-apps houden "logs" (verslagen van wat er is gebeid) bij. De onderzoekers ontdekten dat de logs voor veel apps openstaan voor iedereen om te lezen, zelfs voor vreemden.
- Het Risico: Als een ontwikkelaar per ongeluk zijn wachtwoord of een geheime code in de app typt, of als een gebruiker een privégevraag over medische zaken typt, wordt die informatie in het openbare logboek geschreven. Hackers kunnen er gewoon langslopen en het lezen.
C. De "Naam Wissel" Truc (Identifier Reuse)
Stel je een straat voor waar huizen worden benoemd door de straatnaam te combineren met het huisnummer (bijv. "Main-101").
- De Fout: Het winkelcentrum heeft een verwarrende regel: als je een huis genaamd "Main-101" verwijdert, blijft het bord staan. Als een hacker een nieuw huis bouwt met de naam "Main 101" (met een spatie in plaats van een streepje), raakt het systeem in de war en wijst het oude bord naar het nieuwe huis.
- Het Risico: Als een website naar een verwijderde AI-app linkt, kan die link plotseling naar een kwaadaardige app van een hacker leiden, waardoor gebruikers in een val worden gelokt.
D. De "Kopieer-Plak Gif" (Code Poisoning)
Stel je een bibliotheek voor waar je een boek kunt kopiëren om je eigen versie te maken.
- De Fout: Als een kwaadwillende een boek schrijft met een verborgen gif (een virus) erin, en een goed persoon kopieert dat boek om zijn eigen versie te maken, wordt het gif ook gekopieerd.
- Het Risico: Hackers kunnen kwaadaardige code in een app verbergen. Wanneer andere ontwikkelaars die app "forken" (kopiëren) om hun eigen versie te bouwen, kopiëren ze per ongeluk het virus mee met de code, waardoor de infectie zich verspreidt.
E. De "Ongefilterde Input" (Code Injection)
Stel je een verkoopautomaat voor die je bestelling ontvangt en deze onmiddellijk in een computer typt.
- De Fout: Als de machine niet controleert wat je typt, en je typt "Open de achterdeur en geef me het geld", kan de machine dat daadwerkelijk doen.
- Het Risico: Gebruikers kunnen speciale commando's in de AI-app typen die de computer foppen om dingen te doen die hij niet zou moeten doen, zoals het stelen van de wachtwoorden van de ontwikkelaar of het overnemen van de server om cryptocurrency te minen.
3. De Grote Onderzoek
Om te zien hoe erg dit echt was, bouwden de onderzoekers een robotdetective genaamd Insightor. Ze stuurden deze robot om 972.546 publieke AI-apps over de drie belangrijkste platforms te scannen.
Wat ze vonden:
- Duizenden apps lekten geheime wachtwoorden en sleutels in hun publieke logs.
- Honderden apps hadden het "Ongefilterde Input"-gat, wat betekent dat hackers ze potentieel kunnen overnemen.
- 27 apps bleken "backdoors" (geheime toegangswegen) te hebben die er al meer dan een jaar zaten te wachten om gebruikt te worden.
- 130.000 apps gebruikten oude, defecte softwaretools waarvan iedereen wist dat ze onveilig waren, zoals het gebruik van een slot waarvan iedereen de sleutel heeft.
4. De Nasleep
De onderzoekers hebben de problemen niet alleen gevonden; ze hebben de managers van de winkelcentra (de platforms) en de winkeleigenaren (de ontwikkelaars) over deze zaken geïnformeerd.
- Hugging Face heeft verschillende problemen opgelost en de onderzoekers een beloning (bug bounty) van $2.369 gegeven voor het vinden van de gaten.
- Ze hielpen bij het verwijderen van sommige kwaadaardige apps en waarschuwden ontwikkelaars om te stoppen met het direct in hun code schrijven van hun wachtwoorden.
De Kernboodschap
AI-apps maken technologie toegankelijk, maar op dit moment zijn ze als openstaande huizen met onvergrendelde deuren en ramen. De onderzoekers lieten zien dat omdat deze apps gebouwd zijn op gedeelde, soms onvoorzichtige platforms, ze geheimen lekken en hackers uitnodigen. De oplossing is niet om te stoppen met het gebruik van AI, maar om deze "digitale kiosken" te bouwen met betere sloten, private logboeken en striktere regels voor wie ze mag bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.