Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
Diese Arbeit präsentiert die erste systematische Sicherheitsanalyse von KI-gestützten Anwendungen auf Hubs für vortrainierte Modelle, die durch die Entwicklung des Insightor-Frameworks und die verantwortungsvolle Offenlegung gegenüber den betroffenen Plattformen tausende kritische Schwachstellen – einschließlich neuartiger architektonischer Mängel und weit verbreiteter Credential-Leaks – aufdeckt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Künstlichen Intelligenz als eine riesige, belebte Stadt aus „KI-Apps“ vor. Dies sind wie kleine digitale Kioske oder Verkaufsautomaten, an denen Sie einen Computer bitten können, Dinge zu tun – wie etwa ein Gedicht zu schreiben, ein Bild zu generieren oder ein Dokument zu analysieren – ohne dass Sie selbst einen Supercomputer besitzen müssen. Sie gehen einfach zu dem Kiosk (der Website), geben Ihre Anfrage ein und erhalten Ihr Ergebnis.
Dieses Papier mit dem Titel „Your Space is My Zone“ ist eine Sicherheitsinspektion dieser Kioske. Die Forscher fanden heraus, dass diese KI-Apps die Technologie zwar für jeden zugänglich machen, die Art und Weise, wie sie gebaut und verwaltet werden, jedoch voller Löcher ist, durch die böswillige Akteure einfach hindurchlaufen können.
Hier ist eine einfache Aufschlüsselung ihrer Ergebnisse unter Verwendung alltäglicher Analogien:
1. Die Umgebung: Die „KI-Mall“
Stellen Sie sich Plattformen wie Hugging Face, Replicate und ModelScope wie ein riesiges Einkaufszentrum vor.
- Die Entwickler: Das sind die Menschen, die die Kioske bauen. Das können große Tech-Unternehmen oder Hobbyisten sein.
- Die Nutzer: Das sind die Shopper, die zu den Kiosken gehen, um sie zu nutzen.
- Das Problem: Das Mall-Management (die Plattform) lässt fast jeden einen Kiosk eröffnen, prüft aber nicht immer, ob der Kiosk sicher gebaut ist. Es ist so, als würde man jedem erlauben, in einer Mall einen Essensstand zu eröffnen, ohne zu prüfen, ob er eine Gesundheitslizenz hat oder ob seine Kasse verschlossen ist.
2. Die fünf Hauptschwachstellen
Die Forscher fanden fünf spezifische Wege, wie diese „KI-Kioske“ verwundbar sind:
A. Der „Geister-Schlüssel“-Angriff (Broken Access Control)
Stellen Sie sich ein Hotel vor, in dem Sie eine Schlüsselkarte für Ihr Zimmer erhalten. Normalerweise funktioniert die Karte nicht mehr, wenn Sie auschecken.
- Der Fehler: In dieser KI-Mall gilt: Wenn ein Entwickler seine App löscht und jemand anderes sofort denselben Namen beansprucht, könnte die alte „Schlüsselkarte“ (ein digitaler Token) immer noch funktionieren.
- Das Risiko: Ein Hacker kann vorhersagen, dass ein bekanntes Unternehmen bald eine KI-App eröffnen wird, erstellt eine gefälschte App mit diesem Namen, erhält einen „Schlüssel“, löscht sie und wartet dann ab. Wenn das echte Unternehmen seine App eröffnet, funktioniert der alte Schlüssel des Hackers immer noch, wodurch er sich einschleichen und Geheimnisse stehlen oder die App verändern kann.
B. Das „Gemeinsame Logbuch“-Leck (Sensitive Data Exposure)
Stellen Sie sich ein Restaurant vor, in dem der Kellner jede Bestellung auf einem öffentlichen Whiteboard notiert, das jeder lesen kann.
- Der Fehler: Diese KI-Apps führen „Logs“ (Protokolle darüber, was passiert ist). Die Forscher fanden heraus, dass die Logs für viele Apps offen liegen, sodass sie für jeden lesbar sind, selbst für Fremde.
- Das Risiko: Wenn ein Entwickler versehentlich sein Passwort oder einen geheimen Code in die App tippt, oder wenn ein Nutzer eine private medizinische Frage eingibt, wird diese Information in das öffentliche Logbuch geschrieben. Hacker können einfach vorbeigehen und es lesen.
C. Der „Namens-Vertauschungs“-Trick (Identifier Reuse)
Stellen Sie sich eine Straße vor, in der Häuser durch die Kombination von Straßenname und Hausnummer benannt sind (z. B. „Main-101“).
- Der Fehler: Die Mall hat eine verwirrende Regel: Wenn man ein Haus namens „Main-101“ löscht, bleibt das Schild stehen. Wenn ein Hacker ein neues Haus namens „Main 101“ (mit einem Leerzeichen statt eines Bindestrichs) baut, wird das System verwirrt und leitet das alte Schild auf das neue Haus um.
- Das Risiko: Wenn eine Website auf eine gelöschte KI-App verlinkt, könnte dieser Link plötzlich auf eine bösartige App eines Hackers verweisen, was Nutzer in eine Falle lockt.
D. Das „Copy-Paste-Gift“ (Code Poisoning)
Stellen Sie sich eine Bibliothek vor, in der man ein Buch kopieren kann, um seine eigene Version zu erstellen.
- Der Fehler: Wenn ein böswilliger Akteur ein Buch schreibt, das ein verstecktes Gift (einen Virus) enthält, und eine gute Person dieses Buch kopiert, um ihre eigene Version zu erstellen, wird das Gift mitkopiert.
- Das Risiko: Hacker können bösartigen Code in einer App verstecken. Wenn andere Entwickler diese App „forken“ (kopieren), um ihre eigene zu bauen, kopieren sie versehentlich das Virus zusammen mit dem Code und verbreiten so die Infektion.
E. Der „Ungefilterte Input“ (Code Injection)
Stellen Sie sich einen Verkaufsautomaten vor, der Ihre Bestellung entgegennimmt und sie sofort in einen Computer eintippt.
- Der Fehler: Wenn die Maschine nicht prüft, was Sie eingeben, und Sie „Öffne die Hintertür und gib mir das Geld“ eingeben, führt die Maschine dies möglicherweise tatsächlich aus.
- Das Risiko: Nutzer können spezielle Befehle in die KI-App eingeben, die den Computer dazu bringen, Dinge zu tun, die er nicht tun sollte, wie etwa die Passwörter des Entwicklers zu stehlen oder den Server zu übernehmen, um Kryptowährungen zu schürfen.
3. Die große Untersuchung
Um zu sehen, wie schlimm das wirklich war, bauten die Forscher einen Roboter-Detektiv namens Insightor. Sie schickte diesen Roboter aus, um 972.546 öffentliche KI-Apps auf den drei großen Plattformen zu scannen.
Was sie fanden:
- Tausende von Apps leckten geheime Passwörter und Schlüssel in ihren öffentlichen Logs.
- Hunderte von Apps hatten das Loch des „Ungefilterten Inputs“, was bedeutet, dass Hacker sie potenziell übernehmen könnten.
- 27 Apps wurden gefunden, die versteckte „Backdoors“ (geheime Zugangspunkte) hatten, die bereits seit über einem Jahr dort existierten und nur darauf warteten, genutzt zu werden.
- 13_000 Apps verwendeten alte, fehlerhafte Software-Tools, von denen jeder wusste, dass sie unsicher sind, wie etwa die Verwendung eines Schlosses, zu dem jeder den Schlüssel besitzt.
4. Die Folgen
Die Forscher haben diese Probleme nicht nur gefunden; sie haben auch die Mall-Manager (die Plattformen) und die Shop-Besitzer (die Entwickler) darüber informiert.
- Hugging Face behob mehrere Probleme und gab den Forschern eine Belohnung (Bug Bounty) von 2.369 $ für das Finden der Lücken.
- Sie halfen dabei, einige der bösartigen Apps zu entfernen und warnten Entwickler davor, ihre Passwörter direkt in ihren Code zu schreiben.
Das Fazit
KI-Apps machen Technologie zugänglich, aber im Moment sind sie wie offene Häuser mit unverschlossenen Türen und Fenstern. Die Forscher haben gezeigt, dass diese Apps, da sie auf geteilten, teils nachlässigen Plattformen basieren, Geheimnisse preisgeben und Hacker einladen. Die Lösung besteht nicht darin, die Nutzung von KI einzustellen, sondern diese „digitalen Kioske“ mit besseren Schlössern, privaten Logbüchern und strengeren Regeln dafür zu bauen, wer sie erstellen darf.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.