Continuous Discovery of Vulnerabilities in LLM Serving Systems with Fuzzing
Dieser Beitrag stellt GRIEF vor, einen Greybox-Fuzzer, der die Komplexitäten der Nebenläufigkeit und Zustandsverwaltung von LLM-Serversystemen gezielt angreift, um kritische Schwachstellen wie Cache-Isolationsfehler und Leistungsbeeinträchtigungen aufzudecken, und hat dabei erfolgreich 15 neue Probleme identifiziert, darunter zwei CVEs in Engines wie vLLM und SGLang.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine massive, Hochgeschwindigkeits-Bibliothek vor, in der ein einzelner Bibliothekar (das KI-Modell) Tausende von Fragen gleichzeitig beantwortet. Um superschnell zu sein, beantwortet dieser Bibliothekar nicht nur eine Frage nach der anderen; er führt auf seinem Schreibtisch ein „Haftnotiz"-System (ein KV-Cache) ein. Wenn zwei Personen ähnliche Fragen stellen, nutzt der Bibliothekar die Notizen der ersten Person, um die zweite zu beschleunigen. Er gruppiert die Personen zudem in „Batches", um sie gemeinsam zu bedienen, ähnlich wie ein Bus, der Fahrgäste aufnimmt.
Diese Arbeit stellt ein neues Sicherheitstool namens GRIEF vor (denken Sie daran als einen „Stresstest-Roboter"), das wie ein schelmischer, aber harmloser Streichmacher agiert. Seine Aufgabe besteht nicht darin, die Bibliothek zu zerstören oder Bücher zu stehlen; stattdessen versucht es, den Bibliothekar durch Fragen in sehr spezifischen, seltsam getimten Kombinationen zu täuschen, damit dieser Fehler macht.
Hier ist das, was die Arbeit entdeckt hat, einfach erklärt:
1. Das Problem: Das „Haftnotiz"-Durcheinander
Normalerweise machen wir uns Sorgen um den Inhalt der Fragen (z. B. „Wie hacke ich eine Bank?"). Doch diese Arbeit hat herausgefunden, dass der Zeitpunkt und die Gruppierung der Fragen den Bibliothekar verwirren können, selbst wenn jede einzelne Frage völlig höflich und normal ist.
Da der Bibliothekar Haftnotizen wiederverwendet und Personen zusammenfasst, hat GRIEF drei Hauptwege gefunden, wie das System versagen kann:
Die „Geister-Notiz"-Kontamination (Zustandskorruption):
Stellen Sie sich vor, Person A fragt: „Was ist 24 + 48 + 15?" und der Bibliothekar schreibt „87" auf eine Haftnotiz. Dann fragt Person B exakt dieselbe Frage. Da der Bibliothekar die Notiz wiederverwendet, gibt er Person B versehentlich die Antwort „60" (eine falsche Zahl aus einer anderen Berechnung, die im Hintergrund läuft).- Das Ergebnis: Der Bibliothekar gibt eine selbstbewusste, flüssige Antwort, die völlig falsch ist, aber die Bibliothek stürzt nicht ab. Sie lügt einfach stillschweigend.
Der „Lärmbelästigende-Nachbar"-Stau (Leistungs-Pathologie):
Stellen Sie sich vor, eine Person im Warteraum beginnt, eine Frage zu stellen, die ein winziges bisschen mehr Hirnleistung zur Verarbeitung erfordert. Da der Bibliothekar effizient sein und alles gleichzeitig erledigen will, verstopft diese eine Person versehentlich den gesamten Schreibtisch.- Das Ergebnis: Alle anderen, die auf ihre Reihe warten, müssen plötzlich Minuten oder sogar Stunden auf eine Antwort warten, obwohl der Bibliothekar noch „am Leben" und arbeitend ist. Die Bibliothek hat nicht geschlossen, ist aber für alle anderen effektiv unbrauchbar.
Der „Verwirrte Busfahrer" (Absturz/Lebensfähigkeitsversagen):
Stellen Sie sich vor, der Bibliothekar versucht, drei verschiedene Arten von Fahrgästen (Stammgäste, VIPs und besondere Gäste) in denselben Bus zu setzen. Einzeln betrachtet ist jeder Fahrgast in Ordnung. Aber wenn der Bibliothekar versucht, sie alle in einer bestimmten Reihenfolge zusammenzupacken, gerät der Busfahrer (der Scheduler) in Verwirrung darüber, wer im Bus ist, und bringt das Fahrzeug zum Absturz.- Das Ergebnis: Die gesamte Bibliothek schaltet sich ab und muss neu gestartet werden, obwohl niemand etwas Illegales getan hat.
2. Wie GRIEF funktioniert
Die meisten Sicherheitstests prüfen, ob eine einzelne Frage gefährlich ist. GRIEF ist anders. Es behandelt eine Folge von Ereignissen als Eingabe.
- Die Analogie: Stellen Sie sich einen Dirigenten vor, der ein Orchester dirigiert. Anstatt zu prüfen, ob ein Violinist den richtigen Ton spielt, verändert GRIEF, wann der Violinist spielt, mit wem er spielt und wie schnell er spielt.
- Die Methode: GRIEF sendet Tausende von Anfragen, die sich zeitlich überschneiden. Es achtet auf „Glitches" wie:
- Hat sich die Antwort leicht verändert, obwohl sie das nicht hätte tun sollen?
- Ist die Antwortzeit plötzlich von 10 Millisekunden auf 10 Sekunden gesprungen?
- Hat das System eingefroren oder abgestürzt?
- Die Verifizierung: Da KI manchmal ein wenig zufällig sein kann, schreit GRIEF nicht sofort „Fehler!". Es spielt die exakt gleiche Ereignisfolge auf kontrollierte Weise erneut ab, um zu sehen, ob der Glitch erneut auftritt. Wenn ja, ist es ein echter Fehler.
3. Die Ergebnisse
Die Forscher setzten GRIEF auf zwei populäre Bibliothekssysteme (vLLM und SGLang) ein und fanden 15 potenzielle Fehler.
- 10 wurden von den Entwicklern dieser Systeme bestätigt.
- 2 waren so schwerwiegend, dass sie offizielle „CVE"-Nummern erhielten (wie eine eindeutige ID für einen Sicherheitsfehler, der behoben werden muss).
Warum das wichtig ist
Die Arbeit argumentiert, dass wir die KI-Sicherheit durch die falsche Linse betrachtet haben. Wir haben geprüft, ob die KI etwas Unhöfliches oder Gefährliches sagt. Doch diese Forschung zeigt, dass die Infrastruktur (der Bibliothekar, die Haftnotizen und der Busfahrer) genauso zerbrechlich ist.
Selbst wenn Sie der KI perfekte, sichere Fragen zuführen, kann die Art und Weise, wie das System sie zusammen verarbeitet, Folgendes verursachen:
- Stilles Lügen (falsche Antworten, die richtig aussehen).
- Denial of Service (das System so langsam machen, dass es unbrauchbar ist).
- Abstürze (den Dienst abschalten).
Die Arbeit schließt, dass wir, um KI sicher zu machen, nicht nur das „Gehirn" der KI testen müssen, sondern auch das „Nervensystem", das ihre Antworten an die Welt liefert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.