Adversarial Prompts for Acceptance Collapse in Speculative Decoding
Dieses Paper führt ADSD ein, den ersten Prompt-Suffix-Angriff, der eine Schwachstelle in der spekulativen Dekodierung ausnutzt, indem er einen Soft-Collapse-Surrogat verwendet, um adversarielle Suffixe zu generieren, welche die Inferenzlatenz signifikant erhöhen und gleichzeitig die Aufgabenqualität bewahren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen ein Hochgeschwindigkeitsrestaurant, in dem ein Chefkoch (das „Target Model“) dafür verantwortlich ist, jedes einzelne Gericht zur Perfektion zu kochen. Aber der Koch ist langsam und die Kunden sind hungrig. Um die Sache zu beschleunigen, stellt das Restaurant einen schnellen Sous-Chef (das „Draft Model“) ein, der vorausläuft, Gemüse schneidet und errät, was der Chefkoch als Nächstes tun wird. Wenn die Vermutungen des Sous-Chefs richtig sind, nickt der Chefkoch nur und serviert das Essen sofort. Wenn der Sous-Chef falsch liegt, muss der Chefkoch stoppen, die Vermutung wegwerfen und alles von Grund auf neu kochen. Dieses „Raten-und-Prüfen“-System wird Speculative Decoding genannt und ist ein beliebter Trick, um KI-Chatbots schneller sprechen zu lassen, ohne sie weniger intelligent zu machen.
Jahrelang gingen alle davon aus, dass dieses System sicher sei, solange die KI nichts Gemeines oder Seltsames sagte. Die Idee war, dass die Geschwindigkeitssteigerung nur ein mathematisches Problem sei: Wenn die beiden Köche übereinstimmen, geht es schnell; wenn sie uneinig sind, geht es langsam. Aber was wäre, wenn jemand das System dazu bringen könnte, immer uneinig zu sein – nicht indem man die KI bricht, sondern indem man einen winzigen, geheimen Code in die Bestellung des Kunden flüstert? Dies ist die Frage, die ein Team von Forschern der Clemson University und anderen beantworten wollte. Sie wollten wissen, ob ein geschickt formulierter Satz den schnellen KI-Service dazu zwingen könnte, zu einem Schneckentempo abzusinken, was den Service teuer und frustrierend macht, während die endgültige Antwort immer noch vollkommen normal aussieht.
Die Forscher entdeckten, dass dies tatsächlich möglich ist. Sie entwickelten eine neue Art von Angriff namens ADSD (Adversarial Prompts for Acceptance Collapse). Man kann sich das wie einen „Glitch in der Matrix“ für den Arbeitsablauf des Restaurants vorstellen. Der Angreifer verändert weder die Köche noch die Küche; er fügt einfach ein paar unsichtbare, spezielle Wörter am Ende einer normalen Anfrage hinzu. Diese Wörter wirken wie ein Zauberspruch, der den schnellen Sous-Chef unglaublich übermütig, aber beständig falsch werden lässt. Der Sous-Chef beginnt mit voller Überzeugung Vermutungen wie „bizarre“ oder „XX“ herauszuschreien, aber der Chefkoch weiß, dass diese falsch sind, und lehnt sie sofort ab.
Weil der Chefkoch die Vermutungen so oft ablehnt, bleibt das System in einer Schleife stecken, in der Arbeit weggeworfen und immer wieder neu begonnen wird. In ihren Tests verwandelte dieser winzige Trick eine schnelle Antwort in eine langsame. Bei einem Datensatz für mathematische Probleme namens GSM8K sprang die durchschnittliche Zeit bis zum Erhalt einer Antwort von 26,05 Sekunden auf 42,29 Sekunden – ein Rückgang der Geschwindigkeit um 62,3 %. Das ist so, als würde eine 10-minütige Fahrt plötzlich 16 Minuten dauern, nur wegen eines seltsamen Verkehrssignals. Was noch beeindruckender (und erschreckender) ist: Die Forscher fanden heraus, dass die endgültige Antwort, die der Kunde erhielt, immer noch fast so gut war wie zuvor. Die mathematischen Probleme wurden immer noch korrekt gelöst und die Geschichten ergaben immer noch Sinn. Der Angriff hat nicht das Gehirn der KI beschädigt; er hat nur ihre Geschwindigkeit gebrochen.
Das Team zeigte, dass dieser Trick auch dann funktioniert, wenn das Restaurant versucht, andere, fortschrittlichere Kochmethoden anzuwenden. Ob sie nun ein standardmäßiges „Ein-nach-dem-anderen“-Prüfungssystem oder ein schickes „Block-für-Block“-System verwendeten: Der Angriff verlangsamte das Ganze immer um etwa den gleichen Betrag. Sie testeten es sogar auf verschiedenen Arten von KI-Modellen, von der Qwen-Familie bis zur LLaMA-Familie, und die Verlangsamung trat jedes Mal auf. In einem extremen Fall unter Verwendung einer spezifischen Architektur namens EAGLE-3 sank die Geschwindigkeit massiv um 76,9 %.
Die Forscher testeten auch, ob dieser „Zauberspruch“ auch bei Aufgaben funktionieren kann, für die er nicht speziell trainiert wurde. Sie nahmen einen Zauberspruch, der darauf ausgelegt war, mathematische Probleme zu verlangsamen, und wandten ihn auf Programmieraufgaben und Nachrichten-Zusammenfassungen an. Es funktionierte! Bei Programmieraufgaben vervielfachte sich die Zeit für die Generierung von Code mehr als (141,8 % Steigerung) und der Code machte mehr Fehler. Bei Nachrichten-Zusammenfassungen verlangsamte es den Prozess um 30,4 %. Dies deutet darauf hin, dass die Schwachstelle kein Zufall eines spezifischen mathematischen Tests ist, sondern eine grundlegende Schwäche in der Art und Weise, wie diese schnellen KI-Systeme ihre eigene Arbeit überprüfen.
Das Paper kommt zu dem Schluss, dass die endgültigen Antworten der KI zwar noch perfekt aussehen mögen, der „Preis“ für das Erhalten dieser Antworten jedoch gekapert wurde. Der Angriff ist heimlich, da er die üblichen Alarme, die nach schlechten Wörtern oder seltsamen Ausgaben suchen, nicht auslöst. Es ist ein „Denial of Wallet“-Angriff, bei dem der Angreifer nicht Daten stiehlt, sondern den Serviceanbieter dazu zwingt, teure Rechenleistung zu verbrennen, nur um eine normale Antwort zu liefern. Die Autoren schlagen vor, dass es nicht ausreicht, einfach nur den Input oder den finalen Output zu prüfen; wir müssen den Prozess selbst beobachten. Wenn das System bemerkt, dass die „Raten-und-Prüfen“-Schleife viel zu oft fehlschlägt, muss es vielleicht aufhören zu raten und statzdessen langsam kochen, um Geld zu sparen. Für den Moment dient diese Entdeckung als Warnung: Nur weil eine KI schnell und präzise ist, bedeutet das nicht, dass sie nicht durch ein paar geschickte Wörter verlangsamt werden kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.