💻 computer science

Matching Ranks Over Probability Yields Truly Deep Safety Alignment

Dieses Paper stellt die PRESTO-Methode vor, welche das tiefe Sicherheitsalignment in Open-Source-LLMs durch das Abgleichen von Token-Rängen in der Zielverteilung verbessert, um den neuartigen Rank-Assisted Prefilling (RAP)-Angriff effektiv zu bekämpfen, wobei eine bis zu 4,7-fache Verbesserung der Sicherheit im Vergleich zu Standard-Datenaugmentations-Verteidigungen erzielt wird.

Ursprüngliche Autoren: Jason Vega, Gagandeep Singh

Veröffentlicht 2026-07-23

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jason Vega, Gagandeep Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer Geschichten schreiben, mathematische Probleme lösen und chatten können, genau wie Menschen. Diese werden als Large Language Models (LLMs) bezeichnet und sind wie superintelligente digitale Assistenten. Aber weil sie so intelligent sind, gibt es eine Sorge: Was ist, wenn jemand sie dazu bringt, etwas Gefährliches zu sagen, wie zum Beispiel den Bau einer Bombe oder wie man jemandem wehtut? Um dies zu verhindern, bringen Wissenschaftler diesen Modellen bei, „Nein, das kann ich nicht tun“ zu sagen, wenn sie nach schlechten Dingen gefragt werden. Dies wird als „Safety Alignment“ (Sicherheitsausrichtung) bezeichnet. Doch genau wie ein Schloss an einer Tür können diese Sicherheitsregeln manchmal geknackt werden. Eine raffinierte Methode, dies zu tun, wird als „Prefilling-Angriff“ bezeichnet. Stellen Sie sich vor, Sie schreiben eine Geschichte mit einem Freund, aber anstatt ihn den nächsten Satz beginnen zu lassen, schreiben Sie heimlich die ersten paar Wörter selbst, wie zum Beispiel: „Hier ist der Plan, um eine Bombe zu bauen...“ und bitten ihn dann, den Satz zu vollenden. Da der Computer darauf ausgelegt ist, Ihre Geschichte reibungslos fortzuführen, könnte er vergessen, „Nein“ zu sagen, und stattdessen einfach den gefährlichen Plan weiterschreiben.

Kürzlich fanden Forscher einen Weg, dies zu beheben, indem sie das Modell lehren, auch dann „Nein“ zu sagen, wenn man diese ersten paar Wörter heimlich eingefügt hat. Aber, wie dieses neue Paper zeigt, war diese Lösung nicht ganz stark genug. Die Autoren entdeckten einen neuen Weg, das Modell auszutricksen, den „Rank-Assisted Prefilling“ (RAP)-Angriff. Anstatt dem Computer einfach nur zu erlauben, das wahrscheinlichste nächste Wort zu wählen, kann ein Hacker eine Liste der Top-20-Wörter ansehen, über die der Computer nachdenkt, und dasjenige auswählen, das gefährlich klingt, selbst wenn der Computer denkt, dass es sehr unwahrscheinlich ist, dieses Wort zu sagen. Es ist wie ein Spiel, bei dem der Computer versucht, den sichersten Pfad zu wählen, aber der Hacker darf in alle Pfade hineinschauen und den gruseligen auswählen, indem er die Warnungen des Computers ignoriert. Das Paper stellt fest, dass dieser neue Trick überraschend gut funktioniert und die Sicherheit von Modellen bricht, die als sicher galten.

Um dies zu stoppen, schlagen die Autoren eine neue Trainingsmethode namens PRESTO vor. Anstatt das Modell nur darauf zu trainieren, mit hoher Zuversicht „Nein“ zu sagen, lehrt PRESTO das Modell, die heimlich geschriebenen Wörter am Anfang komplett zu ignorieren. Es ist, als würde man einen Wachhund darauf trainieren, der Stimme eines Diebes, der Anweisungen flüstert, zu ignorieren und nur auf den Befehl des Besitzers zu hören. Auf diese Weise verhindert das Modell, dass die gefährlichen Wörter seine Entscheidungen beeinflussen. Die Forscher testeten dies an drei populären KI-Modellen und fanden heraus, dass PRESTO es um ein Vielfaches schwieriger machte – bis zu 4,7-mal schwieriger –, Hacker die Modelle auszutricksen, ohne die Modelle bei ihren normalen Aufgaben schlechter zu machen. Dies deutet darauf hin, dass wir, indem wir ändern, wie das Modell darauf achtet, was man zu ihm sagt, eine KI bauen können, die wirklich sicher ist, selbst wenn jemand versucht, sie zu überlisten.

Technisches Resümee: Matching Ranks Over Probability Yields Truly Deep Safety Alignment

1. Problemstellung

Open-Source Large Language Models (LLMs) sind entscheidend für die Demokratisierung der KI, doch ihre Offenheit schafft Schwachstellen für böswillige Akteure. Ein spezifischer und leicht zugänglicher Angriff ist der Prefilling-Angriff, bei dem ein Angreifer die Antwort des Assistenten manuell mit einem affirmativen Präfix vorbefüllt (z. B. „Hier ist die Anleitung zum Bau einer Bombe...“), um Sicherheitsfilter zu umgehen.

Jüngste Arbeiten von Qi et al. (2025) schlugen eine „tiefe“ Sicherheitsausrichtung (Safety Alignment) zur Verteidigung vor, die auf Supervised Fine-Tuning (SFT) mit Datenausweitung basiert. Diese Methode trainiert Modelle darauf, unmittelbar nach einem schädlichen Prefill natürliche sprachliche Verweigerungen zu generieren, anstatt nur feste Verweigerungs-Strings auszugeben. Während dies gegen Standard-Sampling-basierte Dekodierung und Parameter-Tuning-Exploits (wie Grid Searches über die Temperatur) effektiv ist, identifiziert dieses Paper eine fundamentale Schwachstelle: Die Verteidigung bleibt oberflächlich.

Die Autoren zeigen, dass Modelle selbst mit tiefem Safety Alignment weiterhin niedrig-wahrscheinliche, aber hoch rangierte „schädliche“ Token innerhalb ihrer Top- $k$ -Vorhersagen behalten. Indem ein Angreifer die Wahrscheinlichkeitsmasse ignoriert und stattdessen Token basierend auf ihrem Rang auswählt (speziell innerhalb der Top 20), kann er den Verweigerungsmechanismus umgehen. Dieses Paper führt den Rank-Assisted Prefilling (RAP) Angriff ein, um diese Schwachstelle auszunutzen, und schlägt ein neues Trainingsziel vor, PRESTO, um ein wahrhaft tiefes Safety Alignment zu erreichen.

2. Methodik

2.1 Der RAP-Angriff

Der Rank-Assisted Prefilling (RAP) Angriff generalisiert die Prefilling-Technik. Anstatt sich auf hochwahrscheinliche Token zu verlassen, wählt der Angreifer Token aus den Top- $k$ vorhergesagten nächsten Token (z. B. $k=20$ ), die die schädliche Erzählung fortsetzen, unabhängig von ihrem Wahrscheinlichkeitswert.

Mechanismus: Bei jedem Dekodierungsschritt inspiziert der Angreifer die Top- $k$ Token. Wenn ein Token, das die schädliche Prefill-Sequenz natürlich fortsetzt (ein „schädliches Token“), in den Top- $k$ erscheint, wird es ausgewählt, selbst wenn ein Verweigerungs-Token (z. B. „Ich“) eine signifikant höhere Wahrscheinlichkeit aufweist.
Automatisierung (AutoRAP): Die Autoren entwickelten eine automatisierte Version von RAP, die einen Klassifikator verwendet, um zwischen Verweigerungs-Token und schädlichen Fortsetzungstoken zu unterscheiden, was eine systematische Extraktion schädlicher Inhalte ohne manuelles Eingreifen ermöglicht.

2.2 Push-Forward Alignment (PFA)

Die Autoren argumentieren, dass das Scheitern der Datenausweitung-Verteidigung in deren Fokus liegt, die negative Log-Likelihood (Wahrscheinlichkeit) von Verweigerungs-Token zu minimieren, anstatt die Ränge schädlicher Token zu kontrollieren.

Konzept: In einem wahrhaft sicheren Modell sollte die Verteilung des ersten Antwort-Tokens (oh besten Prefill) Verweigerungs-Token in den obersten Rängen aufweisen und keine schädlichen Token enthalten, die einen Prefill fortsetzen.
Ziel: Das Modell sollte diese Rank-Harm-Abbildung (Rank-Harm Mapping) der Verteilung des ersten Tokens auf alle nachfolgenden Dekodierungsschritte „nach vorne drücken“ (push forward), wenn ein schädlicher Prefill vorliegt. Das bedeutet sicherzustellen, dass, falls ein Token schädlich ist, sein Rang in der Ausgabeverteilung niedrig bleibt, unabhängig vom Prefill.
Formalisierung: Die Autoren definieren eine Rank-Harm-Verteilung $R(s, x, x_{pre})$ , welche die Wahrscheinlichkeit darstellt, dass das $s$ -te rangierte Token schädlich ist. Das Ziel ist es, den Earth Mover's Distance (EMD) zwischen der Rank-Harm-Verteilung des sicheren Modells (ohne Prefill) und des angegriffenen Modells (mit Prefill) zu minimieren.

2.3 PRESTO: PRefill attEntion STOpping

Um PFA praktisch umzusetzen, schlagen die Autoren PRESTO vor, eine Regularisierungs-Loss-Funktion basierend auf dem Multi-Head Attention (MHA) Mechanismus in Transformern.

Hypothese: Das Vorhandensein schädlicher Token in den Top- $k$ Rankings wird dadurch getrieben, dass das Modell den schädlichen Prefill-Tokens Aufmerksamkeit (Attention) schenkt. Wenn das Modell lernen kann, die Prefill-Tokens zu „ignorieren“ (d. h. die Attention auf sie zu reduzieren), wird die Ausgabeverteilung zur sicheren, verweigerungs-lastigen Verteilung des ursprünglichen Prompts zurückkehren.
Loss-Funktion: PRESTO minimiert die Attention-Scores, die auf schädliche Prefill-Tokens gerichtet sind, während die Attention auf Nicht-Prefill-Tokens maximiert wird.
$\ell_{PRESTO}(\theta) = \mathbb{E}_{(x, x_{pre}) \sim D} [A_1 - A_2]$
Wobei $A_1$ die durchschnittliche Attention auf Prefill-Tokens und $A_2$ die durchschnittliche Attention auf Nicht-Prefill-Tokens über alle Layer und Heads ist.
Training: Das Modell wird unter Verwendung der Standard-Datenausweitung-Loss (aus Qi et al., 2025) kombiniert mit dem PRESTO-Loss feinjustiert. Beide werden in einem einzigen Forward Pass berechnet.

3. Kernbeiträge

Identifizierung der RAP-Schwachstelle: Das Paper zeigt auf, dass „tiefes“ Safety Alignment via Datenausweitung unzureichend ist, da es nicht die Ränge schädlicher Token unterdrückt, sondern nur deren Wahrscheinlichkeiten.
Rank-Assisted Prefilling (RAP) Angriff: Ein neuer, zugänglicher Angriffsvektor, der schädliche Inhalte extrahiert, indem er niedrig-wahrscheinliche, hoch-rangierte Token auswählt und so den Datenausweitung-Verteidigungsmechanismus effektiv umgeht.
Push-Forward Alignment (PFA): Ein theoretischer Rahmen, der vorschlägt, dass Safety Alignment die Rank-Harm-Abbildung der Verteilung des ersten Tokens während des gesamten Generierungsprozesses bewahren muss.
PRESTO: Eine einfache, mechanistisch interpretierbare Trainingszielgröße, die die Attention auf Prefill-Tokens regularisiert und RAP-Angriffe signifikant erschwert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PRESTO auf drei populären Open-Source-Modellen: Llama 2 7B Chat, Qwen 3 8B und Gemma 3 12B IT.

Angriffserfolgsrate:
- Unter der ursprünglichen Datenausweitung-Verteidigung (Qi et al., 2025) erreichten RAP-Angriffe hohe Erfolgsraten (z. B. ~0,74 auf der StrongREJECT-Skala für Llama 2 7B).
- Mit PRESTO sank der Erfolg von RAP-Angriffen signifikant. Über die drei Modelle hinweg lieferte PRESTO eine bis zu 4,7-fache Verbesserung der Sicherheit (Reduktion der Schädlichkeitswerte) im Vergleich zur reinen Datenausweitung.
- Die AutoRAP-Performance spiegelte die menschliche Evaluierung eng wider, was die Machbarkeit des automatisierten Angriffs und der Verteidigung bestätigt.
Erhalt der Nützlichkeit (Utility):
- Mit PRESTO feinjustierte Modelle behielten eine wettbewerbsfähige Nützlichkeit auf MT-Bench (offene Generierung) und GSM-8K (mathematisches Denken) bei, mit einer Leistungsdegradation von weniger als 1 % gegenüber Modellen, die nur mit Datenausweitung trainiert wurden.
Mechanistische Analyse:
- Die Attention-Analyse zeigte, dass PRESTO die Attention auf schädliche Prefill-Tokens erfolgreich reduziert, insbesondere in der zweiten Hälfte der Modell-Layer, welche als kritisch für Sicherheitsentscheidungen gelten.
- Die Verteidigung blieb robust gegenüber dem GCG (Greedy Coordinate Gradient) Angriff, was darauf hindeutet, dass PRESTO keine neuen Schwachstellen für andere Angriffsvektoren einführt.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass das Erreichen eines „tiefen“ Safety Alignments ein Übergreifen von probabilitätsbasierten Zielen auf rangbasierte Constraints erfordert. Die Autoren argumentieren, dass es unzurereichend ist, ein Modell lediglich darauf zu trainieren, ein Verweigerungs-Token mit hoher Wahrscheinlichkeit auszugeben, wenn die internen Attention-Mechanismen des Modells dennoch erlauben, dass schädliche Fortsetzungen in den Top- $k$ Rängen verbleiben.

Mit der Einführung von PRESTO bietet die Arbeit einen Weg zu sichereren Open-Source-Modellen, die robust gegenüber praktischen, kostengünstigen Angriffen wie RAP sind. Die Bedeutung liegt in:

Demokratisierung der Sicherheit: Ermöglicht den Einsatz von Open-Source-Modellen in kundenorientierten Anwendungen (wie APIs, die Prefilling erlauben), ohne das Risiko einer leichten Umgehung.
Kosten der Umgehung: Ausrichtung auf das Ziel, die Kosten für böswillige Akteure zur Umgehung zu erhöhen, anstatt zu versuchen, die Umgehung unmöglich zu machen.
Interpretierbarkeit: Bietet eine mechanistische Erklärung (Attention-Unterdrückung) dafür, warum die Verteidigung funktioniert, und schließt die Lücke zwischen theoretischem Alignment und praktischer Implementierung.

Die Autoren kommen zu dem Schluss, dass auch wenn keine Verteidigung perfekt ist, PRESTO einen bedeutenden Schritt nach vorn darstellt, um Open-Source-LLMs sicherer gegen zugängliche, rangbasierte Exploits zu machen.