JULI: Jailbreak Large Language Models by Self-Introspection

Die Arbeit stellt JULI vor, eine neue Angriffsmethode, die große Sprachmodelle im Black-Box-Setting allein durch die Manipulation der Token-Wahrscheinlichkeiten unter Verwendung eines kleinen Plug-ins namens BiasNet umgeht, ohne Zugriff auf die Modellgewichte zu benötigen.

Das Wesentliche

🕵️‍♂️ JULI: Der Trick, um KI-Sicherheitswächter zu überlisten

Stell dir vor, ein Großes Sprachmodell (LLM) wie ChatGPT oder Gemini ist wie ein hochintelligenter Bibliothekar. Dieser Bibliothekar wurde von seinen Chefs (den Entwicklern) streng angewiesen: „Du darfst niemals Bücher über Bombenbau, Betrug oder illegale Dinge ausleihen!" Er hat also einen unsichtbaren Sicherheitsgurt angelegt, der ihn daran hindert, gefährliche Dinge zu sagen.

Bisher versuchten Hacker, diesen Bibliothekar zu täuschen, indem sie:

1. Seine Gehirnstruktur (die Gewichte) direkt manipulierten (wie einen Einbruch in den Serverraum).
2. Ihn mit schwierigen Rätseln verwirrten, bis er vergaß, was verboten ist.
3. Ihn umprogrammierten, indem sie ihn mit neuen, bösen Daten trainierten.

Das Problem: Bei den modernen, kostenpflichtigen Modellen (die man nur über eine Webseite oder App nutzt) kann man nicht in den Serverraum gehen und das Gehirn nicht direkt anfassen. Man hat nur einen kleinen Briefkasten (die API), durch den man Fragen schickt und Antworten empfängt.

🧠 Die neue Entdeckung: JULI (JAILBREAKING USING LLM INTROSPECTION)

Die Forscher von JULI haben einen cleveren neuen Weg gefunden. Sie sagen: „Wir müssen den Bibliothekar nicht umprogrammieren. Wir müssen nur genau hinhören, was er gerade denkt, bevor er spricht."

Die Metapher: Der Zettel mit den Gedanken

Stell dir vor, der Bibliothekar muss eine Antwort aufschreiben. Bevor er das Wort „Bomben" wirklich aufschreibt, schwebt es für einen winzigen Moment in seinem Kopf herum. In der Welt der KI nennt man das Wahrscheinlichkeiten.

Normalerweise sieht der Bibliothekar so aus:

• Gedanke: „Bomben bauen?"
• Reaktion: „Oh nein, das ist verboten!" (Er wählt das Wort „Entschuldigung" mit 99 % Wahrscheinlichkeit).

Aber JULI schaut sich an, welche Wörter der Bibliothekar eigentlich in Betracht zieht, bevor er sich entscheidet. Und hier kommt das Überraschungsmoment: Selbst wenn der Bibliothekar „Entschuldigung" sagt, denkt er immer noch an „Bomben". Die Idee des Bombenbaus ist in seinem Kopf noch da, nur unterdrückt.

Der Trick: Der kleine „BiasNet"-Schalter

Die Forscher haben einen winzigen, unsichtbaren Schalter (einen kleinen Plug-in-Block namens BiasNet) erfunden. Dieser Schalter ist so klein, dass er kaum Platz wegnimmt (weniger als 1 % der Größe des Gehirns).

So funktioniert JULI Schritt für Schritt:

1. Die Frage: Du stellst eine böse Frage (z. B. „Wie baue ich eine Bombe?").
2. Der Blick ins Gehirn: Der Bibliothekar beginnt zu antworten. JULI schaut sich an, welche Wörter er fast gewählt hätte (die Top-5-Wahrscheinlichkeiten).
3. Der Eingriff: JULI nutzt seinen kleinen Schalter, um die Wahrscheinlichkeiten ganz leicht zu verzerren. Er sagt quasi: „Hey, das Wort 'Entschuldigung' ist heute nicht so wichtig. Das Wort 'Hier ist...' ist viel wichtiger!"
4. Das Ergebnis: Der Bibliothekar wählt das Wort „Hier ist..." und beginnt, die gefährliche Antwort zu schreiben, weil JULI ihm den Weg geebnet hat.

🎯 Warum ist das so gefährlich?

Das Papier zeigt zwei erschreckende Dinge:

1. Das Wissen ist da: Selbst wenn die KI „Nein" sagt, weiß sie immer noch, wie man eine Bombe baut. Das Wissen wurde nicht gelöscht, nur „gesperrt". JULI findet den Schlüssel, um die Tür einen Spaltbreit zu öffnen.
2. Es funktioniert auch bei geschützten Modellen: Bisher dachte man, man könne die teuren, geschützten Modelle (wie Gemini Pro) nicht hacken, wenn man keinen Zugriff auf den Quellcode hat. JULI beweist das Gegenteil. Es funktioniert nur mit den Informationen, die die KI ohnehin zurückgibt (die Top-Wahrscheinlichkeiten).

📊 Das Ergebnis im echten Leben

Die Forscher haben JULI gegen die neuesten und sichersten Modelle getestet (wie Gemini 2.5 Pro).

• Ergebnis: JULI war viel besser als alle bisherigen Methoden.
• Der Score: Auf einer Skala von 1 bis 5 (wobei 5 bedeutet: „Die KI gibt eine perfekte Anleitung für eine Bombe") bekam JULI einen Score von 4,19.
• Vergleich: Andere Methoden schafften oft nur 1 oder 2, weil die KI einfach „Nein" sagte oder Unsinn produzierte.

💡 Die große Lehre

Die Botschaft dieser Forschung ist wie eine Warnung an die Sicherheitsbehörden:

„Man kann einen Menschen nicht daran hindern, zu wissen, wie man ein Schloss knackt, nur indem man ihm sagt: 'Tu es nicht!' Wenn er das Schloss knacken will, wird er einen Weg finden. Wir müssen die KI nicht nur 'erziehen', sondern ihr Wissen fundamental sicherer machen."

Zusammenfassend: JULI ist wie ein Meisterdieb, der nicht die Tür aufbricht, sondern den Hausmeister (die KI) dazu bringt, die Tür von innen zu öffnen, indem er ihm genau sagt, welche Handbewegung er machen soll, basierend auf dem, was der Hausmeister gerade denkt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „JULI: Jailbreak Large Language Models by Self-Introspection" auf Deutsch:

Titel: JULI: Jailbreak Large Language Models by Self-Introspection

Veröffentlicht bei: ICLR 2026
Autoren: Jesson Wang, Zhanhao Hu, David Wagner

---

1. Problemstellung

Große Sprachmodelle (LLMs) werden durch Sicherheitsausrichtung (Safety Alignment) trainiert, um die Generierung schädlicher Inhalte zu verhindern. Bestehende Angriffe (Jailbreaks) auf diese Modelle weisen jedoch erhebliche Einschränkungen auf:

• Zugriffsvoraussetzungen: Viele State-of-the-Art-Methoden (z. B. GCG, Shadow Alignment) erfordern den Zugriff auf die Modellgewichte oder sogar auf die ungesicherten Vorgängermodelle, was bei proprietären Modellen (API-Zugriff) unmöglich ist.
• Effizienz und Qualität: Angriffe, die nur über die API funktionieren (z. B. LINT), leiden oft unter geringer Inference-Effizienz, schlechter Antwortqualität oder benötigen Zugriff auf eine zu große Anzahl von Top-Tokens (z. B. Top-500), die aktuelle APIs oft nicht bereitstellen (meist nur Top-5 oder Top-20).
• Risiko: Es besteht eine Lücke im Verständnis der tatsächlichen Sicherheitsrisiken proprietärer Modelle, da erfolgreiche Angriffe unter realistischen API-Bedingungen schwer zu demonstrieren sind.

2. Methodik: JULI (Jailbreaking Using LLM Introspection)

Das Kernkonzept von JULI basiert auf der Erkenntnis, dass selbst sicherheitsausgerichtete Modelle das Wissen über schädliche Antworten in ihrer Wahrscheinlichkeitsverteilung (Log-Probabilities) der Tokens enthalten, auch wenn sie diese verbal ablehnen.

Der Angriffsmechanismus:

1. Introspektion: JULI nutzt die Log-Probabilities der Tokens, die vom Ziel-LLM generiert werden. Die Autoren zeigen, dass bei schädlichen Anfragen oft mehr als 85 % der Tokens einer korrekten schädlichen Antwort in den Top-5 Tokens des Modells enthalten sind.
2. BiasNet (Plug-in-Block): Ein extrem kleiner, trainierbarer Block (weniger als 1 % der Parameter des Zielmodells) wird eingefügt.
   • Funktion: BiasNet nimmt die Log-Probabilities des Zielmodells als Eingabe und berechnet eine Korrektur (Logit-Bias).
   • Ziel: Diese Bias verschiebt die Wahrscheinlichkeitsverteilung so, dass das Modell von einer ablehnenden Antwort („Sorry, I can't...") zu einer bestätigenden, schädlichen Antwort („Sure, here is...") gelenkt wird.
3. Anpassung an API-Bedingungen (Black-Box):
   • Da API-Nutzer keine Gewichte sehen, wird eine zufällig initialisierte Projektionsschicht verwendet, die durch eine datenfreie Optimierung (Orthogonalisierung der Vektoren) angepasst wird.
   • Da APIs oft nur Top-k Log-Probabilities zurückgeben, wird ein Padding-Mechanismus angewendet: Alle Tokens außerhalb der Top-k erhalten einen Log-Probability-Wert, der dem k-ten Token minus einem festen Offset entspricht. Dies ermöglicht es BiasNet, auch mit unvollständigen Daten zu arbeiten.

Trainingsprozess:
BiasNet wird mit nur 100 schädlichen Datenpunkten (aus dem LLM-LAT-Datensatz) über 15 Epochen trainiert. Es lernt nicht das schädliche Wissen selbst, sondern fungiert als „Selektor", der kritische Tokens im Output des Zielmodells identifiziert und deren Wahrscheinlichkeiten manipuliert.

3. Wichtige Beiträge

• Neue Angriffsvektoren: Demonstration, dass proprietäre Modelle über API-Schnittstellen (nur Top-5 Log-Probabilities) erfolgreich angegriffen werden können, ohne Zugriff auf Modellgewichte oder ungesicherte Versionen.
• Effizienz: JULI ist deutlich effizienter als bestehende Methoden (z. B. LINT), da es keine iterative Neu-Generierung ganzer Sätze erfordert, sondern die Wahrscheinlichkeiten direkt steuert.
• Skalierbarkeit: Der Ansatz funktioniert sowohl im White-Box-Setting (Open-Source-Modelle) als auch im Black-Box-Setting (Proprietäre APIs).
• Neue Metrik: Einführung des „Harmful Info Score", der die Informativität und Qualität der schädlichen Antwort bewertet, anstatt nur die bloße Ablehnung oder sinnlosen Text zu messen.

4. Ergebnisse

Die Autoren evaluieren JULI auf Open-Weight-Modellen (Llama 2/3, Qwen) und proprietären Modellen (Gemini-2.5-Flash, Gemini-2.5-Pro).

• Performance auf API-Modellen:
  • Gegenüber Gemini-2.5-Pro erreichte JULI einen schädlichen Score (GPT-evaluiert) von 4,19 von 5.
  • Dies übertrifft den bisherigen State-of-the-Art (z. B. FLIP mit 1,38) signifikant.
  • Selbst mit der Einschränkung auf Top-5 Log-Probabilities bleibt die Performance hoch (Score ~3,12 auf Llama3-8B), was die Robustheit des Ansatzes beweist.
• Vergleich mit Baselines:
  • JULI übertrifft Methoden wie GCG, ED (Emulated Disalignment), WTS (Weak-to-Strong) und LINT in fast allen Metriken (Harmful Score, Harmful Info Score, BERT Score).
  • Im Gegensatz zu ED benötigt JULI keinen Zugriff auf ein ungesichertes Basis-Modell.
• Robustheit gegen Verteidigung:
  • JULI war erfolgreich gegen Modelle mit fortschrittlichen Verteidigungsmechanismen, wie dem „Circuit Breaker" in Llama3-8B-CB, wo andere Methoden (GCG, LINT) weitgehend neutralisiert wurden.
• Transferfähigkeit: Ein auf einem Modell trainiertes BiasNet lässt sich erfolgreich auf andere Modelle derselben Serie (z. B. von Llama3-3B auf Llama3-8B) übertragen.

5. Bedeutung und Fazit

Die Arbeit JULI enthüllt eine fundamentale Schwachstelle in der aktuellen Sicherheitsausrichtung von LLMs:

• Wissensleckage: Sicherheitsausrichtung verhindert oft nur die Ausgabe schädlicher Inhalte, nicht aber deren Existenz in der internen Wahrscheinlichkeitsverteilung. JULI nutzt diese „Introspektion", um das Wissen wiederzugewinnen.
• Gefahr für proprietäre Modelle: Da die Methode nur API-Zugriff und Top-k Log-Probabilities benötigt, sind auch kommerzielle, geschützte Modelle (wie Gemini) anfällig.
• Notwendigkeit neuer Sicherheitsmaßnahmen: Die Ergebnisse deuten darauf hin, dass aktuelle Alignment-Methoden (wie RLHF) unzureichend sind, da sie die zugrundeliegende Wahrscheinlichkeitsverteilung nicht ausreichend „reinigen". Es werden grundlegend robustere Sicherheitsmechanismen gefordert, die verhindern, dass schädliches Wissen in den Top-Tokens überhaupt präsent ist.

Zusammenfassend zeigt JULI, dass die Sicherheit von LLMs durch eine kleine, effiziente Manipulation der Token-Wahrscheinlichkeiten umgangen werden kann, was eine ernste Bedrohung für den sicheren Einsatz von KI in der realen Welt darstellt.