💬 NLP

GLiGuard: Schema-Conditioned Classification for LLM Safeguard

GLiGuard ist ein kompakter, bidirektionaler Encoder mit 0,3 Milliarden Parametern, der durch die direkte Kodierung von Aufgabendefinitionen und Label-Semantik in den Eingabedaten für eine simultane Mehraspekt-Evaluierung eine wettbewerbsfähige Genauigkeit bei der Sicherheitsklassifizierung bei deutlich geringerer Latenz und höherem Durchsatz als große autoregressive Guard-Modelle erreicht.

Ursprüngliche Autoren: Urchade Zaratiana, Mary Newhauser, George Hurn-Maloney, Ash Lewis

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Urchade Zaratiana, Mary Newhauser, George Hurn-Maloney, Ash Lewis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einen sehr intelligenten, sehr redseligen Roboter (ein Large Language Model) einstellen, um Geschichten zu schreiben, Fragen zu beantworten oder bei Code zu helfen. Doch Sie sind besorgt, dass er versehentlich etwas Gemeines, Illegales oder Gefährliches sagen könnte.

Traditionell halten Unternehmen diesen Roboter mit einem „Sicherheitsbeamten" in Schach, der ebenfalls ein riesiger, superkomplexer Roboter ist. Diese Wächter sind wie 27-stöckige Wolkenkratzer (7 Milliarden bis 27 Milliarden Parameter). Um zu prüfen, ob eine Nachricht sicher ist, muss der Wächter die Nachricht lesen, darüber nachdenken und dann sein Urteil wortweise aussprechen – wie ein langsamer, vorsichtiger Bibliothekar, der ein Buch Seite für Seite überprüft. Es ist genau, aber es ist schwerfällig, langsam und teuer im Betrieb.

GLiGuard ist die neue Lösung des Papers. Es ist ein winziger, wendiger Sicherheitsbeamter (nur 0,3 Milliarden Parameter), der völlig anders funktioniert.

So funktioniert GLiGuard, einfach erklärt mit Analogien:

1. Die „Speisekarte" statt des „Skripts"

Die meisten Sicherheitsbeamten sind darauf trainiert, nur nach Bestimmtem zu suchen. Wenn Sie möchten, dass sie nach „Gewalt" und „Hassrede" und „Jailbreaks" suchen, müssen Sie sie normalerweise neu trainieren oder mehrfach ausführen.

GLiGuard ist anders. Er kommt mit einer dynamischen Speisekarte (einem „Schema").

Der alte Weg: Sie haben einen Wächter, der nur weiß, wie man nach „Feuer" sucht. Wenn Sie später nach „Überschwemmungen" suchen wollen, müssen Sie den Wächter feuern und einen neuen einstellen.
Der GLiGuard-Weg: Sie geben dem Wächter ein Blatt Papier (das Schema), auf dem genau steht, was Sie gerade jetzt prüfen wollen. Sie können schreiben: „Prüfe auf Feuer, Überschwemmungen und Erdbeben." Der Wächter liest diese Liste, versteht die Definitionen dieser Wörter und prüft gleichzeitig nach allen.

2. Das „Gruppenfoto" vs. die „Reihe"

Der alte Weg (Autoregressiv): Stellen Sie sich einen Sicherheitsbeamten vor, der in einer einzigen Schlange stehen muss. Er betrachtet das erste Wort, dann das zweite, dann das dritte und trifft dabei eine Entscheidung. Ist die Nachricht lang, wird die Schlange lang, und die Wartezeit wird enorm.
Der GLiGuard-Weg (Bidirektional): Stellen Sie sich vor, der Wächter macht ein Gruppenfoto der gesamten Nachricht und der Sicherheitsregeln auf einmal. Da er Anfang, Mitte und Ende des Satzes gleichzeitig sehen kann, versteht er den Kontext sofort. Er muss nicht auf das nächste Wort warten; er sieht das ganze Bild in einem Blitz.

3. Die Effizienz des „Schweizer Taschenmessers"

Das Paper behauptet, dass GLiGuard zwar 23- bis 90-mal kleiner ist als die riesigen Wolkenkratzer-Wächter, aber genauso gut darin ist, schädliche Inhalte zu erkennen.

Geschwindigkeit: Da er seine Antwort nicht wortweise „aussprechen" muss, ist er 16-mal schneller (höherer Durchsatz) und hat eine 17-mal geringere Latenz (schnellere Reaktionszeit).
Vielseitigkeit: Er kann 14 verschiedene Arten von Schaden (wie Gewalt, Datenschutzverletzungen oder Hassrede) und 11 verschiedene Arten von „Jailbreak"-Tricks (Wege, wie Menschen versuchen, die KI zu täuschen) in einem einzigen Durchgang prüfen.

4. Die „harten Regeln"

GLiGuard rät nicht einfach; er folgt einem strengen Logikfluss:

Er liest Ihre Nachricht und die „Speisekarte" der Sicherheitsregeln.
Er prüft: „Ist dieser Prompt sicher?" „Ist die Antwort sicher?" „Hat der Benutzer versucht, das System zu täuschen?" „Gibt es Hassrede?"
Er kombiniert diese Antworten. Wenn eine der spezifischen Prüfungen (wie „Jailbreak erkannt") rot aufleuchtet, wird die gesamte Nachricht sofort blockiert, unabhängig davon, was die allgemeine Sicherheitsprüfung sagte.

Das Fazit

Das Paper argumentiert, dass Sie keinen massiven, langsamen, teuren „Superhirn"-Roboter als Sicherheitsfilter benötigen. Sie können ein kompaktes, intelligentes und flexibles Werkzeug verwenden, das die Sicherheitsregeln als Teil der Eingabe liest, alles auf einmal prüft und dies viel schneller und günstiger als die aktuellen Industriestandards tut, ohne an Genauigkeit zu verlieren.

Kurz gesagt: GLiGuard ist wie der Austausch eines langsamen, schweren Panzers gegen eine schnelle, agile Drohne, die ihre Mission mitten im Flug ändern kann, indem sie einfach einen neuen Satz Anweisungen liest.

Technische Zusammenfassung: GLiGuard: Schema-konditionierte Klassifizierung für LLM-Sicherheitsvorkehrungen

Problemstellung

Die weit verbreitete Bereitstellung von Large Language Models (LLMs) erfordert robuste Echtzeit-Inhaltsmoderationssysteme, um die Generierung schädlicher, illegaler oder irreführender Inhalte zu verhindern. Aktuelle State-of-the-Art-Sicherheitsmodelle (z. B. LlamaGuard, ShieldGemma, WildGuard) stützen sich überwiegend auf autoregressive Decoder-Architekturen (7B–27B Parameter). Diese Modelle reformulieren die Sicherheitsklassifizierung als sequenzielle Textgenerierungsaufgabe. Diese Designentscheidung führt zu grundlegenden Ineffizienzen:

Hohe Latenz: Die Generierung von Klassifizierungsausgaben Token für Token skaliert mit der Ausgabelänge.
Geringe Parallelisierbarkeit: Sie haben Schwierigkeiten, mehrere Sicherheitsdimensionen gleichzeitig zu bewerten.
Ressourcenintensität: Sie setzen Milliarden von Parametern für eine Aufgabe ein, die im Kern eine Klassifizierung und keine Generierung ist.

Die Arbeit geht davon aus, dass die Reformulierung der Sicherheitsmoderation als schema-konditioniertes Klassifizierungsproblem unter Verwendung eines kompakten bidirektionalen Encoders eine wettbewerbsfähige Genauigkeit bei deutlich reduzierten Inferenzkosten erreichen kann.

Methodik

GLiGuard ist ein 0,3B-Parameter-schema-konditionierter bidirektionaler Encoder, der an die GLiNER2-Architektur (Zaratiana et al., 2025) angepasst wurde. Im Gegensatz zu autoregressiven Guard-Modellen, die Sicherheit als instruktionsfolgende Generierung behandeln, betrachtet GLiGuard sie als Mehr-Aspekt-Klassifizierungsaufgabe, bei der Aufgabendefinitionen und Label-Semantik direkt in die Eingabesequenz kodiert werden.

1. Schema-konditionierte Architektur

Die Kerninnovation ist die schema-konditionierte Eingabedarstellung. Anstatt Ausgabe-Heads fest zu codieren, erhält das Modell zur Inferenzzeit eine linearisierte Token-Sequenz, die Folgendes umfasst:

Schema-Präfix: Eine strukturierte Sequenz von Aufgabendefinitionen ( $\tau_k$ ) und ihren Kandidaten-Labels ( $Y_k$ ).
Eingabetext: Der Benutzer-Prompt oder die Modellantwort, die moderiert werden soll.
Spezielle Tokens: [P] (Aufgabendelimiter), [L] (Label-Präfix) und [SEP] (Schema/Text-Trennzeichen).

Die Eingabesequenz wird wie folgt konstruiert:
$z = T(\tau_1, Y_1) \dots T(\tau_K, Y_K) \text{ [SEP] } w_1 \dots w_N$
Wobei jeder Aufgabenblock $T(\tau_k, Y_k)$ als [P] $\phi(\tau_k)$ [L] $l_1$ [L] $l_2$ ... serialisiert wird.

2. Bidirektionale Kodierung und Label-Extraktion

Die Token-Sequenz wird von einem vortrainierten bidirektionalen Transformer-Encoder (z. B. DeBERTa, ModernBERT) verarbeitet. Wichtige Merkmale umfassen:

Vollständige Self-Attention: Der Encoder achtet bidirektional sowohl auf die Schema-Tokens als auch auf den Eingabetext. Dies ermöglicht dem Modell, gleichzeitig „label-bewusste Textrepräsentationen" und „text-bewusste Label-Repräsentationen" zu erstellen.
Kontextualisierte Label-Einbettungen: Die versteckten Zustände an den Positionen der [L]-Tokens werden extrahiert. Diese Einbettungen werden durch den gesamten Eingabetext und alle anderen Labels im Schema informiert und bieten einen reichen Kontext für die Klassifizierung.
Gemeinsamer Klassifizierungs-Head: Ein leichter, gemeinsamer zweischichtiger MLP-Klassifikator wird unabhängig auf jede Label-Einbettung angewendet, um Logits zu erzeugen.
- Single-Label-Aufgaben (z. B. Sicherheit, Verweigerung) verwenden Softmax.
- Multi-Label-Aufgaben (z. B. Schadenskategorien, Jailbreak-Strategien) verwenden Sigmoid.

3. Einheitliches Multi-Task-Moderationsframework

GLiGuard unterstützt vier verschiedene Moderationsaufgaben, die zu einem einzigen Schema für einen einzelnen nicht-autoregressiven Vorwärtsdurchlauf kombiniert werden können:

Sicherheitsklassifizierung: Binäre Klassifizierung (Sicher/Unsicher) für Prompts und Antworten.
Verweigerungserkennung: Binäre Klassifizierung (Compliance/Verweigerung) für Antworten.
Schadenskategorien-Klassifizierung: Multi-Label-Klassifizierung in 14 fein abgestufte Schadenskategorien (z. B. Gewalt, PII, Hass).
Jailbreak-Strategie-Erkennung: Multi-Label-Klassifizierung in 11 adversäre Angriffsstrategien (z. B. Prompt Injection, Roleplay-Bypass).

4. Inferenzpipeline und Entscheidungsregeln

Die Inferenzpipeline umfasst die Schema-Serialisierung, einen einzelnen Encoder-Durchlauf und parallele Decodierung. Das endgültige Sicherheitsurteil wird durch harte Entscheidungsregeln bestimmt, die Vorhersagen aus Hilfsaufgaben kombinieren:

Prompt-Sicherheit: Wenn der Sicherheitsklassifikator „Unsicher" vorhersagt ODER wenn eine Schadenskategorie oder Jailbreak-Strategie (außer BENIGN) erkannt wird, lautet das Urteil UNSIHER.
Antwort-Sicherheit: Wenn der Sicherheitsklassifikator „Unsicher" vorhersagt, lautet das Urteil UNSIHER. Wenn jedoch eine Verweigerung erkannt wird, wird das Urteil zu SICHER überschrieben (um Über-Verweigerungssanktionen zu vermeiden).

Hauptbeiträge

Schema-konditionierte Architektur: Anpassung von GLiNER2 an die Moderation, wodurch Aufgaben- und Label-Blöcke zur Inferenzzeit dynamisch kombiniert werden können, ohne Neutrainieren oder Prompt-Neugestaltung.
Einheitliches Multi-Task-Framework: Ein einzelner Vorwärtsdurchlauf, der gleichzeitig Prompt-/Antwort-Sicherheit, 14 Schadenskategorien und 11 Jailbreak-Strategien bewertet.
Wettbewerbsfähige Genauigkeit im kleinen Maßstab: Nachweis, dass ein 0,3B-Encoder mit 7B–27B-Decoder-basierten Guard-Modellen wettbewerbsfähig bleiben kann.
Inferenz-Effizienz: Erzielung drastisch geringerer Latenz und höheren Durchsatzes aufgrund des nicht-autoregressiven Charakters des Modells.

Experimentelle Ergebnisse

Die Autoren bewerteten GLiGuard an neun etablierten Sicherheits-Benchmarks (z. B. OpenAI Moderation, Aegis 2.0, HarmBench, WildGuardTest) gegen sechs State-of-the-Art-autoregressive Guard-Modelle (im Bereich von 7B bis 27B Parametern).

Genauigkeit:
- Prompt-Schädlichkeit: GLiGuard erreichte eine durchschnittliche F1 von 87,7, innerhalb von 1,7 Punkten des besten Basismodells (PolyGuard-Qwen-7B mit 89,4) und übertraf mehrere größere Modelle wie LlamaGuard4-12B (82,5) und ShieldGemma-27B (69,6).
- Antwort-Schädlichkeit: GLiGuard erreichte eine durchschnittliche F1 von 82,7, den zweitbesten Wert unter den verglichenen Modellen, hinter Qwen3Guard-8B-Gen (84,1) und vor WildGuard-7B (82,4).
Effizienz:
- Durchsatz: GLiGuard lieferte bis zu 16,2× höheren Durchsatz (133 Proben/s vs. 8,2 Proben/s für ein 8B-Modell bei Batch-Größe 4).
- Latenz: GLiGuard erreichte bis zu 17× geringere Latenz (26 ms vs. 426 ms für ein 8B-Modell bei Sequenzlänge 64).
Pareto-Effizienz: Das Modell belegt einen Pareto-konkurrenten Bereich und bietet vergleichbare F1-Werte wie viel größere Modelle mit 23–90× weniger Parametern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass kompakte bidirektionale Encoder die Genauigkeit viel größerer Guard-Modelle erreichen können, während die Inferenzkosten drastisch reduziert werden. Die Autoren argumentieren, dass für die Inhaltsmoderation Datenqualität, Trainingsstrategie und Modellspezialisierung kritischer sind als der Maßstab allein, wie durch größere Modelle (z. B. ShieldGemma-27B) belegt wird, die schlechter abschneiden als kleinere, spezialisierte Alternativen.

GLiGuard wird als Lösung für latenz- und speicherbeschränkte Umgebungen präsentiert, die eine Echtzeit-Gatekeeping ohne die mit der autoregressiven Generierung verbundenen Engpässe ermöglicht. Die Arbeit legt nahe, dass die Reformulierung von Sicherheit als schema-konditioniertes Klassifizierungsproblem eine viable und effiziente Alternative zum aktuellen Paradigma der Verwendung großer generativer Modelle für Sicherheitsvorkehrungen darstellt.

Hinweis: Die Arbeit erkennt Einschränkungen an, darunter die Empfindlichkeit gegenüber oberflächlichen Triggerwörtern in harmlosen Kontexten (False Positives) und Herausforderungen bei adversären Jailbreaks, die in aufwendigen fiktionalen Erzählungen eingebettet sind (False Negatives). Als zukünftige Arbeit wird vorgeschlagen, diese spezifischen Robustheitsprobleme anzugehen.