💬 NLP

SingGuard: A Policy-Adaptive Multimodal LLM Guardrail with Dynamic Reasoning

SingGuard ist ein richtlinienadaptives multimodales Guardrail-Modell, das Inhalte dynamisch anhand von natürlicher Sprache basierter Sicherheitsregeln unter Verwendung eines flexiblen Fast-to-Slow-Reasoning-Spektrums und eines Fast-Slow-decoupled Reinforcement Learning evaluiert und dabei eine State-of-the-Art-Leistung auf dem neu eingeführten SingGuard-Bench über verschiedene Risikoarten und dynamische Richtlinienverschiebungen hinweg erzielt.

Ursprüngliche Autoren: SingGuard Team

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: SingGuard Team

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Sicherheitschef eines riesigen, geschäftigen internationalen Flughafens. Ihr Job ist es, jeden Passagier (die Eingabe der KI) und jedes Gepäckstück (Bilder, Text oder beides), das er mit sich führt, zu überprüfen, um sicherzustellen, dass nichts Gefährliches durchkommt.

In der Vergangenheit hatten die Sicherheitskräfte ein festes Regelwerk. Sie wussten genau, wie ein „Messer“ aussah, und wenn sie eines sahen, hielten sie den Passagier an. Aber was, wenn ein Passagier einen harmlos aussehenden Löffel mitbringt, der in Kombination mit einer bestimmten Art von Suppe zu einer Waffe wird? Oder was, wenn sich die Regeln über Nacht ändern, weil ein anderes Land andere Sicherheitsgesetze hat? Alte Sicherheitssysteme wären verwirrt gewesen – sie ließen entweder gefährliche Dinge durch oder hielten harmlose Menschen unnötigerweise auf.

SingGuard ist ein neues, superintelligentes Sicherheitssystem, das genau diese Probleme lösen soll. So funktioniert es, unterteilt in einfache Konzepte:

1. Das „Lebendige Regelwerk“ (Policy-Adaptive)

Die meisten Sicherheitskräfte memorieren eine statische Liste verbotener Gegenstände. SingGuard ist anders. Anstatt eine feste Liste auswendig zu lernen, trägt es ein dynamisches, lebendiges Regelwerk, das sofort aktualisiert werden kann.

Wie es funktioniert: Sie können SingGuard ein neues Set von Regeln übergeben, das in einfachem Englisch geschrieben ist (z. B. „In dieser speziellen App erlauben wir Diskussionen über medizinische Themen, aber in jener anderen App nicht“).
Die Magie: SingGuard liest diese neuen Regeln und prüft jeden Passagier spezifisch gegen diese. Es rät nicht einfach basierend auf dem, was es in der Schule gelernt hat; es folgt den Anweisungen, die Sie ihm genau jetzt geben. Das bedeutet, es kann sich an verschiedene Länder, verschiedene Apps oder neue Sicherheitsbedenken anpassen, ohne dafür zurück in die „Schule“ (das Retraining) gehen zu müssen, um die neuen Regeln zu lernen.

2. Das „Drei-Geschwindigkeiten-Gehirn“ (Schnell, Hybrid, Langsam)

Sicherheitskontrollen können knifflig sein. Manchmal ist eine Bedrohung offensichtlich (wie eine Pistole); manchmal ist es ein komplexes Rätsel (wie ein harmloses Foto, das gefährlich wird, wenn es mit einer bestimmten Bildunterschrift kombelt wird). SingGuard hat drei Modi, um dies zu bewältigen, was Zeit und Energie spart:

Schneller Modus (Der Reflex): Wenn ein Passagier mit einem klaren, offensichtlichen Verstoß hereinkommt, stoppt SingGuard ihn sofort. Es ist wie ein Wachmann, der ein rotes Tuch sieht und sofort sagt: „Stopp!“ Dies dient für die Prüfung mit geringer Latenz und hoher Geschwindigkeit.
Langsamer Modus (Der Detektiv): Wenn die Situation verwirrend oder die Regeln komplex sind, wird SingGuard langsamer. Es agiert wie ein Detektiv, der das neue Regelwerk Zeile für Zeile liest, das Gepäck des Passagiers mit jeder einzelnen Regel vergleicht und einen detaillierten Bericht darüber schreibt, warum etwas sicher oder unsicher ist.
Hybrid-Modus (Der Smarte Router): Dies ist das Beste aus beiden Welten. SingGuard wirft einen kurzen Blick darauf. Wenn es sich sicher ist, endet die Prüfung dort (Schnell). Wenn es unsicher ist, wechselt es automatisch in den „Detektiv-Modus“ (Langsam), um darüber nachzudenken. Es nutzt das energieintensive, langsame Denken nur dann, wenn es tatsächlich benötigt wird.

3. Die „Cross-Modal“-Falle (Das Gesamtbild sehen)

Manchmal liegt eine Bedrohung nicht in einer einzelnen Sache, sondern in der Kombination von zwei Dingen.

Die Analogie: Stellen Sie sich ein Bild von einem sonnigen Strand vor (harmlos) und eine Textnachricht mit dem Inhalt „Lass uns hier eine Bombe bauen“ (schädlich). Wenn man nur das Bild betrachtet, ist es sicher. Wenn man nur den Text betrachtet, ist er schlecht. Aber zusammen bilden sie einen gefährlichen Plan.
SingGuards Fähigkeit: Es ist darauf trainiert, das Bild und den Text gemeinsam zu betrachten. Es versteht, dass die Kombination ein Risiko erzeugt, das keines der Teile für sich allein hätte. Es erkennt auch „verborgene“ Risiken, bei denen Text und Bild einzeln harmlos erscheinen, aber in Kombination etwas Gefährliches implizieren.

4. Das „Trainingslager“ (Wie es gelernt hat)

Um so gut zu werden, hat das Team SingGuard nicht nur mit Beispielen für schlechte Dinge konfrontiert. Sie haben ein massives Trainingslager namens SingGuard-Bench mit über 56.000 Testfällen erstellt.

Sie haben es darauf trainiert, „Jailbreaks“ zu erkennen (Menschen, die versuchen, die KI dazu zu bringen, Regeln zu brechen).
Sie haben es darauf trainiert, „Policy Shifts“ zu handhaben (wo sich die Regeln ändern und ein zuvor sicherer Gegenstand plötzlich unsicher wird).
Sie haben eine spezielle Trainingsmethode namens Fast-Slow Decoupled Reinforcement Learning verwendet. Denken Sie daran als das Training eines Schülers, der erst eine schnelle Vermutung anstellt, dann aber gezwungen wird, diese Vermutung erneut gegen die Regeln zu prüfen, bevor er die endgültige Antwort gibt. Dies verhindert, dass die KI bei ihrem ersten Instinkt „hängen bleibt“, wenn die Regeln etwas anderes sagen.

5. Die Ergebnisse

Bei Tests gegen 35 verschiedene Datensätze (wie eine Serie von Abschlussprüfungen, die Text, Bilder und gemischte Medien abdecken) schnitt SingGuard besser ab als jedes andere Open-Source-Sicherheitssystem.

Es war besser darin, gefährliche Inhalte zu entdecken.
Es war besser darin, harmlose Inhalte nicht aufzuhalten (Vermeidung von Fehlalarmen).
Am wichtigsten war: Wenn sich die Regeln während des Tests änderten, passte sich SingGuard viel besser an als die anderen, was beweist, dass es tatsächlich die Regeln liest und nicht nur Antworten auswendig lernt.

Kurz gesagt: SingGuard ist ein Sicherheitswachmann, der nicht nur eine Liste verbotener Gegenstände auswendig lernt. Es liest das aktuelle Regelwerk, denkt über komplexe Situationen nach und kann sofort zwischen einem schnellen Reflex und tiefem Nachdenken wechseln, um Ihre digitale Welt sicher zu halten, egal wie sich die Regeln ändern.

Technisches Resümee: SingGuard

Problemstellung

Vision-Language-Modelle (VLMs) werden zunehmend in Konsumenten-, Medizin-, Finanz- und Unternehmensanwendungen eingesetzt, was die Sicherheitsfläche erheblich vergrößert. Risiken entstehen nun nicht mehr nur durch unimodale Eingaben, sondern auch durch multimodale Beantwortung von Fragen, Assistenten-Antworten und cross-modale Kompositionen, bei denen harmlose Eingaben isoliert betrachtet sicher sind, in Kombination jedoch unsicher werden können. Darüber hinaus sind Moderationsrichtlinien nicht statisch; sie variieren je nach Produkt, Region und Deployment-Phase.

Bestehende Guardrails stehen vor drei primären Einschränkungen:

Statische Taxonomien: Die meisten Systeme verlassen sich auf feste Label-Sets (z. B. Llama Guard, WildGuard) oder enge Interaktionssettings und versagen, wenn sich die Sicherheitsregeln zur Laufzeit ändern.
Begrenzte Anpassungsfähigkeit der Richtlinien: Während einige multimodale Guardrails (z. B. LlavaGuard, GuardReasoner-VL) die Moderation auf visuelle Eingaben ausweiten, gehen sie typischerweise von statischen Richtlinien-Grenzen aus und klassifizieren Risiken direkt, anstatt Inhalte mit einem offenen Satz aktiver Regeln abzugleichen.
Ineffiziente Argumentation: Auf Argumentation basierende Guardrails verbessern zwar die Interpretierbarkeit, nutzen aber oft einen einzigen „immer aktiven“ Argumentationsmodus. Dies ist ineffizient für hochdurchsatzfähige, eindeutige Fälle, in denen ein direktes Urteil ausreicht, jedoch unzureichend für komplexe, kontraintuitive oder richtlinienverschobene Fälle, die einer tieferen Abwägung bedürfen.

Methodik

SingGuard ist eine richtlinienadaptive multimodale Guardrail-Modellfamilie, die darauf ausgelegt ist, die Sicherheit in multimodalen Konversationen zu bewerten, indem sie die aktive Richtlinie als Input zur Laufzeit behandelt.

1. Aufgabenformulierung und Richtlinien-Schnittstelle

SingGuard formuliert die Sicherheitsklassifizierung als Instruktionsfolgestrecke (Instruction-Following Task). Gegeben sei ein Zielinhalt $x$ (Abfrage, Bild und/oder Antwort) und eine aktive Richtlinie $P$ (eine Menge natürlicher Sprachregeln), sagt das Modell Folgendes voraus:

Ein binäres Sicherheitslabel ( $y \in \{safe, unsafe\}$ ).
Eine optionale, auf der Richtlinie basierende Argumentationsspur ( $z$ ).
Die ausgelöste Regel oder Kategorie ( $c$ ).

Die Richtlinie $P$ kann die vollständige eingebaute hierarchische Taxonomie sein (8 Primärdimensionen, 하게 27 Sekundärkategorien, 80+ feingliedrige Risiken) oder eine dynamische Teilmenge bzw. Umformulierung, die zur Laufzeit bereitgestellt wird. Dies ermöglicht es dem Modell, Entscheidungen auf den aktuell aktiven Regeln zu begründen, anstatt auf memorisierten Prior-Wissen zu basieren.

2. Datenerstellung (SingGuard-Bench)

Um das Modell zu trainieren und zu evaluieren, haben die Autoren SingGuard-Bench konstruiert, einen umfassenden Benchmark mit 56.340 Beispielen aus 35 Datensätzen. Wesentliche Merkmale sind:

Dynamische Regel-Konditionierung: Proben sind mit passenden und nicht passenden Laufzeit-Richtlinien gepaart, um zu testen, ob das Modell neuen Regeln folgt statt statischen Labels.
Cross-Modale gemeinsame Risiken: Fälle, in denen Bild und Text einzeln harmlos sind, deren Komposition jedoch eine unsichere Absicht impliziert.
Richtlinien-Verschobene Supervision: Kontrafaktische Labels, die durch Editierung von Regeln generiert wurden (z. B. Erweiterung des Geltungsbereichs, Hinzufügen von Ausnahmen), um das Modell zu einer Re-Evaluierung des Inhalts basierend auf dem neuen Richtlinientext zu zwingen.
Chain-of-Thought (CoT): Über 1 Million Argumentationsbeispiele, bei denen das Modell die Regeln nacheinander überprüft und die endgültige Entscheidung explizit durch Beweise begründet.

3. Trainingspipeline

Der Trainingsprozess umfasst drei Stufen:

Stufe 1: Richtlinien-konditioniertes Cold-Start SFT: Das Modell wird auf einer einheitlichen Output-Grammatik feinjustiert, die drei Modi unterstützt:
- Fast: Direktes Safe/Unsafe-Label und Kategorie.
- Slow: Explizite Regel-für-Regel-Abwägung vor der endgültigen Antwort.
- Hybrid: Initiale binäre Beurteilung, gefolgt von Argumentation nur bei geringer Konfidenz.
  Die Loss-Funktion kombelt die Verluste für das initiale Token, den Argumentationsbereich und die endgültige Kategorie.
Stufe 2: Fast–Slow Decoupled DAPO: Um zu verhindern, dass die initiale schnelle Beurteilung die anschließende Argumentation „verankert“ (d. h. die Argumentation dazu zwingt, eine potenziell falsche erste Vermutung zu rechtfertigen), wenden die Autoren Decoupled Direct Preference Optimization (DAPO) an. Das erste generierte Token wird während des Reinforcement-Learning-Updates maskiert, wodurch der Argumentationspfad die Richtlinie unabhängig verifizieren und die endgültige Antwort korrigieren kann, falls dies notwendig ist.
Stufe 3: On-Policy Knowledge Distillation (OPD): Ein 2B-Studentenmodell wird von einem 8B-Lehrermodell destilliert. Im Gegensatz zur Standard-Distillation generiert das Studentenmodell sein eigenes Präfix, und das Lehrermodell liefert Token-Level-Verteilungen auf genau diesem spezifischen Präfix. Dies hilft dem kleineren Modell, seine eigenen schwachen Argumentationspfade bei dynamischen Regeln und Grenzfällen zu reparieren.

4. Inferenz-Regime

SingGuard unterstützt drei Inferenz-Modi, um Latenz und Genauigkeit auszubalancieren:

Fast Mode: Gibt ein direktes Label für eine niederlatenzbasierte Moderation aus.
Slow Mode: Führt eine explizite Regel-für-Regel-Abwägung für audit-sensitive oder ambivalente Fälle durch.
Hybrid Mode: Dekodiert die initiale binäre Entscheidung; wenn die Konfidenz $s(y_0) \geq \tau$ , bricht es vorzeitig ab. Andernfalls generiert es die vollständige Argumentationsspur und die überprüfte Antwort.

Zentrale Beiträge

SingGuard Modellfamilie: Eine richtlinienadaptive VLM-Guardrail, die offene Laufzeit-Richtlinien akzeptiert und es Deployment-Teams ermöglicht, Regeln für spezifische Domänen (Gesundheit, Finanzen, Recht) hinzuzufügen oder zu revidieren, ohne neu zu trainieren.
Fast–Slow Decoupled RL: Ein neuartiges Trainingsziel, das niederlatenzbasierte schnelle Beurteilungen bewahrt und gleichzeitig diese von der Optimierung des Argumentationspfads entkoppelt, was es dem Modell ermöglicht, initiale Fehler basierend auf richtlinienbegründeten Beweisen zu korrigieren.
SingGuard-Bench: Ein multimodaler Benchmark, der über 80 Risikoarten abdeckt, einschließlich cross-modaler Hidden-Intent-Angriffe, dynamischer Regel-Evaluierung und Tests zur Präzision bei benignen-sensiblen Inhalten.
State-of-the-Art Performance: Der Nachweis, dass ein einziges richtlinienadaptives Modell eine breite Performance über multimodale QA und Antwort-Moderation hinweg erzielen kann und dabei spezialisierte Baselines übertrifft.

Ergebnisse

Evaluierungen über sechs Benchmark-Familien hinweg, die 35 Datensätze umfassen, zeigen, dass SingGuard in jeder Kategorie durchschnittliche F1-Scores auf State-of-the-Art-Niveau erreicht:

Multimodale Sicherheit: SingGuard-8B erreicht einen durchschnittlichen F1 von 0,9092 und übertrifft damit die beste Open-Source-Baseline (LLAVAShield mit 0,8842) sowie geschlossene Frontier-Modelle wie GPT-5.1 (0,8349).
Bildsicherheit: SingGuard-4B führt mit einem durchschnittlichen F1 von 0,9141, übertrifft Baselines wie GuardReasoner-VL (0,8570) signifikant und zeigt Robustheit bei der Erkennung visueller Schäden, bei denen textbasierte Guards oft versagen (z. B. Waffenerkennung).
Text-Query & Antwort-Sicherheit: SingGuard-8B erreicht den höchsten Makro-Durchschnitt-F1 für Text-Queries (0,8740) und kompetitive Ergebnisse für Antworten (0,8770), was eine starke Übertragung von Intent-Detection zu Assistance-Detection belegt.
Multilinguale Sicherheit: SingGuard-8B führt bei der multilingualen Query-Sicherheit (0,8872) und Antwort-Sicherheit (0,8988), was eine effektive richtlinienkonditionierte Übertragung über Sprachen hinweg zeigt.
Dynamische Richtlinien-Adaption: In der dynamischen Regel-Evaluierung verbessert SingGuard-slow die durchschnittliche Genauigkeit von 0,6465 (Qwen3-VL-8B) auf 0,7415, was die Fähigkeit beweist, wechselnden aktiven Regeln zu folgen statt auf Trainingszeit-Prior-Wissen zu vertrauen.
Ablation: Die Fast–Slow Decoupled RL-Stufe verbessert die Genauigkeit der dynamischen Richtlinien-Adaption signifikant. On-Policy-Distillation hebt den Durchschnittswert des 2B-Modells von 0,8631 auf 0,8840 und schließt damit die Lücke zum 8B-Lehrer.

Bedeutung

Das Paper argumentiert, dass das Erlernen der Identifikation von Risiken zwar notwendig, aber für Produktions-Guardrails nicht ausreichend ist. Ein eingesetztes System muss auch lernen, wann ein Risiko außerhalb der aktiven Richtlinie liegt, um eine Überblockierung legitimer Inhalte zu vermeiden. SingGuard adresset dies, indem es die Sicherheitswahrnehmung von memorisierten Kategorien-Priors entkoppelt, was es dem Modell ermöglicht, sich zur Laufzeit an evolvierende Regeln anzupassen.

Durch die Vereinigung von multimodalen Eingaben, offenen aktiven Richtlinien und adaptiven Argumentationspfaden (fast, hybrid, slow) innerhalb eines einzigen Modells bietet SingGuard ein flexibles Framework für die Sicherheitsbewertung. Die Ergebnisse deuten darauf hin, dass richtlinienbasierte Argumentation, kombiniert mit entkoppeltem Reinforcement Learning, Guardrails befähigt, komplexe, dynamische und cross-modale Sicherheitsszenarien effektiver zu handhaben als statische, taxonomiebasierte Ansätze. Die Autoren betonen, dass die Performance von SingGuard zwar die Anpassungsfähigkeit verbessert, aber weiterhin von der Klarheit der bereitgestellten aktiven Richtlinie abhängt, was kontinuierliche Benchmark-Updates und menschliche Überprüfungen für Hochrisiko-Deployments erforderlich macht.