🤖 machine learning

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

Dieses Paper schlägt eine ausgabebewusste Sicherheitsbarriere vor, die potenzielle unsichere Generierungen innerhalb des Hidden-State-Raums eines Modells vorhersagt, um das bei Eingangsfiltern häufig auftretende Problem der Überrejektion zu mildern und somit sowohl die Sicherheit als auch den Nutzen in multimodalen großen Sprachmodellen zu bewahren.

Ursprüngliche Autoren: Jiayi Li, Kun Zhan

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiayi Li, Kun Zhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der Bilder sehen und darüber sprechen kann. Dieser Robbot ist großartig darin, Fragen zu beantworten, aber manchmal versuchen Menschen, ihn dazu zu bringen, gemeine Dinge zu sagen, gefährliche Anweisungen zu geben oder Lügen zu verbreiten. Um dies zu verhindern, setzen wir normalerweise einen „Sicherheitswächter“ vor den Roboter.

Das Problem: Der überprotektive Türsteher
Im Moment arbeiten die meisten Sicherheitswächter wie ein strenger Türsteher in einem Club, der nur auf Ihren Ausweis (die gestellte Frage) schaut, bevor er Sie reinlässt. Wenn Ihr Ausweis ein gruseliges Wort enthält, knallt der Türsteher sofort die Tür zu, selbst wenn Sie eigentlich nur eine harmlose Frage stellen wollten.

Zum Beispiel fragen Sie: „Wie töte ich einen Python-Prozess?“ (was sich nur auf Computercode bezieht). Der Türsteher sieht das Wort „töten“ und blockiert Sie. Oder Sie fragen: „Wo kann ich ein gutes Foto schießen?“ (was über Fotografie handelt). Der Türsteher sieht „schießen“ und sagt: „Auf keinen Fall!“ Der Roboter bekommt gar keine Chance zu erklären, dass Sie gerade sicher und hilfreich sind. Die Facharbeit nennt dies Über-Verweigerung (Over-Refusal). Es ist, als wäre der Wächter so sehr vor Ärger Angst, dass er versehentlich auch die guten Kunden rauswirft.

Der alte Weg vs. der neue Weg
Die Forscher fanden heraus, dass diese alten Wächter ihre Entscheidungen ausschließlich auf Basis des Inputs (dem, was Sie fragen) treffen. Sie warten nicht darauf zu sehen, was der Roboter tatsächlich als Antwort gibt.

Die Arbeit spricht sich gegen diesen „Input-basierten“ Ansatz aus. Sie legt nahe, dass der Roboter selbst eigentlich ziemlich gut darin ist, sicher zu agieren. Wenn Sie eine knifflige Frage stellen, weiß der Roboter oft von selbst, dass er eine Warnung geben oder sagen muss: „Das kann ich nicht tun“. Aber der alte Wächter stoppt den Roboter, noch bevor er seine gute Seite zeigen kann!

Die Lösung: OutGuard (Der „Kristallkugel“-Wächter)
Die Autoren schlagen ein neues System namens OutGuard vor. Anstatt nur auf Ihren Ausweis zu schauen, fungiert OutGuard wie eine Kristallkugel, die in das Gehirn des Roboters hineinblickt, während er nachdenkt, aber bevor er spricht.

So funktioniert es:

Der Blick: Während der Roboter beginnt, eine Antwort zu formulieren, schaut OutGuard in die „verborgenen Gedanken“ (genannt Hidden States), die in den Schichten des Robotergehirns wirbeln.
Die Vorhersage: Es versucht zu erraten: „Ist der Roboter gerade dabei, etwas wirklich Gefährliches zu sagen, oder denkt er nur über ein gefährliches Thema nach, plant aber, etwas Sichereres zu sagen?“
Die Entscheidung:
- Wenn der Roboter gerade dabei ist, etwas wirklich Schädliches zu sagen (wie etwa die Herstellung einer Bombe), greift OutGuard ein und stoppt ihn.
- Wenn der Roboter gerade dabei ist, etwas Sicheres zu sagen (wie die Erklärung, dass „einen Prozess töten“ nur beim Programmieren bedeutet), lässt OutGuard ihn gewähren!

Der magische Trick: Lernen von „Beuteln“ voller Gedanken
Um OutGuard so zu lehren, nutzten die Forscher eine clevere Trainingsmethode namens Multi-Instance Contrastive Learning (MICL).

Stellen Sie sich die Antwort des Roboters wie einen Beutel voller Murmeln vor. Einige Murmeln sind gefährlich (die bösen Wörter), die meisten sind jedoch sicher. Die alten Wächter schauen nur auf den Beutel und sagen: „Er hat eine gefährliche Murmel, werft ihn weg!“
OutGuard schaut in den Beutel hinein. Es nutzt einen speziellen Attention-Mechanismus, um die spezifischen gefährlichen Murmeln zu finden. Es lernt, die sicheren Murmeln zu ignorieren und sich nur auf die zu konzentrieren, die die gesamte Antwort tatsächlich schädlich machen. Es ist wie ein Detektiv, der weiß, dass das Finden eines einzigen schlechten Apfels nicht bedeutet, dass der ganze Korb verfault ist – es sei denn, dieser eine schlechte Apfel ist derjenige, der den Saft verderbt.

Was die Zahlen sagen
Die Forscher testeten dies an zwei populären Robotermodellen: LLaVA 1.6 und Qwen 3.5. Sie verglichen OutGuard mit anderen Top-Sicherheitswächtern wie HiddenDetector, QGuard und LoD.

Sicherheit: OutGuard hat fast alle wirklich schlechten Anfragen abgefangen. Auf dem Standard-Testdatensatz erreichte es für LLaVA einen AUPRC von 0,9725 und für Qwen 0,9937 (wobei 1,0 perfekt ist). Das bedeutet, es ist bei der Erfassung von Übeltätern genauso gut wie die anderen.
Die Korrektur der „Über-Verweigerung“: Hier glänzt OutGuard. Die alten Wächter blockierten sichere Fragen viel zu oft.
- QGuard blockierte 100 % der sicheren Fragen (ARSP = 1,0000). Es hatte zu viel Angst, jemanden reinzulassen.
- OutGuard blockierte nur 5,5 % der sicheren Fragen für LLaVA und 1,15 % für Qwen.
- Bei kniffligen Fragen, die gefährlich aussehen, aber eigentlich sicher sind (wie „Wie vertreibe ich mir die Zeit am Flughafen?“), ließ OutGuard 41,6 % mehr sichere Fragen durch als die nächstbeste Methode.

Geschwindigkeit und Kosten
Sie könnten befürchten, dass das Hineinblicken in das Gehirn des Roboters die Dinge verlangsamt. Die Arbeit zeigt jedoch, dass OutGuard sehr schnell ist. Es benötigt im Durchschnitt etwa 0,208 Sekunden pro Frage, was viel schneller ist als einige andere Methoden, die über 3 Sekunden benötigen. Es benötigt auch nicht viel zusätzlichen Speicher und fügt dem System nur etwa 1,37 GB hinzu.

Das Fazit
Die Arbeit legt nahe, dass wir, indem wir von „Input-bewusst“ (Prüfen der Frage) zu „Output-bewusst“ (Prüfen der Antwort, bevor sie fertig ist) wechseln, unsere Roboter sicher halten können, ohne dabei nervig zu sein. OutGuard verhindert nicht, dass der Roboter hilfreich ist; es verhindert nur, dass er gefährlich wird. Es ist eine intelligentere, präzisere Art, das Internet sicher zu halten und uns dennoch unsere Fragen beantworten zu lassen.

Technische Zusammenfassung: OutGuard – Output-bewusste Sicherheitsleitplanke für MLLMs

1. Problemstellung: Der Over-Refusal-Trade-off (Übermäßige Verweigerung)

Bestehende Sicherheitsmechanismen für multimodale große Sprachmodelle (MLLMs) stehen vor einem kritischen Kompromiss zwischen Sicherheit und Nützlichkeit. Während das Fine-Tuning von Modellen eine robuste Sicherheit bietet, beeinträchtigt es oft die allgemeine Nützlichkeit. Im Gegensatz dazu bieten input-basierte Sicherheitsleitplanken eine leichtgewichtige, nicht-invasive Alternative, leiden jedoch unter schwerwiegender Übermäßige Verweigerung (Over-Refusal).

Aktuelle Leitplanken operieren unter einem input-bewussten Paradigma, das Sicherheitsentscheidungen ausschließlich auf der Analyse von Bild-Text-Paaren basiert trifft. Dieser Ansatz berücksichtigt nicht die intrinsischen Sicherheitsfähigkeiten des Modells. Wie in der Arbeit dargelegt, verfügen MLLMs oft über interne Alignment-Mechanismen, die schädliche Inputs in sichere Outputs transformieren können (z. B. Ablehnungs-Antworten, Ermahnungen oder Warnungen). Input-bewusste Leitplanken blockieren diese Interaktionen jedoch wahllos, sobald der Input als riskant eingestuft wird, ungeachtet dessen, ob das Modell eine harmlose Antwort generiert hätte. Dies führt zur Ablehnung harmloser Anfragen, die lediglich riskant erscheinen (z. B. „Wie töte ich einen Python-Prozess?“ oder „Wo kann ich ein gutes Foto schießen?“), was die Benutzererfahrung erheblich verschlechtert und die praktische Nutzbarkeit einschränkt.

2. Methodik: Das OutGuard-Framework

Um dies zu adressieren, schlagen die Autoren OutGuard vor, einen Paradigmenwechsel von input-bewussten zu output-bewussten Sicherheitsleitplanken. OutGuard operiert innerhalb des Hidden-State-Raums des Modells, um die Sicherheit der bevorstehenden Generierung vorherzusagen, bevor diese vollständig produziert ist, anstatt nur das Risiko des Inputs zu bewerten.

Kernkomponenten:

Nutzung von Hidden States: OutGuard extrahiert Repräsentationen der Hidden States ( $H_l$ ) aus dem Backbone-LLM während der Inferenzphase (Stufe S4 im Datenfluss). Diese Zustände verknüpfen die internen Modell-Dynamiken mit dem finalen Output.
Multi-Instance Contrastive Learning (MICL) Klassifikator:
- Problemformulierung: Die Detektionsaufgabe wird als Multiple Instance Learning (MIL) Problem formuliert. Eine Sequenz von Hidden States eines generierten Outputs wird als „Bag“ (Beutel) behandelt, wobei einzelne Token-Repräsentationen die „Instances“ (Instanzen) darstellen. Das Bag-Level-Label (Sicher/Unsicher) ist bekannt, aber die spezifische Token-Ebene der Schädlichkeit ist latent.
- Architektur: Der MICL-Klassifikator verwendet einen Gated-Attention-Mechanismus, um Token-Repräsentationen zu einer Bag-Level-Repräsentation ( $z_l$ ) zu aggregieren. Dieser Mechanismus lernt, sich auf hoch-aufmerksamkeitsstarke Instanzen (wahrscheinlich schädliche Tokens) zu konzentrieren und Rauschen zu unterdrücken.
- Trainingsziel: Der Klassifikator wird mit einer zusammengesetzten Verlustfunktion trainiert:
  1. Binary Cross-Entropy Loss ( $L_{cls}$ ): Für die Bag-Level-Klassifikation.
  2. Entropy Regularization ( $L_{ent}$ ): Um Sparsamkeit (Sparsity) in den Attention-Gewichten zu fördern, was das Modell dazu zwingt, sich auf spezifische, saliente Tokens zu konzentrieren.
  3. Intra-bag Contrastive Loss ( $L_{con}$ ): Ein InfoNCE-ähnlicher Loss, der die Ähnlichkeit unter hoch-aufmerksamkeitsstarken (positiven) Instanzen maximiert und die Ähnlichkeit mit niedrig-aufmerksamkeitsstarken (negativen) Instanzen innerhalb desselben Bags minimiert.
Layer-Selektion und Voting:
- Eine Safety-Score Metrik wird verwendet, um die Leistung der auf verschiedenen Layern trainierten MICL-Klassifikatoren zu bewerten.
- Es werden nur Klassifikatoren aus Layern mit einem Safety-Score > 0,9 ausgewählt.
- Während der Inferenz stimmen die ausgewählten Klassifikatoren über die Sicherheit der Hidden States ab. Eine Mehrheitsentscheidung bestimmt die endgültige Entscheidung (Sicher vs. Unsicher).

Operativer Arbeitsablauf:
OutGuard läuft als unabhängiges Modul neben dem MLLM. Es führt die Sicherheitsdetektion in einem einzigen Durchgang während der Inferenz durch, indem es die Hidden States analysiert, während sie generiert werden. Wenn das System einen unsicheren Output vorhersagt, greift es ein; andernfalls wird die Generierung fortgesetzt. Dies vermeidet zusätzliche Abfragen oder signifikanten Latenz-Overhead.

3. Wichtigste Beiträge

Paradigmenwechsel: Die Arbeit identifiziert die Ursache für Over-Refusal in der Abhängigkeit von input-bewussten Paradigmen und schlägt einen Wechsel hin zu output-bewussten Sicherheitsbewertungen vor.
OutGuard-Framework: Ein neuartiges Framework, das Hidden-State-Repräsentationen und einen Multi-Instance Contrastive Learning (MICL) Klassifikator nutzt, um die Sicherheit des Outputs direkt zu bewerten und zwischen Inputs zu unterscheiden, die zu schädlichen Outputs führen, und solchen, die das Modell intern neutralisiert.
Empirische Validierung: Umfangreiche Experimente zeigen, dass OutGuard die Over-Refusal-Raten signifikant reduziert, während es eine starke Detektionsleistung gegenüber schädlichen Inhalten und Jailbreak-Angriffen beibehält.

4. Experimentelle Ergebnisse

Die Autoren evaluierten OutGuard auf LLaVA 1.6 und Qwen 3.5 unter Verwendung von Datensätzen wie GQA, AdvBench, SafeBench, MM-Vet, MM-SafetyBench und XSTest. Die Baselines umfassten HiddenDetector, QGuard, LoD und ProGuard.

Sicherheits- vs. Nützlichkeits-Balance: OutGuard erzielte eine überlegene Leistung über alle Metriken hinweg. Auf dem Testset hielt es eine niedrige Unsafe Response Rate zu Unsafe Prompts (URUP < 0,1) bei gleichzeitiger drastischer Reduzierung der Abstention Response Rate zu Safe Promts (ARSP < 0,1). Beispielsweise erreichte OutGuard auf LLaVA einen F1-Score von 0,9335 und eine ARSP von 0,0749, womit es die nächstbeste Methode (LoD-PP) mit einer ARSP von 0,1124 übertraf.
Minderung von Over-Refusal: Auf dem XSTest-Datensatz (harmlose Anfragen, die riskant erscheinen) reduzierte OutGuard die Over-Refusal-Raten im Vergleich zu den Baselines signifikant (z. B. 0,5840 vs. 0,7400 für LLaVA).
Robustheit: OutGuard demonstrierte eine starke Robustheit gegenüber Jailbreak-Angriffen (Visual-Adversarial-Examples, HADES, JOOD) und erreichte nahezu perfekte Klassifikationsmetriken (AUPRC/AUROC > 0,97) bei gleichzeitig niedriger Over-Refusal-Rate.
Effizienz: Die Methode führt minimalen Latenz-Overhead ein. Die durchschnittliche Entscheidungszeit pro Sample betrug 0,208 Sekunden, was vergleichbar mit oder schneller als viele Baselines (z. B. QGuard mit 3,154s) ist und signifikant schneller als Post-Output-Methoden.
Ablationsstudien: Das Entfernen zentraler Komponenten (Gating-Modul, Contrastive Learning oder Sparsity-Regularisierung) führte zu einer schweren Verschlechterung der Detektionsfähigkeit, was die Notwendigkeit der MICL-Architektur bestätigt.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass OutGuard eine praktische Lösung für den Sicherheits-Nützlichkeits-Trade-off in MLLMs bietet. Durch die Verlagerung des Fokus von der Input-Risiko-Analyse auf den tatsächlichen Output-Schaden bewahrt die Methode die eingebauten Sicherheitsfähigkeiten und die allgemeine Nützlichkeit des Modells. Die Autoren betonen, dass ihr Ansatz eine präzise Intervention nur dann ermöglicht, wenn die tatsächliche Antwort des Modells schädlich wäre, wodurch unnötige Blockierungen harmloser Interaktionen vermieden werden.

Die Arbeit unterstreicht die Bedeutung von output-bewussten Sicherheitsmechanismen und zeigt auf, dass leichtgewichtige Klassifikatoren, die auf Hidden States trainiert wurden, Over-Refusal effektiv mildern können, ohne die Erkennung echter Bedrohungen zu gefährden oder ein Retraining des Modells zu erfordern. Der Code wird zur Verfügung gestellt, um weitere Forschung in dieser Richtung zu erleichtern.