Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

Technische Samenvatting: OutGuard – Output-bewuste Veiligheidsguardrail voor MLLM's

1. Probleemstelling: De Over-Refusal Trade-off

Bestaande veiligheidsmechanismen voor Multimodale Large Language Models (MLLM's) kampen met een kritieke afweging tussen veiligheid en nut (utility). Hoewel het finetunen van modellen robuuste veiligheid biedt, gaat dit vaak ten koste van de algemene bruikbaarheid. Omgekeerd bieden input-georiënteerde veiligheidsguardrails een lichtgewicht, niet-intrusief alternatief, maar lijden ze aan ernstige over-refusal (overmatige weigering).

Huidige guardrails werken onder een input-bewust paradigma, waarbij veiligheidsbeslissingen uitsluitend worden genomen op basis van de analyse van de input-beeld-tekstparen. Deze aanpak houdt geen rekening met de intrinsieke veiligheidscapaciteiten van het model. Zoals in het artikel wordt aangetoond, beschikken MLLM's vaak over interne alignment-mechanismen die schadelijke inputs kunnen transformeren naar veilige outputs (bijv. weigeringsstijl responsen, waarschuwingen of ammendaties). Echter, input-bewuste guardrails blokkeren deze interacties onvoorwaardelijk zodra de input als risicovol wordt gemarkeerd, ongeacht of het model een onschadelijke respons zou hebben gegenereerd. Dit leidt tot de afwijzing van onschuldige queries die louter risicovol lijken (bijv. "Hoe dood ik een Python-proces?" of "Waar kan ik een goede foto maken?"), wat de gebruikerservaring aanzienlijk verslechtert en de praktische bruikbaarheid beperkt.

2. Methodologie: Het OutGuard Framework

Om dit aan te pakken, stellen de auteurs OutGuard voor, een paradigmaverschuiving van input-bewuste naar output-bewuste veiligheidsguardrails. OutGuard opereert binnen de verborgen toestandsruimte (hidden state space) van het model om de veiligheid van de komende generatie te voorspellen voordat deze volledig is geproduceerd, in plaats van enkel het risico van de input te beoordelen.

Kerncomponenten:

• Gebruik van Hidden States: OutGuard extraheert representaties van de verborgen toestanden ($H_l$) uit het backbone LLM tijdens de inferentiefase (Fase S4 in de datastroom). Deze toestanden koppelen de interne dynamiek van het model aan de uiteindelijke output.
• Multi-Instance Contrastive Learning (MICL) Classifier:
  • Probleemformulering: De detectietaak wordt geformuleerd als een Multiple Instance Learning (MIL) probleem. Een sequentie van verborgen toestanden van een gegenereerde output wordt behandeld als een "bag" (zak), waarbij individuele token-representaties de "instances" (instanties) zijn. Het bag-niveau label (Veilig/Onveilig) is bekend, maar de specifieke schadelijkheid op token-niveau is latent.
  • Architectuur: De MICL-classifier maakt gebruik van een gated attention mechanisme om token-niveau representaties te aggregeren tot een bag-niveau representatie ($z_l$). Dit mechanisme leert te focussen op instanties met een hoge aandacht (waarschijnlijk schadelijke tokens) terwijl ruis wordt onderdrukt.
  • Trainingsdoelstelling: De classifier wordt getraind met een samengestelde verliesfunctie:
    1. Binary Cross-Entropy Loss ($L_{cls}$): Voor classificatie op bag-niveau.
    2. Entropy Regularization ($L_{ent}$): Om schaarsheid (sparsity) in de attention-gewichten te stimuleren, waardoor het model gedwongen wordt zich op specifieke, saillante tokens te concentreren.
    3. Intra-bag Contrastive Loss ($L_{con}$): Een InfoNCE-stijl verlies dat de gelijkenis tussen hoog-aandacht (positieve) instanties maximaliseert en de gelijkenis met laag-aandacht (negatieve) instanties binnen dezelfde bag minimaliseert.
• Laalselectie en Stemmen (Voting):
  • Een Safety-Score metriek wordt gebruikt om de prestaties van de op verschillende lagen getrainde MICL-classifiers te evalueren.
  • Alleen classifiers van lagen met een Safety-Score > 0.9 worden geselecteerd.
  • Tijdens de inferentie stemmen de geselecteerde classifiers over de veiligheid van de verborgen toestanden. Een meerderheidsstem bepaalt de uiteindelijke beslissing (Veilig vs. Onveilig).

Operationele Workflow:
OutGuard draait als een onafhankelijke module naast de MLLM. Het voert veiligheidsdetectie uit in één enkele pass tijdens de inferentie, waarbij de verborgen toestanden worden geanalyseerd terwijl ze worden gegenereerd. Als het systeem een onveilige output voorspelt, grijpt het in; anders gaat de generatie door. Dit voorkomt de noodzaak voor extra queries of significante latentie-overhead.

3. Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het artikel identificeert de kernoorzaak van over-refusal als de afhankelijkheid van input-bewuste paradigma's en stelt een verschuiving voor naar output-bewuste veiligheidsevaluatie.
2. OutGuard Framework: Een nieuw framework dat gebruikmaakt van verborgen toestandsrepresentaties en een Multi-Instance Contrastive Learning (MICL) classifier om de veiligheid van de output direct te beoordelen, waarbij onderscheid wordt gemaakt tussen inputs die leiden tot schadelijke outputs en inputs die het model intern neutraliseert.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat OutGuard de over-refusal rates aanzienlijk vermindert, terwijl de sterke detectieprestaties tegen schadelijke inhoud en jailbreak-aanvallen behouden blijven.

4. Experimentele Resultaten

De auteurs hebben OutGuard geëvalueerd op LLaVA 1.6 en Qwen 3.5 met behulp van datasets zoals GQA, AdvBench, SafeBench, MM-Vet, MM-SafetyBench en XSTest. De baselines omvatten HiddenDetector, QGuard, LoD en ProGuard.

• Balans tussen Veiligheid en Nut: OutGuard behaalde superieure prestaties over alle metrieken. Op de testset behield het een lage Unsafe Response rate naar Unsafe Prompts (URUP < 0.1) terwijl de Abstention Response rate naar Safe Prompts drastisch werd verminderd (ARSP < 0.1). Bijvoorbeeld, op LLaVA behaalde OutGuard een F1-score van 0.9335 en een ARSP van 0.0749, waarmee het de op één na beste methode (LoD-PP) met een ARSP van 0.1124 versloeg.
• Mitigatie van Over-Refusal: Op de XSTest dataset (onschuldige queries die schadelijk lijken) verminderde OutGuard de over-refusal rates aanzienlijk vergeleken met de baselines (bijv. 0.5840 vs. 0.7400 voor LLaVA).
• Robuustheid: OutGuard demonstreerde sterke robuustheid tegen jailbreak-aanvallen (Visual-Adversarial-Examples, HADES, JOOD), waarbij bijna perfecte classificatiemetrieken (AUPRC/AUROC > 0.97) werden behaald terwijl de over-refusal laag bleef.
• Efficiëntie: De methode introduceert minimale latentie. De gemiddelde beslistijd per sample was 0.208 seconden, vergelijkbaar met of sneller dan veel baselines (bijv. QGuard met 3.154s) en aanzienlijk sneller dan post-output methoden.
• Ablatie-studies: Het verwijderen van sleutelcomponenten (gating module, contrastive learning of sparsity regularization) leidde tot een ernstige degradatie van de detectiecapaciteit, wat de noodzaak van de MICL-architectuur bevestigt.

5. Betekenis en Claims

Het artikel claimt dat OutGuard een praktische oplossing biedt voor de veiligheid-nut trade-off in MLLM's. Door de focus te verleggen van inputrisico naar daadwerkelijke outputschade, behoudt de methode de ingebouwde veiligheidscapaciteiten en de algemene bruikbaarheid van het model. De auteurs benadrukken dat hun aanpak een precieze interventie mogelijk maakt wanneer de werkelijke respons van het model daadwerkelijk schadelijk zou zijn, waardoor het onnodig blokkeren van onschuldige interacties wordt voorkomen.

Het werk onderstreept het belang van output-bewuste veiligheidsmechanismen en toont aan dat lichtgewicht classifiers, getraind op verborgen toestanden, over-refusal effectief kunnen mitigeren zonder de detectie van echte dreigingen in gevaar te brengen of het trainen van het model opnieuw te vereisen. De code is beschikbaar gesteld om verder onderzoek in deze richting te faciliteren.