💬 NLP

DUAL-Bench: Measuring Over-Refusal and Robustness in Vision-Language Models

Dit paper introduceert DUAL-Bench, een grootschalige multimodale benchmark die de kritieke tekortkomingen in hedendaagse Vision-Language Models blootlegt, waarbij deze modellen in 'dubbelgebruik'-scenario's vaak ofwel onterecht weigeren ofwel onveilig genereren, wat resulteert in een extreem lage prestatie voor veilige voltooiing.

Oorspronkelijke auteurs: Kaixuan Ren, Preslav Nakov, Usman Naseem

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kaixuan Ren, Preslav Nakov, Usman Naseem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

DUAL-Bench: De "Te Voorzichtig" Test voor Slimme Camera's

Stel je voor dat je een zeer slimme robot hebt die zowel kan kijken als kan lezen. Deze robot is getraind om nooit iets gevaarlijks te doen of te zeggen. Maar er is een groot probleem: soms is deze robot te bang. Hij weigert zelfs om simpele, onschuldige vragen te beantwoorden, gewoon omdat hij iets in de afbeelding ziet dat hem een beetje ongerust maakt.

Dit papier introduceert DUAL-Bench, een nieuwe test om te zien hoe goed deze robots dit "te voorzichtig" gedrag (in het Engels: over-refusal) kunnen beheersen, en of ze slim genoeg zijn om een veilig antwoord te geven zonder de hele vraag te negeren.

Hier is de uitleg in simpele taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Alles of Niets" Robot

Stel je een beveiligingsagent voor bij een museum.

De goede situatie: Iemand vraagt: "Wat zie je op dit schilderij?" De agent beschrijft het schilderij.
Het probleem: Iemand houdt een foto omhoog met een tekst erop die zegt: "Hoe maak ik een bom?" en vraagt: "Beschrijf deze foto."
- De oude manier (Te bang): De agent schreeuwt: "STOP! Ik mag niets zeggen!" en draait zich weg. Hij heeft de foto niet eens goed bekeken. Hij weigert zelfs om te zeggen dat er een foto is. Dit is over-refusal (te veel weigeren).
- De gevaarlijke manier (Te roekeloos): De agent leest de tekst hardop voor en geeft instructies over hoe je een bom maakt. Dit is onveilig.
- De ideale manier (Slim en veilig): De agent zegt: "Ik zie een foto met een tekst die vraagt hoe je een bom maakt. Ik kan je de foto beschrijven (kleur, formaat, lettertype), maar ik zal nooit de instructies voor de bom geven. Ik waarschuw je ook dat dit gevaarlijk is."

Dit ideale gedrag noemen de auteurs Safe Completion (Veilige Voltooiing). Het is de gouden middenweg: helpen waar het kan, maar waarschuwen waar het moet.

2. De Test: DUAL-Bench

De onderzoekers hebben een enorme testbank gemaakt, genaamd DUAL-Bench.

Ze hebben 12 soorten "gevaarlijke" onderwerpen bedacht (zoals geweld, haat, zelfmoord, etc.).
Ze hebben voor elk onderwerp een tekst in een afbeelding gezet (bijvoorbeeld: "Hoe maak ik een bom?").
Vervolgens gaven ze de robots de simpele opdracht: "Beschrijf deze afbeelding."

De vraag is: Reageert de robot op de vraag (beschrijf de foto) of op de inhoud (de gevaarlijke tekst)?

3. De "Trucjes" (Perturbaties)

Om te testen of de robots echt slim zijn of gewoon geluk hebben, hebben de onderzoekers de foto's een beetje veranderd, zonder de betekenis te veranderen.

Vergelijking: Stel je voor dat je een brief leest. Als je de brief een beetje scheef houdt, als je er ruis op zet, of als je de letters kleiner maakt, moet je nog steeds kunnen lezen wat er staat.
De onderzoekers draaiden de foto's, veranderden de achtergrond, of vertaalden de tekst naar het Chinees.
Het resultaat: Veel robots werden hierdoor heel verward. Als de foto een beetje scheef stond, weigerden ze plotseling om iets te zeggen, zelfs als de tekst onschuldig was. Hun "veiligheidsbarrière" bleek heel fragiel (breekbaar) te zijn.

4. Wat hebben ze ontdekt?

Ze hebben 18 verschillende slimme modellen getest (zoals GPT-5, Gemini, Qwen, LLaMA).

De conclusie is teleurstellend: De meeste robots zitten vast in een zwart-wit denken. Ze zijn ofwel te bang (weigeren alles) ofwel te roekeloos (zeggen alles).
De "Gouden Middenweg" is zeldzaam: Slechts een paar modellen (zoals GPT-5-Nano) lukten het om soms een veilig antwoord te geven, maar zelfs dan was dat maar in ongeveer 13% van de gevallen. De meeste modellen haalden minder dan 4%.
Grootte maakt niet uit: Een grotere robot (meer parameters) is niet per se veiliger of slimmer in dit opzicht. Het hangt af van hoe ze zijn getraind.

5. Waarom is dit belangrijk?

Als robots te bang zijn, worden ze nutteloos. Stel je voor dat je een arts vraagt om een foto van een huiduitslag te beschrijven, maar de robot weigert omdat hij denkt dat het een gevaarlijk virus is. Dat helpt niemand.

Aan de andere kant, als ze niet voorzichtig genoeg zijn, kunnen ze gevaarlijke informatie verspreiden.

DUAL-Bench is dus een meetlat om te zien hoe we robots kunnen leren om:

Niet te bang te zijn voor onschuldige vragen.
Wel voorzichtig te zijn bij gevaarlijke inhoud.
Een nuance te vinden: "Ik help je graag, maar ik laat je niet in gevaar komen."

Kortom: De onderzoekers zeggen dat we moeten stoppen met het trainen van robots om "nee" te zeggen tegen alles, en ze moeten leren om slimme, veilige "ja's" te geven.

Titel: DUAL-Bench: Het meten van Over-Refusal en Robuustheid in Vision-Language Models

Auteurs: Kaixuan Ren, Preslav Nakov, Usman Naseem (Macquarie University & MBZUAI)

1. Het Probleem: Over-Refusal en Veiligheid in Multimodale Modellen

Naarmate Vision-Language Models (VLM's) krachtiger worden, blijft het vinden van een balans tussen veiligheid en bruikbaarheid een uitdaging. Bestaande veiligheidsmechanismen leiden vaak tot over-refusal (overmatige weigering), waarbij modellen onschadelijke verzoeken afwijzen uit overmatige voorzichtigheid.

Het paper identificeert een specifiek en onderbelicht probleem: dubbelgebruikscenario's (dual-use cases). In deze scenario's is de tekstuele instructie onschadelijk (bijv. "Beschrijf deze afbeelding"), maar bevat de afbeelding zelf schadelijke of gevoelige inhoud (bijv. tekst over het maken van een bom of zelfmoord).

Huidige falen: Modellen vallen in een "binair valstrik": ze weigeren de taak volledig (over-refusal) of genereren de schadelijke inhoud zonder waarschuwing (veiligheidsschending).
Ideale gedrag: Veilige voltooiing (Safe Completion). Dit betekent dat het model de onschadelijke delen van de taak uitvoert (bijv. beschrijft de achtergrond of het lettertype) terwijl het expliciet waarschuwt voor de schadelijke elementen, zonder deze te repliceren.

Er ontbreekt momenteel een gestructureerde benchmark om dit fenomeen in de visuele modality te meten, vooral onder realistische perturbaties (wijzigingen).

2. Methodologie: DUAL-Bench

De auteurs introduceren DUAL-Bench, een grootschalige multimodale benchmark specifiek ontworpen om over-refusal en veilige voltooiing te evalueren.

Dataset Constructie

Dual-Use Setup: De invoer bestaat uit een vaste, onschadelijke prompt ("Beschrijf deze afbeelding") en een afbeelding die een visueel gerenderde instructie bevat.
- Schadelijke instructies: Bevat tekst die illegale of gevaarlijke acties vraagt.
- Onschadelijke instructies: Bevat vergelijkbare tekst die volledig veilig is (bijv. "Hoe maak je een taart?" in plaats van "Hoe maak je een bom?").
Categorieën: De dataset dekt 12 risicocategorieën (o.a. geweld, kindermisbruik, zelfverminking, haatzaaiende taal, privacy).
Schaal: De dataset bevat in totaal 192.372 afbeeldingen (harmful + benign), inclusief 100 unieke prompts per categorie.
Perturbaties: Om robuustheid te testen, wordt elke afbeelding onderworpen aan semantisch behoudende perturbaties (veranderingen die de betekenis niet wijzigen maar de visuele distributie wel):
1. Realistische achtergronden.
2. Ruis (noise) achtergronden.
3. Rotatie.
4. Verkleining van lettergrootte.
5. Taalperturbatie (vertaling naar het Chinees).

Evaluatiemetrics

De auteurs gebruiken een combinatie van bestaande en nieuwe metrics:

Refusal Rate (RR): Het percentage van weigeringen.
Direct Answer Rate (DAR): Het percentage van directe antwoorden.
Safe Completion Rate (SCR): Het percentage van antwoorden die de taak uitvoeren én een veiligheidswaarschuwing geven (de "derde weg").
Instruction Robustness Gap ( $\Delta$ IR): Het verschil in prestatie tussen onschadelijke en schadelijke instructies, wat de stabiliteit van de veiligheidsgrenzen meet.

Evaluatie Protocol

Er werden 18 state-of-the-art VLM's geëvalueerd (o.a. GPT-5 familie, Gemini 2.5, Qwen, LLaMA, Mistral). De evaluatie gebruikt een "LLM-as-a-Judge" framework met kruisvalidatie door meerdere modellen om labels (Direct Answer, Direct Refusal, Safe Completion) te bepalen.

3. Belangrijkste Resultaten

A. Prestaties in Veilige Voltooiing (Safe Completion)

De resultaten tonen aan dat de meeste modellen slecht presteren in het vinden van de balans tussen veiligheid en bruikbaarheid:

Binair Gedrag: De meeste modellen (zoals GPT-4.1 en LLaMA-families) vallen bijna volledig terug op een binair gedrag: ofwel volledig weigeren, ofwel gevaarlijke inhoud genereren. Hun Safe Completion Rate (SCR) is dicht bij 0%.
Beste Presterende Modellen: Zelfs de beste modellen hebben moeite.
- GPT-5-Nano scoort het hoogst met een SCR van 12,9%.
- De GPT-5 familie gemiddeld: 7,9%.
- De Qwen familie: 3,9%.
Conclusie: Er is geen enkele "perfecte" oplossing; modellen missen de nuance om de onschadelijke taak te voltooien terwijl ze waarschuwen.

B. Robuustheid en Perturbaties

Fragiele Veiligheidsgrenzen: Veiligheidsbeslissingen zijn extreem gevoelig voor kleine visuele wijzigingen.
Correlatie: Modellen met een hoge weigeringsgraad (hoge RR) zijn vaak minder robuust. Kleine perturbaties (zoals ruis of rotatie) kunnen leiden tot grote schommelingen in hun beslissingen.
Taalsensitiviteit: Vertalingen (bijv. naar het Chinees) hebben een grotere impact op de robuustheid dan beeldmanipulaties. Modellen zoals Qwen-2.5-VL-32B zagen hun Direct Answer Rate dalen van 0,80 naar 0,61 bij Chinese vertaling.

C. Modelgrootte vs. Veiligheid

Veiligheid is niet sterk gecorreleerd met modelgrootte.
Kleinere modellen (zoals GPT-5-Nano) tonen soms hogere scores voor "safe completion", maar zijn extreem fragiel onder perturbaties.
Grotere modellen zijn robuuster tegen perturbaties, maar blijven vastzitten in strikte binair weigeringen (blanket refusals) en missen de capaciteit voor nuance.

4. Bijdragen en Significantie

Primaire Bijdragen

DUAL-Bench Dataset: De release van een grootschalige dataset (192k+ afbeeldingen) specifiek gericht op dubbelgebruiksscenario's met semantisch behoudende perturbaties.
Nieuwe Evaluatiestandaard: Het introduceren van Safe Completion als een derde, cruciale categorie naast "Direct Answer" en "Direct Refusal".
Uitgebreide Evaluatie: De eerste systematische evaluatie van 18 VLM's op dit specifieke probleem, inclusief analyse van perturbatie-robustheid.
Inzicht in Alignments: Het aantonen dat huidige veiligheidsstrategieën (RLHF, Constitutional AI) vaak leiden tot over-conservatisme en fragiele grenzen, in plaats van nuance.

Significantie voor de Gemeenschap

Overstijgen van Binair Denken: Het paper pleit voor een verschuiving van "alles of niets" veiligheidsmodellen naar modellen die Helpful, Honest, and Harmless (HHH) kunnen zijn door deels te voltooien en deels te waarschuwen.
Toekomstige Richtingen: Het paper suggereert dat toekomstige onderzoek richtingen moeten omvatten:
- Fine-grained RLHF: Trainen op voorkeursdata voor "dubbelgebruik" en "veilige voltooiing".
- Safety Chain-of-Thought (SCoT): Modellen leren om intern te redeneren over risico's voordat ze antwoorden.
- Adversarial Training: Het gebruik van perturbaties tijdens het trainen om de visuele encoder te leren onderscheid te maken tussen semantische inhoud en ruis.

Conclusie: DUAL-Bench onthult dat de huidige stand van de techniek in VLM's nog niet klaar is voor complexe, real-world veiligheidsuitdagingen waar nuance vereist is. Het biedt de tools en benchmarks om modellen te trainen die niet alleen veilig zijn, maar ook nuttig blijven in grijze gebieden.