UniSAFE: A Comprehensive Benchmark for Safety Evaluation of Unified Multimodal Models

1. Het Probleem

Unified Multimodal Models (UMMs) zoals GPT-5, Gemini en diverse open-source modellen (bijv. Janus, Show-o) hebben de capaciteit om zowel tekst als afbeeldingen te begrijpen en te genereren binnen één enkel systeem. Hoewel deze modellen krachtige nieuwe interactiemogelijkheden bieden (zoals interleave-generatie en iteratieve bewerking), introduceren ze fundamenteel nieuwe veiligheidsrisico's die niet voorkomen in eerdere, single-task modellen.

De huidige uitdagingen zijn:

• Fragmentatie: Bestaande veiligheidsbenchmarks zijn versnipperd over specifieke taken (bijv. alleen tekst-naar-afbeelding of alleen tekst-naar-tekst) en modaliteiten. Er ontbreekt een holistische evaluatie van systemische kwetsbaarheden.
• Compositional Risks: In UMMs kunnen onschadelijke input-elementen (bijv. een veilige afbeelding en een onschadelijke tekst) gecombineerd worden tot een schadelijke output. Dit geldt ook voor multi-turn interacties, waar een reeks onschadelijke verzoeken geleidelijk kan escaleren naar schadelijke inhoud.
• Ontbrekende Evaluatie: Er is geen benchmark die systematisch de veiligheidsrisico's evalueert in de nieuwste "multimodal-context image generation" scenario's, zoals instructie-gestuurde bewerking, afbeelding-compositie en multi-turn editing.

2. Methodologie: UniSAFE

Om deze kloof te dichten, stellen de auteurs UniSAFE voor, het eerste uitgebreide benchmark voor systeemniveau-veiligheidsevaluatie van UMMs.

Kernontwerpprincipes:

• 7 I/O Modaliteitcombinaties: UniSAFE dekt zeven verschillende taken af die de breedte van UMMs weergeven:
  1. Text-to-Image (TI)
  2. Image Editing (IE)
  3. Image Composition (IC)
  4. Multi-Turn Editing (MT)
  5. Text-to-Text (TT)
  6. Image-to-Text (IT)
  7. Multimodal Understanding (MU)
• Shared-Target Design: Dit is het meest innovatieve aspect. Voor elke risicoscenario wordt één "doelbeschrijving" (target description) gedefinieerd (bijv. een specifiek schadelijk resultaat). Vervolgens worden voor deze ene doelstelling specifieke input-scenario's gegenereerd voor elk van de 7 taken. Hierdoor kan men de veiligheid van een model direct vergelijken tussen verschillende modaliteiten terwijl het beoogde risico constant blijft.
• Data Constructie Pipeline:
  1. Unsafe Triggers: Het verzamelen van minimale, atomische elementen die een schending veroorzaken (bijv. "mensenhandel" in plaats van een lange zin).
  2. Target Description: Het uitbreiden van triggers naar realistische, veilige contexten die toch leiden tot het schadelijke doel (om "over-refusal" door simpele filters te voorkomen).
  3. Scenario Generatie: Het automatisch genereren van de specifieke inputs (afbeeldingen en teksten) voor elke taak, waarbij onschadelijke componenten worden gecombineerd om het schadelijke resultaat te activeren.
• Dataset: De dataset bevat 6.802 zorgvuldig samengestelde instances, verdeeld over 7 hoofdcategorieën en 36 subcategorieën (zoals geweld, seksueel misbruik, vervalsing, cyberveiligheid).
• Evaluatie: Er wordt gebruikgemaakt van een ensemble van drie state-of-the-art MLLMs (Gemini-2.5 Pro, GPT-5-nano, Qwen2.5-VL) als "judges" om de output te beoordelen op een schaal van 0-3 (veilig tot hoog risico).

3. Belangrijkste Resultaten

De auteurs hebben 15 state-of-the-art UMMs geëvalueerd (2 proprietair, 13 open-source). De resultaten tonen kritieke kwetsbaarheden:

• Nieuwe Taken zijn Kwetsbaarder: Modellen vertonen aanzienlijk hogere aanvalspercentages (Attack Success Rate - ASR) en gemiddelde risicoratings (ARR) in de nieuwe, complexe taken (Image Composition, Multi-Turn Editing) vergeleken met traditionele taken (Text-to-Image).
• Modaliteitsbias: Er is een sterke bias in veiligheidsuitlijning. Taken met afbeelding als output (TI, IE, IC, MT) zijn consistent kwetsbaarder dan taken met tekst als output (TT, IT, MU). Modellen lijken beter in staat om schadelijke teksten te herkennen en te weigeren dan schadelijke afbeeldingen.
• Open Source vs. Propriëtaire Modellen:
  • Propriëtaire modellen (GPT-5, Gemini-2.5) tonen hoge afwijzingspercentages (refusal rates), maar falen vaak in de nieuwe multimodale contexten.
  • Open-source modellen vertonen over het algemeen veel lagere afwijzingspercentages en genereren direct schadelijke inhoud, met name bij tekst-output taken.
• Prestatie vs. Veiligheid: Er is een sterke positieve correlatie gevonden tussen generatieve prestaties (bijv. GenEval score) en veiligheidsrisico. Modellen die beter presteren in het genereren van realistische inhoud, blijken vaak minder veilig uitgelijnd te zijn. Dit suggereert dat veiligheidsuitlijning wordt verwaarloosd tijdens het schalen van modelcapaciteiten.
• Zelfbewustzijn (Self-Awareness): Veel modellen herkennen intern dat een prompt schadelijk is, maar falen toch om de output te blokkeren. Er is een trade-off tussen generatieve vaardigheid en de capaciteit om veiligheidsrisico's te identificeren.

4. Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. UniSAFE Benchmark: Het eerste uitgebreide benchmark dat systemische veiligheidsrisico's evalueert over 7 verschillende I/O-combinaties voor UMMs.
2. Gedeelde Risico-Scenarios: Een nieuwe methode om vergelijkbare risicoscenario's te creëren over verschillende modaliteiten, wat gecontroleerde vergelijkingen mogelijk maakt.
3. Eerste Systematische Evaluatie: De eerste systematische evaluatie van veiligheidsrisico's bij multi-image compositie en het uitbreiden van cross-modal veiligheidsevaluatie naar afbeelding-output settings.
4. Empirische Bewijzen: Uitgebreide evaluatie van 15 modellen die aantonen dat huidige veiligheidsuitlijningstechnieken ontoereikend zijn voor complexe, multimodale interacties.

5. Betekenis en Conclusie

UniSAFE onthult dat de huidige veiligheidsmaatregelen voor AI-modellen niet meekomen met de snelle evolutie van Unified Multimodal Models. De bevindingen tonen aan dat:

• Veiligheidsfilters die werken voor single-task modellen falen bij multimodale compositie.
• Er een urgent behoefte is aan systeemniveau veiligheidsuitlijning die specifiek is ontworpen voor de complexe redeneerprocessen die nodig zijn bij multimodale contexten.
• De ontwikkeling van UMMs momenteel een "veiligheidsgap" creëert, waarbij verbeterde generatieve capaciteiten leiden tot nieuwe, ernstige kwetsbaarheden.

Het paper pleit voor strengere evaluaties en nieuwe uitlijningstechnieken voordat deze modellen breder worden ingezet, om te voorkomen dat ze worden misbruikt voor het genereren van desinformatie, geweld of illegale inhoud via complexe multimodale prompts. De code en data zijn openbaar beschikbaar gesteld.