Technische Samenvatting: Het heroverwegen van knelpunten in de veiligheidsfine-tuning van Vision Language Models

Probleemstelling

Large Vision-Language Models (VLMs) hebben uitzonderlijke capaciteiten getoond in multimodale taken, maar worden geconfronteerd met aanzienlijke uitdagingen wanneer ze worden ingezet in veiligheidskritische domeinen. Bestaande methoden voor veiligheidsfine-tuning, die primair vertrouwen op Textuele Supervised Fine-Tuning (SFT) of enkelvoudige-afbeelding Multimodale SFT (bijv. VLGuard), vertonen kritieke knelpunten:

1. Veiligheidsvisuele Redeneergap: Huidige methoden missen het vermogen om over veiligheid te redeneren binnen visuele contexten. Ze falen vaak in het detecteren van onveilige intenties wanneer deze voortkomen uit de interactie tussen meerdere afbeeldingen en een onschuldige tekstuele query, in plaats van uit expliciete schadelijke elementen in een enkele afbeelding.
2. Overmatige Voorzichtigheid en Trade-offs: Fine-tuning op bestaande datasets leidt vaak tot "over-conservatisme", waarbij modellen weigeren te antwoorden op onschuldige queries (bijv. reageren met "Het spijt me" op veilige inputs). Omgekeerd falen methoden die pogingen doen om weigeringen te verminderen vaak bij het generaliseren naar uitdagende veiligheidsscenario's, wat resulteert in een hoge Attack Success Rate (ASR) bij complexe taken.
3. Beperkingen van Single-Image Paradigma's: De meeste veiligheidsbenchmarks en trainingsdata vertrouwen op single-image inputs. Naarmate VLMs geavanceerder worden in multi-image begrip, vergroot de veiligheidskloof omdat bestaande waarborgen niet effectief de contextuele risico's kunnen interpreteren die ontstaan door het combineren van meerdere visuele inputs.

Methodologie

Om deze beperkingen aan te pakken, stellen de auteurs een nieuw framework voor dat gecentreerd is rond de Multi-Image Safety (MIS) dataset en de MIRage (Multi-Image Reasoning Safety) fine-tuning benadering.

1. De constructie van de MIS Dataset

De MIS dataset is de eerste multi-image veiligheidsdataset die is ontworpen om het veiligheidsgerelateerde visuele waarnemings- en redeneervermogen te evalueren en te verbeteren. Deze bestaat uit:

• Trainingsset (4k samples): Multi-image paren gekoppeld aan tekstinstructies die onveilige intenties creëren (bijv. een gereedschap uit Afbeelding A gebruiken om een object in Afbeelding B te manipuleren). Cruciaal is dat de tekstinstructies gedetoxificeerd zijn (neutraal), terwijl het veiligheidsrisico voortkomt uit de visuele combinatie.
• Testset (2185 samples): Verdeeld in drie subsets:
  • MIS-easy: Bevat expliciete onveilige elementen in de afbeeldingen.
  • MIS-hard: Bevat enkel onschuldige afbeeldingen waarbij de onveilige intentie uitsluitend wordt afgeleid uit de relatie tussen de afbeeldingen en de query.
  • MIS-real: Gebruikt real-world afbeeldingen die uit datasets zijn opgehaald om generalisatie te testen.
• Constructie Pipeline: De dataset wordt gegenereerd via een vierstaps geautomatiseerde pipeline die bestaat uit:
  1. Extractie van Schadelijke Elementen: Gebruik van LLM's (Qwen2.5, InternVL) om onveilige concepten uit bestaande benchmarks te extraheren.
  2. Generatie van Tekstinstructies & Detoxicatie: Genereren van schadelijke queries waarbij twee objecten betrokken zijn, gevolgd door het verfijnen van deze naar neutrale instructies (bijv. het vervangen van "het smokkelen van artefacten" door "het transporteren van objecten in de eerste afbeelding").
  3. Auto-Refinement T2I Generatie: Gebruik van Stable Diffusion 3.5 Large om afbeeldingen te genereren, die vervolgens door VLMs worden verfijnd om de uitlijning met de tekst te waarborgen.
  4. Multi-Expert Filtering: Menselijke experts en GPT-4o filteren en classificeren de data in training-, easy-, hard- en real-subsets.

2. Safety Chain-of-Thought (CoT) Labels

Een kerninnovatie is de constructie van Safety CoT labels voor de trainingsset. In plaats van eenvoudige afwijzingsreacties (bijv. "Ik kan dat niet doen"), leiden de labels het model om:

1. Visuele Waarneming uit te voeren: Objecten in beide afbeeldingen identificeren.
2. Visueel Redeneren uit te voeren: De relatie tussen de afbeeldingen en de tekst analyseren om potentiële schadelijke intentie af te leiden.
3. Een Veilige Respons te genereren: Een behulpzame, contextbewuste weigering of waarschuwing geven die uitlegt waarom het verzoek onveilig is, in plaats van een algemene weigering.

3. De MIRage Fine-Tuning Benadering

De auteurs introduceren MIRage, een fine-tuning strategie die gebruikmaakt van de MIS trainingsset.

• Data Compositie: De trainingsset bevat 4k veiligheidsgerelateerde multi-image samples en 500 algemene QA samples (11% van het totaal), wat aanzienlijk lager is dan de 33% algemene data ratio gebruikt in eerdere werken zoals VLGuard.
• Trainingsdoel: Het model wordt getraind om visuele waarnemings- en redeneerlogica te integreren in zijn veiligheidsreacties, met als doel een balans te vinden tussen behulpzaamheid en ongevaarlijkheid zonder de algemene capaciteiten op te offeren.

Belangrijkste Bijdragen

1. Identificatie van Knelpunten: Het paper analyseert bestaande veiligheidsfine-tuning methoden en onthult dat hun falen op uitdagende taken (zoals MSSBench) voortkomt uit een gebrek aan veiligheidsvisueel redeneren en het gebruik van simplistische afwijzingsgebaseerde labels die overmatige voorzichtigheid veroorzaken.
2. MIS Dataset: De introductie van de eerste multi-image veiligheidsdataset, voorzien van een trainingssplit voor het verbeteren van visueel redeneren en drie niveaus van testsplits (easy, hard, real) voor rigoureuze evaluatie.
3. MIRage Framework: Een nieuw fine-tuning paradigma dat gebruikmaakt van Safety CoT labels. Het toont aan dat het verbeteren van visuele redeneercapaciteiten modellen in staat stelt om complexe multi-image veiligheidsscenario's effectief te behandelen.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat MIRage zowel open-source als API-gebaseerde modellen overtreft op multi-image veiligheidstaken, terwijl algemene capaciteiten worden behouden of zelfs licht worden verbeterd.

Experimentele Resultaten

De auteurs hebben MIRage primair geëvalueerd op InternVL2.5-8B, waarbij het is vergeleken met baselines zoals Textual SFT, VLGuard (P en R varianten), en diverse state-of-the-art VLMs (bijv. Qwen2-VL, LLaVA-OV, GPT-4o, Gemini-1.5-pro).

• Veiligheidsprestaties:

  • Op de MIS testset heeft MIRage de Attack Success Rate (ASR) teruggebracht tot bijna nul (bijv. 0,24% op MIS-easy, 0,20% op MIS-hard, 0,00% op MIS-real) voor InternVL2.5-8B, vergeleken met ~80-90% ASR voor baseline modellen.
  • Het heeft de Reasoning Success Rate (RSR) aanzienlijk verhoogd, wat aangeeft dat modellen risico's succesvol identificeren door middel van redeneren in plaats van willekeurige weigering.
  • MIRage presteerde beter dan baselines op uitdagende benchmarks zoals MSSBench (onveilige scenario's) en SIUO (onveilige inputs, onveilige outputs), waar bestaande methoden vaak faalden of overmatige voorzichtigheid vertoonden.

• Algemene Capaciteiten:

  • In tegen tegenstelling tot VLGuard en Textual SFT, die vaak de algemene prestaties verslechteren (vooral op multi-image benchmarks zoals MMT-Bench en MuirBench), behield en verbeterde MIRage de algemene capaciteiten licht.
  • Fine-tuning met MIS verhoogde de gemiddelde nauwkeurigheid met 0,83% over vijf algemene benchmarks (Q-Bench, MMStar, MMMU, MuirBench, MMT-Bench).
  • De methode bereikte dit met slechts 11% algemene data in de trainingsmix, wat aantoont dat veiligheidsredeneerlogica inherent de algemene instructie-opvolging kan ondersteunen.

• Generalisatie:

  • Ablatiestudies toonden aan dat de via MIRage geleerde veiligheidscapaciteiten generaliseren naar ongeziene veiligheidscategorieën (bijv. Privacy en Zelfbeschadiging) en zelfs overdragen naar tekst-only jailbreak scenario's (AdvBench).

Betekenis en Claims

Het paper claimt dat de primaire bottleneck in huidige VLM-veiligheid niet een gebrek aan data is, maar een gebrek aan veiligheidsvisueel redeneren en het gebruik van te versimpelde trainingslabels. Door de paradigma te verschuiven van single-image afwijzing naar multi-image redeneren met Chain-of-Thought logica, demonstreren de auteurs dat:

1. Veiligheid en Behulpzaamheid niet wederzijds uitsluitend zijn: Modellen kunnen worden getraind om zeer veilig te zijn in complexe scenario's zonder overmatig conservatief te worden of algemeen nut te verliezen.
2. Multi-Image Context Cruciaal is: Naarmate VLMs evolueren om multi-image inputs te verwerken, moet veiligheidsevaluatie en -training evolueren voorbij single-image paradigma's om contextuele risico's aan te pakken.
3. Redeneren de Sleutel is: Het integreren van redeneerlogica in veiligheidslabels is effectiever dan eenvoudige afwijzing, waardoor modellen het verschil kunnen zien tussen veilige en onveilige scenario's in genuanceerde, multimodale contexten.

De auteurs concluderen dat hun werk de basis legt voor toekomstig onderzoek naar meer geavanceerde veiligheidsdata en strategieën die specifief zijn ontworpen voor de multi-image setting, waarmee een kritiek gat in de implementatie van veilige VLMs wordt gedicht.