SafeCap: Improving LVLM Safety with Image Captioning Reinforcement Learning

Technische Samenvatting: SafeCap

Probleemstelling

Large Vision-Language Models (LVLMs) erven instructievolgende capaciteiten van hun taal-backbones, maar blijven kwetsbaar voor jailbreak-aanvallen die gebruikmaken van visuele inputs. In tegen tegenstelling tot tekstgebaseerde modellen, die kunnen vertrouwen op taal-georiënteerde weigeringsbeleid, moeten LVLMs veiligheidsrelevante bewijslast binnen een afbeelding waarnemen, deze afstemmen op gebruikersverzoeken en vervolgens besluiten over een antwoord. Dit creëert faalmodi waarbij schadelijke instructies zijn ingebed in typografische afbeeldingen, gevaarlijke intenties worden gesuggereerd door objecten, of waarbij onschuldige prompts pas onveilig worden na visuele gronding. Bestaande methoden voor veiligheidsafstemming slagen er vaak niet in om deze multimodale specifieke dreigingen te dekken.

Huidige defensies vallen uiteen in twee categorieën:

1. Interventies tijdens de inferentie: Methoden zoals ECSO zetten afbeeldingen om naar tekst om gebruik te maken van de veiligheid aan de taalzijde. Echter, de conversie van afbeelding-naar-tekst gaat vaak gepaard met het verlies van fijnmazige visuele details (bijv. veiligheidsrelevante objecten, zichtbare tekst of context), waardoor het downstream tekst-alleen model niet in staat is om een veilige beslissing te nemen.
2. Afstemming tijdens de training: Methoden die gebruikmaken van gecureerde voorkeursdata of safety fine-tuning (SFT) worstelen vaak met de afweging tussen het verbeteren van weigering op kwaadwillige inputs versus het behouden van visuele perceptie op onschuldige inputs.

De kernuitdaging is om LVLMs af te stemmen op het herkennen van en reageren op visuele veiligheidscues zonder de bruikbaarheid van het visuele begrip van het model op te offeren of te vertrouwen op breekbare wrappers tijdens de inferentie.

Methodologie: SafeCap

SafeCap is een reinforcement learning (RL) raamwerk dat LVLMs afstemt via geleerde zelf-beschrijving (self-captioning). In plaats van afbeelding-beschrijving (image captioning) te behandelen als een aanvullende verklaring of een post-hoc defensie, formuleert SafeCap veiligheidsafstemming als een zelf-beschrijvingsprobleem waarbij het model een expliciete, veiligheidsrelevante intermediaire representatie genereert voordat het een definitief antwoord produceert.

Raamwerk Overzicht

Voor elk afbeelding-vraag paar $(x, q)$ wordt het beleidsmodel $\pi_\theta$ getraind om een gestructureerd antwoord te produceren $y = \langle \text{caption} \rangle c \langle / \text{caption} \rangle a$, waarbij $c$ een tekstuele beschrijving van de afbeelding is en $a$ het uiteindelijke antwoord. Het trainingsdoel optimaliseert drie onderscheidende signalen:

1. Template Beloning ($R_{tmp}$): Een binaire poort die ervoor zorgt dat de output precies één volledige caption-block bevat en een niet-leeg antwoord, wat structurele degeneratie voorkomt.
2. Direct Antwoord Beloning ($R_{ans}$): Evalueert het uiteindelijke antwoord $a$ van het beleidsmodel met behulp van een judge-model dat een retentiescore $u(a)$ (bruikbaarheid) en een risicoscore $h(a)$ (schadelijkheid) toekent. De beloning wordt berekend met een exponentiële risico-kortingsfunctie: $S(u, h) = u \cdot \gamma^h$, waarbij $\gamma \in (0, 1)$. Deze multiplicatieve vorm zorgt ervoor dat antwoorden met een hoog risico snel in waarde dalen, wat "niets doen"-gedrag ontmoedigt terwijl veilige, informatieve reacties worden beloond.
3. Caption-Gemedieerde Beloning ($R_{cap}$): Dit is de kerninnovatie. De gegenereerde caption $c$ wordt gerouteerd naar een bevroren tekst-alleen LLM (die de afbeelding nooit ziet) samen met de oorspronkelijke vraag $q$. De bevroren LLM genereert een antwoord $a_f$. De beloning beoordeelt twee factoren:
   • Beschrijvende Dekking: Een score $u(c)$ die de dekking van de caption met betrekking tot onderwerpen, attributen, acties, ruimtelijke lay-out en zichtbare tekst meet.
   • Veiligheidsafstemming: Een binair signaal $g(q, a, a_f)$ dat 1 retourneert als het antwoord $a$ van het beleidsmodel en het antwoord $a_f$ van de bevroren LLM het eens zijn over de veiligheidsstatus van de situatie (d.w.z. beiden het risico herkennen of beiden het veilig achten).
   • De caption-beloning wordt gedefinieerd als $R_{cap} = g(q, a, a_f) \cdot u(c)$. Dit stimuleert het beleid om captions te genereren die voldoende visueel bewijs bevatten zodat een tekst-alleen redeneerder tot een veiligheids-afgestemde beslissing kan komen.

Optimalisatie

SafeCap maakt gebruik van Group Relative Policy Optimization (GRPO). Voor elke prompt samplet het beleid een groep van $K=8$ rollouts. De advantage-functie wordt geconstrueerd met behulp van component-gewijze groep-normalisatie van de drie beloningssignalen ($R_{tmp}, R_{cap}, R_{ans}$) om verschillende schalen en varianties te hanteren. De bevroren LLM en de judge-modellen worden uitsluitend gebruikt voor de berekening van de beloning en worden nooit bijgewerkt.

Belangrijkste Bijdragen

1. Veiligheidsbewuste Zelf-Beschrijvingsformule: Het artikel herkadert de veiligheidsafstemming van LVLMs als een zelf-beschrijvings-taak, waarbij het model wordt vereist een expliciete intermediaire representatie te genereren die veiligheidsrelevante visuele bewijslast blootlegt voordat het antwoord geeft.
2. Caption-Gemedieerd Reinforcement Doel: Een dubbel signaal-beloningsmechanisme wordt geïntroduceerd dat de directe evaluatie van het uiteindelijke antwoord combineert met een signaal van een bevroren LLM. Dit signaal verifieert of de gegenereerde caption een veiligheids-afgestemd antwoord ondersteunt vanuit een tekst-alleen redeneerder, waardoor de kloof tussen perceptie en afstemming effectief wordt overbrugd.
3. Multi-Protocol Evaluatie: De auteurs bieden een uitgebreide evaluatie over vijf multimodale veiligheidsbenchmarks en zes visuele bruikbaarheidsbenchmarks, waarbij de Direct, DirectCap (het beoogde werkpunt) en Prism (caption-alleen) inferentieprotocollen worden vergeleken.

Resultaten

Experimenten werden uitgevoerd op Qwen3.5 modellen (2B, 2B-Base, 4B, 4B-Base) getraind op de publieke SPA-VL dataset.

• Veiligheidswinst: Onder het DirectCap protocol verbetert SafeCap de geaggregeerde veiligheidsprestaties aanzienlijk. Over vier modelinstellingen heen steeg de gemiddelde veiligheid met 3,7 tot 19,0 punten. Met name het 4B-Base model zag een stijging van 19,0 punten in de gemiddelde veiligheid, terwijl de gemiddelde visuele bruikbaarheid nagenoeg ongewijzigd bleef.
• Behoud van Bruikbaarheid: In tegen tegenstelling tot sommige methoden voor veiligheid-fine-tuning die de prestaties verslechteren, behoudt SafeCap of verbetert het de visuele bruikbaarheidsscores op benchmarks zoals MM-Vet, BLINK en MMVP.
• Vergelijkende Prestaties:
  • SafeCap presteert beter dan standaard Safety SFT en DPO wanneer ze op dezelfde data en stappen zijn getraind.
  • In een gecontroleerde vergelijking met de data van SafeGRPO (SafeTag-VL-3K), behaalde SafeCap een DirectCap veiligheidsgemiddelde van 55,06 vergeleken met 41,27 voor SafeGRPO, terwijl de bruikbaarheid vergelijkbaar bleef.
• Ablatie-studies: Het verwijderen van de caption-beloning of de directe antwoord-beloning verslechtert zowel de veiligheid als de bruikbaarheid aanzienlijk, wat bevestigt dat beide signalen noodzakelijk zijn. De ontkoppelde beloningsnormalisatie bleek bijzonder cruciaal voor de Direct en DirectCap prestaties.

Betekenis en Claims

Het artikel claimt dat SafeCap de waarde aantoont van het integreren van perceptiezijde-bewijs in de multimodale veiligheidsafstemming. Door de LVLM te trainen om expliciet veiligheidsrelevante visuele cues in een caption te ontsluiten, stemt de methode de visuele perceptie van het model af op zijn veiligheidsbeleid, zonder uitsluitend te vertrouwen op weigerings-prompting of breekbare wrappers tijdens de inferentie.

De auteurs benadrukken dat het DirectCap pad (waarbij het getrainde model een caption genereert en vervolgens antwoordt) het beoogde werkpunt is, wat de meest consistente veiligheidswinst biedt. Hoewel het "Prism" protocol (het gebruik van een bevroren LLM om te antwoorden op basis van de caption) enige overdraagbaarheid vertoont, is de primaire bijdrage het geleerde vermogen van de LVLM zelf om veiligheidsbewuste beschrijvingen te maken. Het werk suggereert dat caption-gemedieerde reinforcement learning een praktische en effectieve richting is voor toekomstige gemeenschapsinspanningen op het gebied van multimodale veiligheid, als aanvulling op conventionele afstemming aan de output-zijde.