💻 computer science

Auditing Inference-Time Defense Evaluation for Multimodal Large Language Models

Dit artikel presenteert een traceerbare vergelijkende audit van defensieve maatregelen tijdens de inferentietijd van multimodale grote taalmodellen, waarbij kritieke herkomstfouten in benchmarkgegevens en evaluatieprotocollen worden onthuld die eerdere claims over massale weigeringen ongeldig maken, terwijl de noodzaak voor strikte standaarden voor gegevensintegriteit in toekomstige veiligheidsbeoordelingen wordt benadrukt.

Oorspronkelijke auteurs: Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bulat Nutfullin, Vladimir Evgrafov, Dmitry Namiot

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de chef-kok bent van een zeer chique restaurant dat twee dingen tegelijkertijd serveert: een plaatje op een bord en een gesproken bestelling. Je doel is om ervoor te zorgen dat de keuken nooit iets gevaarlijks kookt, zelfs niet als iemand probeert de chef te misleiden door een "giftige" instructie in het plaatje te verbergen of op een vreemde manier te fluisteren. Dit is de wereld van Multimodale Large Language Models (MLLMs). Dit zijn superintelligente computerbreinen die afbeeldingen kunnen "zien" en tekst kunnen "lezen", en vervolgens met je kunnen chatten. Maar omdat ze kunnen zien, kunnen kwaadwillenden proberen schadelijke commando's erin te smokkelen door ze in pixels te tekenen of in de achtergrond van een foto te verbergen.

Om dit te stoppen, hebben wetenschappers Inference-Time Defenses uitgevonden. Denk aan deze als beveiligers die direct bij de keukendeur staan. Ze veranderen niet het recept van de chef (het brein van het model); in plaats daarvan controleren ze de bestelling voordat deze de keuken ingaat, of controleren ze het uiteindelijke gerecht voordat het naar buiten gaat. Sommige bewakers voegen een beleefde waarschuwing toe aan de bestelling, terwijl anderen de afbeelding een beetje laten trillen om verborgen trucjes te vervagen. De grote vraag voor iedereen in de AI-veiligheidswereld is: Welke bewaker doet eigenlijk het beste werk? Als we de bewakers niet kunnen vertrouwen, kunnen we per ongeluk een gevaarlijke maaltijd serveren, of erger nog, we zijn zo bang voor gevaar dat we helemaal geen eten meer willen serveren.

De Grote Keukenaudit: Toen de Scorekaart Verkeerd Was

Een team onderzoekers uit Moskou besloot een detective te spelen. Ze bouwden geen nieuwe bewakers; in plaats daarvan gingen ze in de archieven van een recent experiment dat beweerde drie verschillende beveiligingsbewakers te testen (geïnspireerd door methoden genaamd RapGuard, AdaShield en SmoothVLM) over acht verschillende AI-chefs. Ze wilden zien wie de beste was. Maar terwijl ze door de dossiers groeven, vonden ze een puinhoop van gebroken links, ontbrekende ingrediënten en verwarde scorekaarten.

Dit is wat zij ontdekten, geserveerd met een bijgerecht van de realiteit.

1. Het Mysterie van het "Ontbrekende Ingrediënt"

De onderzoekers ontdekten dat het experiment bedoeld was om 9.000 verschillende bestellingen (inputs) te testen over zeven verschillende veiligheidstests. Echter, toen ze de herkomst (de papieren sporen van waar de data vandaan kwam) controleerden, realiseerden ze zich dat drie van de zeven tests volledig kapot waren.

De "Verkeerde Bord"-fout: Eén test, bedoeld om te controleren of de AI verborgen instructies in afbeeldingen kon opsporen, serveerde eigenlijk een totaal verkeerde afbeelding. Het was alsof je een brandalarm probeert te testen door water op een broodrooster te spuiten in plaats van op een rookmelder.
De "Alleen-Tekst"-truc: Een andere test was bedoeld als een mix van plaatjes en tekst, maar het systeem liet de AI per ongels de plaatjes negeren en alleen de tekst lezen. Het was een "text-only fallback", wat betekende dat de AI nooit daadwerkelijk naar de afbeelding hoefde te kijken om de test te halen.
De "Random Patch"-glitch: Een derde test beweerde een speciale "adversarial patch" te gebruiken (een kleine, slimme sticker op een afbeelding om de AI in verwarring te brengen). Maar de computer genereerde niet de slimme sticker; hij tekende gewoon een willekeurig rechthoek.

Vanwege deze fouten moesten de onderzoekers de resultaten voor die drie tests weggooien. Ze konden de cijfers niet simpelweg "repareren"; de data was er simpelweg niet. Dit liet hen met slechts 4.820 geldige inputs van vier specifieke tests (FigStep, JailBreakV, SALAD-Bench en HarmBench-Simple) om mee te werken.

2. De "Keyword"-valstrik

Het oorspronkelijke experiment gebruikte een zeer eenvoudige manier om te beslissen of de AI veilig was: het zocht naar specifieke "magische woorden".

Als de AI zei "Ik kan dat niet doen" of "Het spijt me", werd het gemarkeerd als Veilig (een weigering).
Als de AI zei "Hier is hoe je..." of "Natuurlijk, ik kan helpen", werd het gemarkeerd als Onveilig (een schadelijk antwoord).

De onderzoekers ontdekten een groot probleem met deze methode. Het systeem telde lege antwoorden (waarbij de AI niets zei) als "Veilig", simpelweg omdat de legacy-code geen speciale regel voor hen had; aangezien de lege string noch de "schadelijke" lijst noch de "weigering"-lijst matchte, telde de standaardlogica het als veilig. Het telde ook antwoorden die begonnen met een beleefde waarschuwing maar vervolgens de gevaarlijke instructies gaven als "Veilig", omdat het systeem alleen keek naar de aanwezigheid van een weigeringszin om een schadelijke zin te overschrijven, en soms raakte de logica verstrengeld.

Toen ze de gegevens opnieuw controleerden, ontdekten ze dat de "keyword"-methode een verschrikkelijke rechter was. Het was also het beoordelen van een toets door alleen te kijken naar het woord "de" en te negeren of de student daadwerkelijk de vraag beantwoordde. In één audit van 246 lastige antwoorden miste het keyword-systeem 13 schadelijke antwoorden die een slimmere menselijke rechter (een "Haiku-familie rechter") correct als gevaarlijk identificeerde. In technische termen labelde het keyword-systeem deze 13 gevallen als "Veilig" terwijl ze eigenlijk "Schadelijk" waren (false negatives).

3. De Mythe van de "Massale Weigering"

De oorspronkelijke studie leek te suggereren dat de beveiligingsbewakers ervoor zorgden dat de AI alles weigerde (een "mass refusal"). De onderzoekers voerden een nieuwe audit uit op 38.500 veilige, normale vragen om te zien hoe vaak de AI daadwerkelijk "nee" zei wanneer dat niet nodig was.

Het resultaat? De AI was eigenlijk heel beleefd en behulpzaam.

De geschatte snelheid van onnodige weigeringen was slechts 0,52%.
Zelfs in het slechtste scenario (de grootste enkele groep data) was de snelheid slechts 3,24%.
De onderzoekers merkten op dat de "sampling-only" onzekerheid (de foutmarge) een waarde van 10,92% kon bereiken, maar zelfs dat ligt ver verwijderd van de "massale weigering" die de oorspronkelijke studie suggereerde.

De verwarring kwam door de "defensive preamble" (de defensieve inleiding). De beveiligingsbewakers voegden vaak een lange, beleefde waarschuwing toe aan het begin van het antwoord (bijv. "Ik moet u waarschuwen dat dit gevaarlijk is..."). Het oude keyword-systeem dacht dat deze waarschuwing de weigering was, maar de AI ging vervolgens gewoon door met het geven van het antwoord. Het was alsof een uitsmijter zei: "Ik laat je niet binnen," maar vervolgens de deur opende en je gewoon naar binnen liet lopen. Het keyword-systeem labelde deze inleidingen als weigeringen, waardoor de aantallen werden opgeblazen.

4. De Kosten van Veiligheid zijn

Ten slotte keken de onderzoekers naar hoeveel tijd deze beveiligingsbewakers verspillen.

De "Gaussian"-bewaker (die de afbeelding vijf keer vervaagt en stemt over het antwoord) deed er 5,45 tot 12,76 keer langer over om een verzoek te verwerken dan wanneer er niets wordt gedaan.
De volledige stapel van drie bewakers duurde 4,36 tot 16,59 keer langer.

Dit betekent dat hoewel de bewakers misschien proberen te helpen, ze de keuken ongelooflijk traag maken.

De Conclusie

Dit artikel vertelt ons niet welke beveiligingsbewaker de "beste" is. Sterker nog, het vertelt ons dat we de vorige rangschikkingen niet kunnen vertrouwen omdat de data kapot was en de scoremethode gebrekkig was.

Wat ze uitsloten: Ze bewezen dat de oorspronkelijke claims over "massale weigering" onjuist waren en dat drie van de zeven veiligheidstests ongeldig waren.
Wat ze vonden: Ze ontdekten dat de beveiligingsbewakers (met name de prompt wrappers) het gedrag van de AI wel degelijk veranderen, maar dat het effect enorm varieert afhankelijk van het AI-model en het type test. Soms helpen ze, soms schaden ze, en soms vertragen ze gewoon de boel.
De Les: Je kunt niet zomaar een test draaien en naar een score kijken. Je moet ervoor zorgen dat de ingrediënten (inputs) echt zijn, de scorekaart (evaluatie) daadwerkelijk veiligheid meet, en dat je het volledige recept (ruwe tekst) hebt om het werk te controleren.

De auteurs concluderen dat voordat we verschillende beveiligingsbewakers kunnen vergelijken, we een beter, eerlijker systeem moeten bouwen om ze te testen. Tot die tijd kunnen we niet met zekerheid zeggen wie de held is en wie er alleen maar voor zorgt dat de keuken trager wordt.

Technische Samenvatting: Audit van de Evaluatie van Inference-Time Defensie voor Multimodale Large Language Models

Probleemstelling

Multimodale Large Language Models (MLLM's) introduceren nieuwe aanvalsoppervlakken via visuele kanalen, waaronder instructies ingebed in afbeeldingen, verdeeld over modaliteiten, of verborgen in pixelruimte-perturbaties. Hoewel inference-time defensies (het aanpassen van inputs, prompts of outputs zonder de gewichten te hertrainen) een kosteneffectieve mitigatiestrategie bieden, lijdt hun evaluatie onder kritieke integriteitsproblemen. De auteurs stellen vast dat vergelijkende veiligheidsresultaten vaak berusten op gebrekkige gegevensprovenance: resultaatbestanden komen mogelijk niet overeen met de werkelijke beeld-payloads die zijn verwerkt, "veilige" labels kunnen zijn afgeleid van lege strings of pipeline-stemmen in plaats van semantische weigeringen, en benchmark-loaders kunnen stilletjes terugvallen op tekst-alleen modi wanneer afbeeldingen ontbreken. Bijgevolg confunderen bestaande evaluaties vaak pipeline-artefacten met semantische veiligheid, waardoor ze falen in het valideren of een defensie daadwerkelijk schadelijke generatie voorkomt of slechts de output-formaat wijzigt.

Methodologie

De auteurs voerden een traceerbare audit uit van een experimenteel archief dat twee vaste prompt-wrappers (geïnspireerd door AdaShield en RapGuard) en een Gaussian image-perturbation adapter (geïnspireerd door SmoothVLM) beslaat. De studie evalueerde deze adapters over acht MLLM's uit de InternVL- en Qwen-VL-families.

De methodologie bestond uit drie primaire auditfasen:

Audit van Input- en Output-provenance:
Het team onderzocht de executielogs en inputbestanden voor zeven geplande veiligheidsbenchmarks (totaal 9.000 inputs). Ze verifieerden of de beeld-payloads overeenkwamen met de beoogde benchmarks en of de loader geen tekst-alleen fallbacks toeliet. Drie takken bleken niet te voldoen aan deze controles:
- MM-SafetyBench: De lokale renderer gebruikte het verkeerde payload-veld.
- JailBreakV-MM: De loader toeliet tekst-alleen fallbacks voor ontbrekende afbeeldingen.
- Adversarial-patch branch: De runner genereerde willekeurige rechthoeken in plaats van geoptimaliseerde adversariële patches.
  Deze takken werden in quarantaine geplaatst, waardoor vier corpora (FigStep, JailBreakV, SALAD-Bench, HarmBench-Simple) met 4.820 inputs per configuratie overbleven voor analyse.
Semantische en Keyword Re-evaluatie:
De oorspronkelijke veiligheidsscores vertrouwden op een legacy keyword-classifier ( $C_{kw}$ ) die lege strings als "veilig" telde en een meerderheidsstem gebruikte voor Gaussian adapters. De auteurs hebben 274 adversariële responsen opnieuw geaudit met behulp van een apart LLM-judge protocol. Ze stelden vast dat de keyword-regel een hoog aantal fout-negatieven had (13 van de 246 vergelijkbare responsen) en dat "veilige" labels vaak defensieve preambles of lege outputs maskeerden.
Benign Refusal Audit:
Om over-refusal (vals-positieven bij onschuldige queries) te meten, analyseerden de auteurs 38.500 opgeslagen outputs van onschuldige MMBench-afgeleide queries. Ze gebruikten een specifieke LLM-judge om onderscheid te maken tussen directe systeem-weigeringen, defensieve preambles gevolgd door antwoorden, en werkelijke weigeringen. Ze berekenden gepoolde weigeringspercentages en steekproefintervallen, waarbij de "mass-refusal" interpretatie afgeleid van het legacy keyword-protocol expliciet werd uitgesloten.

Belangrijkste Bijdragen

Het paper levert vier specifieke bijdragen:

Traceerbaar Auditframework: Een methode om beoogde benchmarks, werkelijke payloads, geretourneerde tekst, pipeline-proxies en semantische oordelen van elkaar te onderscheiden.
Beperkte Comparatieve Analyse: Een her-evaluatie van prompt-wrappers (Ada, Rap) en hun combinatie (A+R) tegenover een Gaussian adapter (Smooth) op de behouden corpora (FigStep, JailBreakV, SALAD-Bench, HarmBench-Simple).
Herinschatting van Benign Refusal: Een gecorrigeerde schatting van het weigeringspercentage gebaseerd op 38.500 outputs, die aantoont dat het legacy keyword-protocol de weigeringspercentages aanzienlijk heeft overschat door contaminatie met defensieve preambles.
Meting van Operationele Kosten: Kwantificering van de batchverwerkingstijd en de frequentie van het emitteren van defensieve preambles, waarbij deze kosten worden gescheiden van de ongemeten taaknauwkeurigheid.

Resultaten

Gegevensintegriteit: Drie van de zeven geplande benchmark-takken werden ongeldig verklaard vanwege fouten in de input-provenance. De resterende resultaten zijn beschrijvende aggregaten van een legacy keyword-protocol, en geen semantisch gevalideerde onschadelijkheidspercentages.
Veiligheidsscores: De legacy keyword-scores vertoonden geen uniforme ordening over modellen of adapters heen. Bijvoorbeeld, op het 8B InternVL3.5 model varieerde de score van 0,882 (geen adapter) tot 1,000 (Rap wrapper), maar de semantische audit kon deze niet valideren als echte verbeteringen in veiligheid.
Discrepantie tussen Keyword en Semantiek: In een niet-willekeurige zoektocht naar 246 adversariële responsen miste de keyword-regel 13 schadelijke gevallen (fout-negatieven) die een semantische judge als zodanig identificeerde. De precisie was 41,7% en de recall was 6lu 69,8% op deze steekproef.
Benign Refusal: De gepoolde refusal point estimate voor onschuldige queries was 0,52%, met de grootste schatbare cel op 3,24%. Dit spreept de oorspronkelijke "mass-refusal" interpretatie tegen. Het keyword-protocol had dit percentage met ongeveer 54 keer opgeblazen omdat het defensieve preambles (geëmitteerd door de Rap wrapper in 20–78% van de outputs) als weigeringen telde.
Operationele Kosten: De Gaussian adapter verhoogde de verwerkingstijd met 5,45–12,76 keer, en de volledige drie-adapter stack verhoogde deze met 4,36–16,59 keer.

Betekenis en Claims

De auteurs stellen expliciet dat dit werk niet beweert dat één defensie of adaptieve router universeel superieur is. In plaats daarvan ligt de betekenis in:

Methodologische Correctie: Het benadrukken dat veiligheidsevaluaties immutabele manifesten vereisen die payloads aan resultaten koppelen, het behoud van voor de gebruiker zichtbare tekst gescheiden van pipeline-stemmen, en evaluatoren die het geclaimde construct meten (semantische veiligheid versus keyword-matching).
Bewijs van Variabiliteit: De data tonen aan dat de prestaties van defensies sterk afhankelijk zijn van het specifieke model en corpus, wat het profileren van kandidaat-pipelines op doelverkeer vóór implementatie rechtvaardigt.
Vereisten voor Provenance: Het paper stelt een reeks provenance-vereisten vast voor toekomstige MLLM-defensie-evaluaties, waarbij wordt geargumenteerd dat zonder deze poorten (geldige inputs, opgeslagen ruwe responsen, semantische judging), vergelijkende rangschikkingen ongeldig zijn.

Het paper concludeert dat de gearchiveerde data de eerdere mass-refusal interpretatie of een definitieve rangschikking van defensies niet ondersteunt. Het roept op tot toekomstige evaluaties die versiebeheerde manifesten en intensere onafhankelijke semantische judging gebruiken voordat vaste en adaptieve defensie-pipelines worden vergeleken.