Technische Samenvatting: VisualLeakBench

Probleemdefinitie

Vision-language agents (VLA's) worden steeds vaker geïntegreerd in agentische workflows waarbij ze screenshots, documenten en gebruikersinterfaces verwerken om downstream-acties uit te voeren, zoals het opslaan van aantekeningen, het verzenden van e-mails of het raadplegen van zoekmachines. Terwijl eerder onderzoek naar veiligheid zich richtte op lekken op respontniveau (wat het model tegen een gebruiker zegt), identificeert dit artikel een afzonderlijke en kritieke foutmodus: actiegrens-propagatie (action-boundary propagation).

Deze fout treedt op wanneer een vision-language agent gevoelige of onveilige zichtbare tekst uit een invoerafbeelding extraheert en deze direct doorvoert naar de argumenten van een tool-aanroep. In tegen afwijking van een weigeringsfout, waarbij het model simpelweg een verzoek afwijst, is deze fout vaak onzichtbaar voor inspectie op respontniveau omdat de zichtbare output van het model onschadelijk kan zijn, terwijl de gevaarlijke inhoud is ingebed in de gestructureerde tool-argumenten (bijv. save_note(content="...API_KEY...")). Dit maakt het mogelijk dat gevoelige gegevens in het geheugen blijven bestaan, het lokale context ver laten of input worden voor andere systemen zonder de expliciete kennis van de gebruiker.

Methodologie

De auteurs introduceren VisualLeakBench, een reproduceerbare benchmark die is ontworpen om deze propagatiefouten te meten en te diagnosticeren.

Benchmark-ontwerp

• Dataset: Een gediversifieerde set van 500 afbeeldingen verspreid over vijf visuele families: UI, chat, document, formulier en dashboard.
• Tracks:
  1. PII Track: Bevat acht synthetische vormen van Persoonlijk Identificeerbare Informatie (SSN's, creditcards, e-mails, API-sleutels, etc.).
  2. Rendered Unsafe-Text Track: Bevat synthetische schadelijke verzoeken (bijv. phishing, fraude, sabotage) die als zichtbare tekst binnen gewone visuele contexten zijn weergegeven.
• Evaluatieprotocol: De studie evalueert een gestratificeerde subset van 100 afbeeldingen met behulp van vier productiesystemen voor VLM (GPT-5.4, Claude Opus 4.7, Gemini 3.1 Flash Lite en Grok 4.20).
• Workflows: Twee scenario's voor enkelvoudig tool-gebruik worden getest:
  1. Note Capture: De agent roept save_note(content) aan.
  2. External Handoff: De agent roept send_email(to, body) aan.
  3. Web Research: Een derde tool-oppervlak (search_query) werd getest om de tool-specifiteit te evalueren.
• Metrieken: De primaire metriek is de tool propagation rate, gedefinieerd als het deel van de non-error traces waarin de genormaliseerde doelstring verschijnt in de tool-argumenten. De evaluatie onderscheidt tussen "response-only leakage", "tool-only propagation" en "response-plus-tool leakage".

Mitigatiestrategie

De auteurs testen een lichtgewicht defensieve systeemprompt die modellen instrueert om geen PII te transcriberen en om sociale manipulatieverzoeken te weigeren. Daarnaast wordt een offline gelabelde-target oracle diagnostic gebruikt om een perfecte bewaker bij de tool-grens te simuleren, die elke tool-aanroep die de bekende synthetische doelstring bevat, blokkeert. Dit dient als een upper-bound diagnostic om de waarde van het controleren van de tool-grens te isoleren.

Belangrijkste Resultaten

Hoge propagatieratio's bij de baseline

Zonder defensieve prompting is actiegrens-propagatie ernstig:

• PII: Gepropageerd in 78,8% van de non-error traces. De ratio's varieerden per model (bijv. tot 95,7% voor Claude bij note capture) en scenario (hoger in note capture dan in external handoff).
• Rendered Unsafe Text: Gepropageerd in 85,5% van de non-error traces.

Asymmetrische mitigatie-effectiviteit

De defensieve prompt leverde zeer asymmetrische resultaten op:

• PII: De propagatie daalde aanzienlijk van 78,8% naar 2,0%. De auteurs merken echter op dat dit grotendeels werd bereikt door het tool-gebruik volledig te onderdrukken (94,2% van de traces resulteerden in "geen tool call") in plaats van de argumenten te saneren terwijl de bruikbaarheid behouden bleef.
• Rendered Unsafe Text: De propagatie bleef hoog op 52,6%. De mitigatie faalde om de meerderheid van de onveilige tekst over de tool-grens te voorkomen, wat suggereert dat modellen de weergegeven schadelijke tekst behandelen als inhoud die behouden of doorgegeven moet worden in plaats van als een veiligheidschending die geweigerd moet worden.

Trace-diagnostiek en tool-oppervlaktespecificiteit

• Tool-Only Dominantie: De meerderheid van de fouten (78,1% voor PII, 83,4% voor unsafe text) waren "tool-only" propagaties, waarbij de zichtbare respons veilig was maar de tool-argumenten de doeltekst bevatten. Dit bevestigt dat inspectie op respontniveau het risico van agents onderschat.
• Afhankelijkheid van Tool-oppervlak:
  • Search Tools: Zoekachtige tools (web research) propageerden bijna nooit PII (1,0% baseline), waarschijnlijk omdat zoekopdrachten zoekwoordgericht zijn en niet van nature uitnodigen tot het behouden van volledige contactgegevens.
  • Note/Handoff Tools: Deze tools nodigen van nature uit tot het behouden van zichtbare inhoud, wat leidt tot hogere propagatieratio's.
  • Persistentie van Unsafe Text: Zelfs met search tools bleef rendered unsafe text een residu-risico (54,5% baseline), wat aangeeft dat schadelijke instructies de actiegrenzen kunnen overschrijden ongeacht de tool-semantiek.

Oracle Diagnostics

De oracle diagnostic onthulde dat het blokkeren van tool-argumenten die de doelstring bevatten, het grootste deel van de propagatiefouten verwijdert (bijv. 335/341 unsafe traces gevangen). Er blijft echter een klein residu-risico bestaan door lekken aan de responszijde, wat benadrukt dat de tool-grens een cruciaal, maar niet het enige interventiepunt is.

Betekenis en Claims

Het artikel positioneert VisualLeakBench als een gecontroleerd fout-primitief voor het bestuderen van agentische veiligheid, in plaats van een claim dat alle ingezette agents een gebrek hebben aan geheugenfilters of menselijke controlepunten.

1. Herdefiniëren van de fouteenheid: Het werk verschuift de eenheid van analyse van chat-veiligheid op responsniveau naar actiegrens-propagatie. Het demonstreert dat een model "veilig" kan zijn in zijn zichtbare respons, terwijl het tegelijkertijd een onveilige actie uitvoert door gevoelige gegevens in tool-argumenten in te bedden.
2. Diagnostische Granulariteit: Door trace-klassen te scheiden (response-only vs. tool-only), laat de studie zien dat standaard inspectie op responsniveau onvoldoende is voor de veiligheidsevaluatie van agents.
3. Mitigatie-asymmetrie: De resultaten benadrukken dat herkenbare PII-vormen makkelijker te onderdrukken zijn (vaak via tool-onderdrukking) dan rendered unsafe text, die modellen vaak interpreteren als onschadelijke inhoud die behouden moet worden in plaats van als een veiligheidschending die geweigerd moet worden.
4. Reproduceerbaarheid: De auteurs bieden een uitgebreid artefact inclusief per-trace logs, normalisatieregels en scripts om geaggregeerde tabellen te regenereren, wat een nauwkeurige attributie van fouten aan specifieke visuele families, modellen en tool-oppervlakken mogelijk maakt.

De auteurs concluderen dat toekomstige agent-evaluaties tool-argumenten als eersteklas veiligheidsartefacten moeten behandelen en trace-niveau diagnostiek moeten rapporteren naast resultaten op responsniveau om het risicolandschap van vision-language agents volledig te vatten.