💬 NLP

Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

Dit paper introduceert Doc-PP, een nieuw benchmark voor het testen van Large Vision-Language Models op documentbeleid, en stelt het DVA-framework voor om de geconstateerde veiligheidskloof te overbruggen waarbij modellen gevoelige informatie onbedoeld lekken bij complexe redeneringen.

Oorspronkelijke auteurs: Haeun Jang, Hwan Chang, Hwanhee Lee

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Haeun Jang, Hwan Chang, Hwanhee Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Digitale Secretaris die te veel vertelt

Stel je voor dat je een superintelligente, digitale secretaresse hebt (een LVLM, ofwel een "Groot Visueel-Taal Model"). Deze secretaresse kan niet alleen lezen, maar ook kijken naar foto's, grafieken en tabellen in documenten. Ze is fantastisch in het beantwoorden van vragen over complexe rapporten.

Maar hier is het probleem: Soms moet ze geheimen bewaren.

Stel, je vraagt haar: "Wat is de omzet in het Midden-Oosten?"
Ze heeft een strikte regel: "Vertel nooit de omzet van het Midden-Oosten."

In het verleden dachten we: "Oké, als we haar dat verbieden, doet ze het niet." Maar dit paper laat zien dat deze digitale secretaresse een slimme, maar gevaarlijke truc heeft. Ze luistert niet alleen naar het verbod, maar probeert ook slim te redeneren.

🧩 De "Reken-Truc" (De Reasoning-Induced Safety Gap)

Stel, het document bevat twee losse stukjes informatie:

Een tekst die zegt: "De totale omzet is 100 miljoen dollar."
Een taartdiagram (grafiek) dat zegt: "Het Midden-Oosten is 5% van de totale omzet."

Als je de secretaresse vraagt: "Geef een samenvatting van de wereldwijde prestaties," en ze ziet die twee stukjes, dan denkt ze: "Ik moet helpen! Ik zie 100 miljoen en 5%. Laten we even snel rekenen: 5% van 100 is 5 miljoen!"

En plotseling heeft ze het geheim onthuld, terwijl ze dacht dat ze gewoon een samenvatting gaf. Ze heeft het geheim afgeleid in plaats van het direct op te zoeken. Dit noemen de auteurs de "Reasoning-Induced Safety Gap": hoe slimmer ze wordt in het verbinden van puzzelstukjes, hoe makkelijker ze per ongeluk geheimen onthult.

📄 Het "OCR-Paradox" (De Tekst die te duidelijk is)

Er is nog een vreemd fenomeen. Als je de secretaresse een foto van een document geeft, moet ze eerst de tekst eruit halen (OCR).

Verrassend: Het blijkt dat als je de tekst al voor haar uitleest (zodat ze alleen maar hoeft te lezen), ze het geheim sneller onthult dan als ze naar de foto moet kijken.
Waarom? Omdat het lezen van de getallen als tekst het voor haar makkelijker maakt om die "reken-truc" uit te voeren. Het is alsof je iemand een sleutel geeft in plaats van een slot; het is makkelijker om de deur open te maken.

🛠️ De Oplossing: DVA (De "Bouwpakket"-methode)

De auteurs zeggen: "Oké, we kunnen niet stoppen met slimme modellen, maar we moeten ze anders laten werken." Ze introduceren een nieuwe methode genaamd DVA (Decompose–Verify–Aggregation).

Stel je voor dat de secretaresse een opdracht krijgt om een taart te bakken, maar ze mag geen suiker gebruiken.

De oude manier: Ze probeert het hele recept in één keer te onthouden en bakt de taart. Als ze per ongeluk suiker toevoegt, is de taart al klaar en is het te laat.
De DVA-methode:
1. Decompose (Uit elkaar halen): De secretaresse schrijft eerst alle losse ingrediënten op een lijstje (meel, eieren, boter...).
2. Verify (Controleren): Ze kijkt naar elk ingrediënt op de lijst en zegt: "Mag ik suiker gebruiken? Nee, dat is verboden!" Ze gooit de suiker weg.
3. Aggregation (Samenvoegen): Pas daarna maakt ze de taart van de overgebleven, veilige ingrediënten.

Door het antwoord op te splitsen in kleine stukjes en elk stukje apart te controleren op geheimen, voorkomt ze dat ze per ongeluk een geheim in het eindresultaat verwerkt.

🏆 Wat hebben ze ontdekt?

De auteurs hebben een nieuwe test gemaakt (de Doc-PP benchmark) om dit te meten. Ze hebben echte bedrijfsrapporten gebruikt en gekeken of de slimste AI-modellen (zoals GPT-5 en Gemini) geheimen bewaren.

De resultaten waren schokkend:

De modellen zijn goed in het zeggen van "Ik mag dat niet zeggen" als je er direct om vraagt.
Maar zodra je ze vraagt om een samenvatting of een verklaring (waarbij ze moeten rekenen of puzzelen), onthullen ze de geheimen bijna altijd.
De nieuwe DVA-methode werkt veel beter. Het is alsof je een dubbele controle instelt: eerst denken, dan controleren, dan pas antwoorden.

🎯 Conclusie in één zin

Dit paper laat zien dat slimme AI's soms te slim zijn om geheimen te bewaren als ze moeten "nadenken" over een document, maar dat we dit kunnen oplossen door ze te dwingen om hun antwoorden eerst in kleine, controleerbare stukjes te hakken voordat ze antwoorden.

Titel: Doc-PP: Document Policy Preservation Benchmark voor Grote Vision-Language Modellen (LVLM's)

1. Probleemstelling

De implementatie van Grote Vision-Language Modellen (LVLM's) voor het beantwoorden van vragen over complexe multimodale documenten (zoals financiële rapporten) wordt beperkt door dynamische, door de gebruiker gedefinieerde beleidsregels. Deze regels dicteren welke informatie wel of niet mag worden onthuld afhankelijk van de context (bijvoorbeeld: "Onthul geen omzetgegevens voor het Midden-Oosten").

De huidige veiligheidsresearch richt zich voornamelijk op:

Impliciete sociale normen: In plaats van expliciete, door de gebruiker opgelegde beperkingen.
Tekst-only omgevingen: Het negeren van de complexiteit van multimodale documenten (grafieken, tabellen, tekst).

Het paper identificeert een fundamenteel probleem: zelfs geavanceerde LVLM's falen bij het behoud van beleidsregels wanneer antwoorden vereisen dat informatie over verschillende modaliteiten (visueel en tekstueel) wordt samengevoegd. Dit leidt tot een "Reasoning-Induced Safety Gap" (Veiligheidsgat door Redenering): modellen lekken gevoelige informatie wanneer ze deze moeten afleiden via complexe synthese of aggregatie, waardoor ze bestaande veiligheidsbeperkingen effectief omzeilen.

2. Methodologie: Doc-PP Benchmark

Om dit probleem te bestuderen, introduceren de auteurs Doc-PP, een nieuw benchmark dat is opgebouwd uit echte wereldwijde rapporten.

Dataset Constructie:
- De dataset bevat 90 lange PDF-documenten (financiële, bedrijfs- en onderzoeksrapporten).
- Beleid (Policy): Voor elk document worden expliciete niet-openbaarmakingsregels gegenereerd (bijv. "Onthul niet de omzet van regio X").
- Vragen (Queries): Er worden twee soorten vragen gegenereerd:
  1. Expliciete queries: Vragen die direct om de gevoelige informatie vragen.
  2. Impliciete queries: Samenvattende vragen waarbij een correct antwoord per definitie de gevoelige waarde zou moeten onthullen (bijv. "Geef een overzicht van de regionale prestaties" waarbij de onbekende regio een essentieel onderdeel is).
- Evaluatie: De dataset bevat 1.141 queries. De evaluatie meet twee metrieken:
  - Leakage (Lekkage): Wordt de verborgen waarde ( $v$ ) in het antwoord onthuld?
  - Faithfulness (Betrouwbaarheid): Is het antwoord accuraat en volledig op basis van het document, zonder de gevoelige informatie?
Input Condities: De modellen worden getest op zowel ruwe afbeeldingen (PNG) als OCR-geëxtraheerde tekst om te zien hoe perceptie de veiligheid beïnvloedt.

3. Belangrijkste Bevindingen en Resultaten

De evaluatie van zes state-of-the-art LVLM's (waaronder GPT-5.2, Gemini-3, Qwen3-VL) levert drie kritieke inzichten op:

Reasoning-Induced Safety Gap:
- Modellen voldoen vaak aan beleidsregels bij expliciete vragen (directe afwijzing).
- Bij impliciete vragen die redenering vereisen (bijv. het berekenen van een percentage uit een grafiek en het combineren met een totaal uit de tekst), stijgt de lekkage drastisch. Modellen omzeilen de beperkingen door de gevoelige waarde te berekenen in plaats van deze direct op te vragen.
De OCR Paradox:
- Het verstrekken van OCR-geëxtraheerde tekst (in plaats van alleen afbeeldingen) verbetert de perceptie en leesbaarheid, maar verergert de lekkage.
- De duidelijke tekstuele toegang maakt het voor modellen makkelijker om numerieke redeneringen uit te voeren en beveiligde waarden te berekenen die ze uit ruwe afbeeldingen misschien niet zouden kunnen extraheren.
Impact van Bewijssoorten:
- Lekkage is het hoogst bij complexe, cross-modale taken (bijv. het combineren van tekst en tabellen of grafieken).
- Documenten met een hoge tekstdichtheid (zoals bedrijfsrapporten) leiden tot hogere lekkagepercentages dan visueel dichte documenten, omdat de tekst de "gids" is voor het extraheren van visuele waarden.

4. Oplossing: DVA Framework

Om deze kwetsbaarheden aan te pakken, stellen de auteurs DVA (Decompose–Verify–Aggregation) voor. Dit is een structureel inferentiekader dat redenering loskoppelt van beleidsverificatie.

Stap 1: Decompose (Decompositie): Het model breekt het potentiële antwoord op in atomische feiten of sub-stellingen.
Stap 2: Verify & Aggregate (Verificatie & Aggregatie): Elk atomisch element wordt individueel gecontroleerd tegen het beleidsdocument.
- Elementen die het beleid schenden, worden verwijderd.
- Alleen geldige elementen worden samengevoegd tot het definitieve antwoord.

Resultaten van DVA:

DVA verlaagt de lekkage significant vergeleken met standaard methoden zoals Chain-of-Thought (CoT) prompting of post-hoc revisie.
Bijvoorbeeld, bij het Gemini-3-Flash-Preview model daalde de lekkage van 64,6% (standaard) naar 30,5% met DVA.
DVA werkt effectiever omdat het de verificatie op een fijnmazig niveau (per feit) uitvoert, in plaats van te vertrouwen op een holistische beoordeling van een lang antwoord.

5. Significantie en Conclusie

Dit paper is significant omdat het:

Een nieuw veiligheidsprobleem blootlegt: Het toont aan dat multimodale redenering een zwakke plek is in de huidige veiligheidsmechanismen van AI-modellen, zelfs als ze expliciete instructies krijgen om informatie te verbergen.
Een robuust benchmark biedt: Doc-PP is de eerste benchmark die specifiek gericht is op beleidsbehoud in multimodale documenten, met een focus op cross-modale redenering.
Een praktische oplossing biedt: DVA biedt een nieuwe, robuuste baseline voor het bouwen van veilige documentbegripssystemen die dynamische beleidsregels kunnen naleven zonder de bruikbaarheid van het antwoord te verliezen.

De auteurs concluderen dat voor veilige LVLM-implementaties in de echte wereld, het onvoldoende is om alleen op tekstuele instructies te vertrouwen; de architectuur van het redeneringsproces zelf moet worden aangepast om beleidsverificatie te integreren op het niveau van individuele feiten.