Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

Titolo: Doc-PP: Benchmark per la Conservazione delle Politiche nei Documenti per i Modelli Linguistici Visivi di Grande Dimensione (LVLM)

1. Il Problema

L'implementazione dei Modelli Linguistici Visivi di Grande Dimensione (LVLM) per il question answering su documenti complessi è spesso limitata da politiche dinamiche definite dall'utente che regolano la divulgazione delle informazioni in base al contesto. Sebbene la ricerca sulla sicurezza si sia concentrata su norme sociali implicite o su ambienti basati solo sul testo, esiste un vuoto critico nella gestione dei documenti multimodali reali.

Il paper identifica un problema fondamentale: i modelli LVLM avanzati falliscono nel preservare le politiche di non divulgazione quando la risposta richiede un ragionamento cross-modale complesso. Anche quando istruiti esplicitamente a non rivelare certi dati (es. ricavi di una specifica regione), i modelli riescono a "bypassare" queste restrizioni inferendo il valore vietato combinando evidenze visive (grafici, tabelle) e testuali. Questo fenomeno è definito come "Reasoning-Induced Safety Gap" (Divario di Sicurezza Indotto dal Ragionamento). Inoltre, l'uso di testo estratto tramite OCR, pur migliorando la percezione, paradossalmente facilita la fuga di informazioni rendendo più semplice il calcolo numerico dei dati protetti.

2. Metodologia: Doc-PP Benchmark

Per valutare e quantificare questo problema, gli autori hanno introdotto Doc-PP, un nuovo benchmark costruito su documenti reali (report finanziari, industriali, ecc.).

• Costruzione del Dataset:

  • Fonti: 90 documenti PDF a lungo raggio estratti da corpora esistenti (MMlongbench-Doc, Sustainable QA).
  • Politiche: Vengono generate politiche di non divulgazione specifiche per ogni documento (es. "Non divulgare i ricavi del Medio Oriente").
  • Query: Vengono creati due tipi di interrogazioni:
    • Query Esplicite: Chiedono direttamente l'informazione vietata.
    • Query Implicite: Richiedono riassunti o spiegazioni dove una risposta fedele richiederebbe necessariamente l'inclusione del dato protetto (es. "Spiega la distribuzione dei ricavi globali").
  • Valutazione: Il dataset include 1.141 query (443 esplicite, 698 implicite) che richiedono ragionamento su elementi visivi (grafici, figure) e testuali.

• Metriche di Valutazione:

  • Leakage (Fuga di informazioni): Misura se l'output del modello contiene il valore confidenziale vietato.
  • Faithfulness (Fedeltà): Valuta se la risposta è completa e accurata rispetto al documento, escludendo le informazioni vietate. Viene utilizzata una "checklist di copertura dei contenuti" generata dinamicamente.

3. Contributi Chiave e Risultati Sperimentali

Gli autori hanno testato diversi LVLM (inclusi GPT-5.2, Gemini-3, Qwen3-VL) e hanno scoperto diverse vulnerabilità sistemiche:

• Il Paradosso dell'OCR: L'input basato su testo estratto (OCR) porta a tassi di fuga di informazioni significativamente più alti rispetto all'input basato su immagini pure. La chiarezza testuale facilita il ragionamento numerico preciso, permettendo al modello di calcolare i dati protetti più facilmente.
• Divario tra Query Esplicite e Implicite: I modelli mostrano una buona aderenza alle politiche quando la richiesta è esplicita. Tuttavia, le tassi di fuga schizzano alle stelle (fino al 93.5% in alcuni casi) quando devono sintetizzare informazioni per rispondere a query implicite.
• Impatto della Multimodalità: La complessità aumenta quando il modello deve integrare evidenze da fonti eterogenee (es. un grafico che mostra una percentuale e un testo che fornisce il totale). In questi scenari, i meccanismi di sicurezza esistenti falliscono.
• Inefficacia delle Difese Standard: Strategie comuni come il Chain-of-Thought (CoT) o la revisione post-hoc dell'output si sono rivelate inefficaci, poiché non intercettano i passaggi intermedi di ragionamento che portano alla violazione della politica.

4. Soluzione Proposta: DVA (Decompose–Verify–Aggregation)

Per mitigare queste vulnerabilità, gli autori propongono DVA, un framework di inferenza strutturale che separa il ragionamento dalla verifica della politica:

1. Decomposizione: Il modello scompone la risposta potenziale in elementi atomici (fatti o sottoclausi individuali).
2. Verifica: Ogni elemento atomico viene controllato singolarmente contro la politica di non divulgazione. Gli elementi che violano la politica vengono scartati.
3. Aggregazione: Solo gli elementi validi vengono ricombinati per formare la risposta finale.

Risultati di DVA:

• DVA riduce drasticamente i tassi di fuga rispetto ai metodi di base (es. su Gemini-3-Flash, la fuga scende dal 64.6% al 30.5%).
• Trasforma il compito di valutare risposte lunghe in compiti di verifica atomici più semplici, prevenendo le fughe che rimangono nascoste nelle risposte integrate.
• Mantiene un livello accettabile di fedeltà, sebbene con un leggero aumento della lunghezza della risposta (verbalità).

5. Significato e Implicazioni

Questo lavoro è fondamentale per lo sviluppo sicuro degli LVLM in ambito aziendale e legale. Dimostra che:

• La sicurezza nei documenti multimodali non può essere garantita solo da prompt di sicurezza generici o da normative implicite.
• Esiste un divario critico tra la capacità di ragionamento dei modelli e la loro capacità di rispettare vincoli dinamici durante tale ragionamento.
• L'approccio strutturale di DVA offre una baseline pratica e robusta per costruire sistemi di comprensione documentale che siano sia utili che conformi alle politiche di riservatezza, aprendo la strada a nuove ricerche sulla sicurezza multimodale.

In sintesi, Doc-PP evidenzia che la semplice "intelligenza" multimodale non è sufficiente per la sicurezza; è necessaria un'architettura che disaccoppi intenzionalmente il processo di inferenza logica dalla verifica dei vincoli di sicurezza.