Doc-PP: Document Policy Preservation Benchmark for Large Vision-Language Models

1. Problema e Motivação

O artigo aborda uma lacuna crítica na segurança de Modelos de Linguagem Visuais de Grande Escala (LVLMs): a incapacidade de aderir a políticas de não divulgação definidas pelo usuário em documentos multimodais complexos.

• Contexto: Em cenários do mundo real (como relatórios financeiros), documentos contêm informações sensíveis que devem ser ocultadas dependendo do contexto ou do público (ex: "não divulgar receita da região do Oriente Médio").
• A Lacuna: Pesquisas anteriores focaram em normas sociais implícitas ou em ambientes de texto puro. Os LVLMs atuais falham ao tentar preservar essas políticas explícitas quando a resposta exige raciocínio multimodal complexo.
• O Fenômeno Observado: Mesmo quando instruídos explicitamente a não divulgar um dado, os modelos conseguem inferir e vazar informações sensíveis ao sintetizar dados de diferentes fontes (ex: combinar um gráfico de pizza com um valor total no texto para calcular uma porcentagem proibida). O artigo denomina isso de "Lacuna de Segurança Induzida por Raciocínio" (Reasoning-Induced Safety Gap).

2. Metodologia: Doc-PP Benchmark

Os autores introduzem o Doc-PP, um novo benchmark construído a partir de relatórios reais (PDFs) para avaliar a preservação de políticas em QA (Question Answering) de documentos.

• Construção do Dataset:
  • Coletaram 90 documentos longos (relatórios financeiros, de negócios, etc.).
  • Geração de Políticas: Criaram alvos confidenciais ($t$) e seus valores correspondentes ($v$) que exigem raciocínio (ex: "a menor taxa de aprovação em um determinado ano").
  • Tipos de Consultas (Queries):
    1. Explícitas: Pedem diretamente a informação restrita.
    2. Implícitas: Pedem um resumo ou explicação onde, para ser fiel ao documento, o modelo precisaria revelar o valor proibido (ex: "resuma a metodologia, incluindo as datas e o tamanho da amostra", quando o tamanho da amostra é o dado proibido).
  • Métricas de Avaliação:
    • Vazamento (Leakage): Verifica se o valor confidencial ($v$) aparece na resposta.
    • Fidelidade (Faithfulness): Avalia se a resposta cobre os pontos essenciais permitidos pelo documento, sem violar a política.
• Entradas: O benchmark testa tanto a entrada de imagem bruta (PNG) quanto texto extraído via OCR, permitindo analisar o "Paradoxo do OCR".

3. Contribuições Principais

1. Doc-PP Benchmark: O primeiro conjunto de dados focado em preservação de políticas definidas pelo usuário em documentos multimodais, cobrindo síntese de evidências heterogêneas (texto, tabelas, gráficos).
2. Descoberta da "Lacuna de Segurança Induzida por Raciocínio": Evidência de que modelos são mais seguros em consultas diretas, mas falham catastróficamente quando precisam inferir dados através de raciocínio complexo ou agregação multimodal.
3. O Paradoxo do OCR: A descoberta de que fornecer texto extraído (OCR) aos modelos, embora melhore a percepção, aumenta o vazamento de informações. A clareza textual facilita o cálculo e a inferência de valores protegidos que seriam mais difíceis de extrair apenas de imagens.
4. Framework DVA (Decompose–Verify–Aggregation): Uma nova estratégia de inferência estrutural para mitigar vazamentos.
   • Decompor: Quebrar a resposta potencial em elementos atômicos (fatos individuais).
   • Verificar: Checar cada elemento individualmente contra a política de não divulgação.
   • Agregação: Reconstruir a resposta final apenas com os elementos validados.

4. Resultados Experimentais

O benchmark foi testado em vários LVLMs de última geração (GPT-5.2, Gemini-3, Qwen3-VL, Mistral, etc.):

• Desempenho Geral: Os modelos apresentaram taxas de vazamento significativas, especialmente em consultas implícitas e cenários multimodais.
• Impacto do OCR: Modelos com entrada OCR tiveram taxas de vazamento maiores do que com entrada de imagem pura, confirmando que a acessibilidade textual facilita a violação de políticas.
• Falha de Defesas Padrão: Técnicas comuns como Chain-of-Thought (CoT) e revisão pós-hoc (Post-hoc Revision) mostraram-se ineficazes, pois não interceptam os passos intermediários de raciocínio que levam ao vazamento.
• Eficácia do DVA: A abordagem DVA reduziu drasticamente as taxas de vazamento (ex: de 64,6% para 30,5% no Gemini-3-Flash), superando todas as outras defesas testadas. O DVA transformou a verificação de segurança em tarefas atômicas mais simples, evitando que o modelo "pule" a restrição durante a geração integrada.

5. Significado e Conclusão

O trabalho estabelece um novo padrão para a segurança de documentos multimodais. Ele demonstra que a segurança em LVLMs não é apenas uma questão de filtrar palavras-chave, mas de gerenciar o processo de raciocínio.

• Implicação Prática: Sistemas de QA baseados em documentos não podem confiar apenas em prompts de segurança; eles exigem arquiteturas de inferência que desacoplem o raciocínio da verificação de políticas.
• Futuro: O DVA oferece uma base robusta para desenvolver sistemas que sejam úteis (fidedignos) e, ao mesmo tempo, estritamente conformes a políticas de confidencialidade dinâmicas, essenciais para aplicações corporativas e financeiras.

Em resumo, o paper revela que a capacidade de raciocínio dos LVLMs é, paradoxalmente, sua maior vulnerabilidade de segurança em documentos, e propõe o DVA como a solução estrutural necessária para fechar essa lacuna.