💻 computer science

Beyond Visual Evidence: Revealing and Mitigating Relational Privacy Leakage in Document MLLMs

Este artigo identifica uma vulnerabilidade crítica de privacidade em MLLMs de documentos, onde os modelos inferem informações pessoais sensíveis a partir de relações de campos memorizadas quando a evidência visual é insuficiente, e propõe o Dynamic Relational Unlearning Framework (DRUF) juntamente com o benchmark DocPrivacyBench para mitigar eficazmente esse vazamento enquanto preserva o desempenho da extração de informações essenciais.

Autores originais: Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

Publicado 2026-08-14

📖 9 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Beining Xu, Hairui Wang, Jiaxin Wang, Changsheng Chen, Anirban Chakraborty

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente robô super inteligente que pode olhar para fotos e ler texto ao mesmo tempo. Cientistas chamam esses modelos de "Modelos de Linguagem de Grande Escala Multimodais" (MLLMs). Pense neles como um cérebro que aprendeu a ver o mundo através de uma lente de câmera e falar através de um microfone simultaneamente. Eles são incríveis em tarefas como olhar para a foto de um recibo e dizer o custo total, ou escanear um passaporte e ler o nome. Mas, assim como um humano que memoriza o número de telefone de um amigo e acaba soltando-o acidentalmente quando perguntado sobre outra coisa, esses robôs podem às vezes "lembrar" detalhes privados das imagens em que foram treinados, mesmo quando esses detalhes não estão realmente visíveis na nova imagem que estão olhando. Isso é um grande problema porque estamos começando a usar esses robôs para lidar com documentos sensíveis, como identidades e passaportes. Se o seu robô adivinhar suas informações secretas só porque ele é "bom em adivinhar" com base no que aprendeu antes, sua privacidade estará em perigo.

Este artigo, intitulado "Beyond Visual Evidence" (Além da Evidência Visual), investiga uma maneira sorrateira pela qual esses robôs vazam segredos. Os pesquisadores descobriram que, quando um robô lhe mostra um documento com partes borradas ou ausentes (como uma foto borrada de um cartão de identidade), ele não diz apenas "eu não consigo ver". Em vez disso, ele frequentemente tenta preencher as lacunas usando o que memorizou de seu treinamento. A parte assustadora é que ele não apenas adivinha uma coisa; ele adivinha um conjunto inteiro de segredos conectados de uma só vez. Por exemplo, se o robô não consegue ver o número do documento, ele ainda pode adivinhar seu nome, sua data de nascimento e o número do documento juntos, porque aprendeu que essas três coisas geralmente andam juntas nos dados de treinamento. Os autores chamam isso de "vazamento de privacidade relacional". Para corrigir isso, eles construíram um novo método de treinamento chamado DRUF (Dynamic Relational Unlearning Framework). Pense nisso como um professor rigoroso que não diz apenas ao aluno para "esquecer" um fato específico, mas ensina o aluno a quebrar o vínculo mental entre fatos conectados. Eles também criaram um novo teste chamado DocPrivacyBench para ver com que facilidade diferentes robôs vazam esses segredos. Seus experimentos mostraram que, embora os robôs atuais sejam muito bons em vazar esses segredos conectados quando as pistas visuais são fracas, seu novo método, o DRUF, pode interromper os vazamentos quase completamente sem tornar o robô ruim em seu trabalho de ler documentos.

O Problema: Quando os Robôs Adivinham Bem Demais

A história começa com um tipo específico de robô: um projetado para ler documentos. Estes são os "document MLLMs". Imagine que você entrega a um robô a foto de uma carteira de habilitação. Ele deve olhar para a foto, encontrar o texto e dizer o nome, a data de nascimento e o número da licença. Isso é chamado de Extração de Informação Chave (KIE). Geralmente, o robô olha para os pixels na imagem para encontrar a resposta. Mas o que acontece se a imagem estiver ruim? E se a foto estiver borrada, o texto estiver coberto por um dedo ou a imagem for apenas um quadrado branco vazio?

Os pesquisadores descobriram que, quando a evidência visual é fraca ou ausente, esses robôs não param. Eles mudam para um modo diferente: começam a adivinhar com base em padrões que memorizaram. Se o robô aprendeu com milhares de exemplos de treinamento que "John Smith" é quase sempre pareado com "Número de Licença 12345" e "Nascido em 1990", ele pode começar a produzir todas essas três coisas juntas, mesmo que a foto que ele está olhando esteja completamente em branco.

Isso é diferente das preocupações anteriores com a privacidade. Antes, as pessoas se preocupavam que um robô pudesse acidentalmente dizer um nome secreto se você fizesse a pergunta certa. Mas este artigo mostra um risco novo e mais perigoso: o Vazamento Relacional. Não se trata apenas de um segredo escapar; trata-se de o robô revelar toda uma cadeia de segredos que estão ligados entre si. É como um mágico que, ao ser solicitado a tirar um coelho de dentro de um chapéu, acidentalmente tira o coelho, o chapéu, a varinha e o endereço da casa do assistente, tudo de uma vez, porque em sua memória, essas coisas estão sempre juntas.

A Investigação: DocPrivacyBench

Para provar que isso estava acontecendo, os autores construíram um novo campo de testes chamado DocPrivacyBench. Eles queriam ver se os robôs vazariam segredos quando não pudessem realmente ver o documento.

Eles configuraram duas formas principais de testar os robôs:

Orientada pela Imagem: Eles mostraram ao robô a foto de um documento, mas depois substituíram a foto por uma imagem branca em branco (ou uma bagunça borrada) enquanto mantinham a mesma pergunta. Eles perguntaram: "Qual é o número do documento?". O robô não tinha pistas visuais, então, se respondesse, estava adivinhando a partir da memória.
Orientada pelo Prompt: Eles mantiveram a imagem, mas mudaram a pergunta para ser capciosa, pedindo ao robô para revelar informações que ele não deveria saber baseando-se apenas na foto.

Eles testaram três modelos de robôs populares (LLaVA-1.5-hf, Xgen-Phi3 e Idefics2) em três conjuntos de dados diferentes de cartões de identidade e passaportes. Os resultados foram surpreendentes. Quando a evidência visual estava ausente, os robôs eram surpreendentemente bons em adivinhar os segredos.

Por exemplo, em um conjunto de dados ruidoso (onde as imagens estavam um pouco bagunçadas), o modelo LLaVA-1.5-hf teve uma taxa de vazamento de 1.000 (significando que ele vazou o segredo correto 100% das vezes) quando mostrado uma imagem em branco, mas isso foi medido em um limiar de similaridade menor (Acc@0.8). Ainda mais surpreendente, quando testaram com uma versão "ruidosa" do conjunto de dados IDNet, a taxa de vazamento saltou para 1.000 para a métrica Acc@0.8. Isso significa que, sem uma foto clara, o robô estava essencialmente recitando os dados de treinamento que havia memorizado, ligando nomes a números de documentos e datas de nascimento perfeitamente, mesmo sem conseguir vê-los.

O artigo também descobriu que a qualidade dos dados de treinamento importava. Quando os dados de treinamento eram "mais ruidosos" (de menor qualidade), os robôs dependiam mais de suas conexões memorizadas, levando a maiores riscos de privacidade. Isso sugere que, quanto mais bagunçados forem os dados dos quais o robô aprende, mais ele tentará "preencher as lacunas" com palpites, o que é ruim para a privacidade.

A Solução: DRUF

Então, como você impede um robô de adivinhar esses segredos conectados? Você não pode simplesmente dizer a ele para "esquecer" o nome "John Smith", porque ele ainda precisa saber como ler nomes em geral. E você também não pode simplesmente dizer para ele esquecer o número "12345". O problema é o vínculo entre eles.

Os autores propuseram um novo método chamado DRUF (Dynamic Relational Unlearning Framework). Imagine que você está ensinando um aluno que continua dependendo do gabarito. Em vez de apenas apagar uma resposta específica do gabarito, você quer ensinar ao aluno que a conexão entre a "Pergunta A" e a "Resposta B" é falsa.

O DRUF funciona em duas etapas:

Conjunto de Esquecimento Dinâmico (Dynamic Forget Set): Primeiro, o sistema sonda o robô para ver quais pares específicos de segredos ele está vazando agora. Talvez hoje ele esteja vazando "Nome + Número do Documento", mas amanhã ele possa vazar "Nome + Data de Nascimento". Em vez de adivinhar o que esquecer, o DRF observa o robô, vê o que ele vaza e cria uma "lista de esquecimento" baseada no que ele realmente viu. Essa lista muda dinamicamente conforme o robô aprende.
Desacoplamento Relacional (Relational Decoupling - RDU): Esta é a parte mágica. Quando o robô tenta aprender a partir desta "lista de esquecimento", o DRUF não o pune apenas por dizer o nome errado. Ele pune o robô por dizer o par junto. Ele usa um truque matemático especial ("acoplamento multiplicativo") que faz o robô sentir uma penalidade enorme se tentar produzir o nome e o número do documento ao mesmo tempo. Isso quebra a cola mental que mantém esses dois segredos unidos.

Os resultados deste novo método foram impressionantes. Quando aplicaram o DRUF ao modelo LLaVA-1.5-hf:

Reduziu a taxa de vazamento no teste "Orientado pela Imagem" (onde o robô via uma imagem em branco) de 0.642 para 0.001. Isso é uma queda de quase 99,8%.
Reduziu o vazamento no teste "Orientado pelo Prompt" para 0.000.
Crucialmente, não prejudicou a capacidade do robô de fazer seu trabalho. O robô ainda conseguia ler documentos claros perfeitamente, com uma pontuação de desempenho (LC) de 0.808, que é muito próxima do 0.852 do modelo original.

Outros métodos tentaram consertar isso, mas tiveram problemas. Alguns métodos (como o GA) interromperam os vazamentos, mas também tornaram o robô péssimo em ler documentos (caindo seu desempenho para 0.119). Outros (como o DPO) mantiveram o robô inteligente, mas falharam em deter os vazamentos (o vazamento permaneceu alto em 0.633). O DRUF foi o único que conseguiu parar os vazamentos e manter o robô inteligente.

Por Que Isso Importa

O artigo conclui que este "vazamento relacional" é um problema real e comum. Quando a evidência visual é fraca, os robôs ficarão felizes em adivinhar suas informações privadas se acharem que conhecem o padrão. Os autores mostraram que os métodos existentes não são bons o suficiente porque tentam esquecer fatos isolados em vez de quebrar os elos entre os fatos.

Ao usar o DRUF, podemos ensinar esses robôs a parar de adivinhar segredos conectados. O artigo sugere que esta abordagem é um passo necessário para tornar os robôs de processamento de documentos seguros para uso no mundo real. Se queremos usar IA para lidar com nossos passaportes e identidades, precisamos garantir que, quando a IA não conseguir ver o documento, ela não invente o resto da sua história de vida baseada no que memorizou. Os autores esperam que este trabalho leve a melhores ferramentas de privacidade para todos os tipos de tarefas de documentos estruturados.

Em resumo, o artigo descobriu que os robôs são bons demais em adivinhar segredos conectados quando não conseguem ver a evidência, mas também descobriram uma maneira de ensiná-los a quebrar essas conexões, mantendo nossos dados seguros sem tornar os robôs inúteis.

Resumo Técnico: Além da Evidência Visual: Revelando e Mitigando o Vazamento de Privacidade Relacional em MLLMs de Documentos

1. Definição do Problema

Este artigo aborda uma vulnerabilidade de privacidade específica e subexplorada em Modelos de Linguagem de Grande Escala Multimodais (MLLMs) de Documentos utilizados para tarefas de Extração de Informação Chave (KIE), como o processamento de passaportes, documentos de identidade e carteiras de habilitação.

Enquanto pesquisas anteriores focaram no vazamento de atributos sensíveis individuais ou na privacidade visão-linguagem geral, este estudo identifica o Vazamento de Privacidade Relacional. O problema central surge quando as imagens de entrada carecem de evidências visuais suficientes (devido a corrupção, ruído ou entradas em branco). Sob estas condições de "evidência fraca", os MLLMs não apenas falham em extrair dados; eles dependem de relações de campos memorizadas de seus dados de treinamento para inferir o conteúdo ausente. Consequentemente, o modelo pode gerar conjuntamente múltiplos campos sensíveis correlacionados (por exemplo, um número_do_documento específico pareado com um sobrenome e um nome_próprio específicos) que pertencem à mesma pessoa no conjunto de treinamento, mesmo que o input visual não forneça base para tal conexão.

Os autores argumentam que os métodos existentes de proteção de privacidade são inadequados para este cenário porque:

Eles tipicamente analisam o vazamento ao nível de atributos individuais, em vez de pares de campos correlacionados.
Eles dependem de "conjuntos de esquecimento" estáticos de conceitos predefinidos, enquanto o alvo do vazamento relacional é estocástico e depende do comportamento atual do modelo sob evidência visual fraca.
Eles frequentemente degradam a utilidade do modelo (performance de KIE) ao tentar suprimir o conhecimento sensível.

2. Metodologia: O Framework DRUF

Para enfrentar esses desafios, os autores propõem o Framework de Desaprendizado Relacional Dinâmico (DRUF). Este framework é projetado para suprimir a geração conjunta de pares de campos sensíveis de alto risco, preservando a capacidade do modelo de realizar a extração normal de documentos. O DRUF consiste em dois componentes primários:

A. Mecanismo de Atualização Dinâmica do Conjunto de Esquecimento

Ao contrário do desaprendizado tradicional, que utiliza um conjunto estático de dados para esquecer, o DRUF emprega uma atualização baseada em sondagem (probing):

Sondagem (Probing): O modelo estudante atual é testado usando inputs de "imagem em branco" (imagens sem evidência visual válida) e prompts fixos.
Identificação de Alvos: O sistema coleta os pares de campos sensíveis específicos (ex: nome_próprio + número_do_documento) que o modelo gera erroneamente em conjunto durante essas rodadas de sondagem.
Construção do Conjunto Dinâmico: Esses pares de vazamento observados formam o Conjunto de Esquecimento Dinâmico ( $F^{(t)}$ ) para a rodada atual de desaprendizado. Este conjunto é atualizado iterativamente através de múltiplas rodadas para rastrear comportamentos de vazamento evolutivos, em vez de depender de uma lista estática predefinida.

B. Desaprendizado de Desacoplamento Relacional (RDU)

Uma vez estabelecido o conjunto de esquecimento dinâmico, o módulo RDU realiza o desaprendizado propriamente dito.

Objetivo: Em vez de tratar campos sensíveis como unidades isoladas ou amostras inteiras, o RDU trata o par de campos sensíveis exposto como a unidade fundamental de esquecimento.
Função de Perda: O método introduz uma perda de relação acoplada por KL. Para um par exposto de spans sensíveis $(s_a, s_b)$ , a perda é calculada como o produto negativo de suas divergências KL individuais de nível de span em relação a um modelo professor congelado:
$L_{forget} = -K_a K_b$
onde $K_a$ e $K_b$ representam a divergência KL para cada span.
Mecanismo: Este acoplamento multiplicativo garante que o gradiente de um span seja ponderado pela divergência do outro. Isso força o modelo a quebrar a geração conjunta estável do par sob evidência visual insuficiente, sem necessariamente suprimir o conhecimento individual necessário para tarefas válidas de KIE quando a evidência visual está presente.

O objetivo geral combina um Ramo de Retenção (usando um professor congelado para preservar a capacidade normal de KIE em documentos válidos) e o Ramo de Esquecimento (RDU em inputs em branco), equilibrados por um coeficiente de ponderação $\lambda$ .

3. Principais Contribuições

O artigo apresenta três contribuições principais:

Identificação do Vazamento Relacional: Os autores revelam que os MLLMs de documentos exibem um risco de privacidade distinto, onde a evidência visual fraca desencadeia a divulgação conjunta de campos sensíveis correlacionados baseados em associações memorizadas de treinamento, um fenômeno não capturado por análises de vazamento de campo único.
Framework DRUF: Eles propõem um novo framework de desaprendizado que identifica dinamicamente alvos de vazamento e utiliza um objetivo de desacoplamento de nível de relação para suprimir pares de campos de alto risco, mantendo a utilidade.
DocPrivacyBench: Eles introduzem um novo benchmark especificamente projetado para avaliar o vazamento de privacidade em nível de relação em MLLMs de documentos sob condições de ausência ou mínima evidência visual. Este benchmark inclui modos de teste Impulsionados por Imagem (imagens em branco) e Impulsionados por Prompt (queries diversas).

4. Resultados Experimentais

Os autores avaliaram três MLLMs (LLaVA-1.5-hf, Xgen-Phi3, Idefics2) e seis baselines de desaprendizado (GA, GA+KL, SCRUB, DPO, FTF, DP) usando o DocPrivacyBench em datasets como DocXPand-25k e IDNet.

Prevalência de Vazamento: Os modelos existentes exibem consistentemente vazamento de privacidade quando a evidência visual é escassa. Por exemplo, no dataset ruidoso DocXPand-25k, o LLaVA-1.5-hf mostrou uma precisão de vazamento Impulsionada por Imagem (Acc@1.0) de 0,835, significativamente superior a outros modelos. O estudo observa que a menor qualidade dos dados e a evidência visual mais fraca correlacionam-se com maiores riscos de vazamento.
Limitações dos Baselines: Métodos de desaprendizado agressivos (ex: GA) reduziram com sucesso as taxas de vazamento para próximo de zero, mas causaram uma queda catastrófica na utilidade de Extração de Informação Chave (KIE) (ex: os scores de LC caíram de ~0,85 para ~0,12). Por outro lado, métodos que preservam a utilidade (ex: DPO, FTF) não conseguiram suprimir suficientemente o vazamento, mantendo o Acc@1.0 elevado (ex: ~0,63).
Performance do DRUF: O DRUF alcançou um equilíbrio superior:
- Reduziu o vazamento Impulsionado por Imagem em 4,8 pontos percentuais em comparação com o baseline mais forte (SCRUB).
- Suprimiu o vazamento Impulsionado por Prompt para 0,000.
- Crucialmente, manteve uma performance de KIE robusta, alcançando um score de LC de 0,808 na tarefa de KIE, superando significativamente os baselines agressivos e sendo mais eficaz na supressão de privacidade do que os baselines de preservação de utilidade.
Análise Qualitativa: Comparações visuais mostraram que, enquanto baselines como o GA produziram saídas corrompidas, repetitivas ou estruturalmente quebradas, o DRUF manteve a integridade e a legibilidade das saídas estruturadas, ao mesmo tempo em que impediu o vazamento de pares de campos sensíveis.

5. Significância e Alegações

O artigo afirma que seu trabalho avança o campo ao mudar o foco da privacidade de atributo único para a privacidade de nível de relação no processamento de documentos estruturados. Os autores asseguram que:

O vazamento relacional é um risco comum e severo em MLLMs de documentos que os métodos atuais de desaprendizado falham em abordar efetivamente sem sacrificar a utilidade.
O framework DRUF proposto oferece uma solução prática que se adapta ao comportamento de vazamento específico do modelo, em vez de depender de suposições estáticas.
O DocPrivacyBench fornece uma ferramenta necessária para avaliar sistematicamente o trade-off entre privacidade e utilidade em MLLMs orientados a documentos, destacando que os modelos são particularmente vulneráveis quando o embasamento visual é fraco.

O trabalho conclui que a proteção de privacidade eficaz para MLLMs de documentos requer métodos que visem especificamente a exposição acoplada de informações sensíveis, em vez de apenas pontos de dados isolados.