Resumo Técnico: Respostas Contrafeitas: Falsificação Adversária contra o VQA de Documentos sem OCR

Declaração do Problema

Sistemas de Document Visual Question Answering (DocVQA), particularmente aqueles que utilizam arquiteturas ponta a ponta sem OCR, emergiram como ferramentas poderosas para o raciocínio sobre imagens de documentos. Esses modelos processam imagens brutas e perguntas em linguagem natural para gerar respostas, contornando os custos computacionais e a propagação de erros associados aos pipelines tradicionais de Reconhecimento Óptico de Caracteres (OCR). No entanto, a vulnerabilidade dos modelos de Aprendizado Profundo (DL) a perturbações adversárias — manipulações sutis de entrada que desencadeiam comportamentos indesejados — não foi investigada minuciosamente no contexto de DocVQA.

O artigo identifica uma lacuna de segurança crítica: o potencial para "falsificação de documentos" via ataques adversários. Diferente dos ataques padrão de classificação de imagem, os ataques de DocVQA visam manipular saídas semânticas específicas (respostas) derivadas de layouts de documentos complexos. Os autores postulam que mesmo perturbações visualmente imperceptíveis poderiam permitir que adversários induzissem respostas incorretas específicas (por exemplo, alterando totais financeiros em uma fatura) ou causassem falha sistemática do modelo. Em pipelines automatizados, como aqueles habilitados por protocolos como o Agents Payments Protocol (AP2), essas vulnerabilidades poderiam levar diretamente a perdas monetárias ou transações não autorizadas.

Metodologia

Modelo de Ameaça

Os autores formalizam um modelo de ameaça de caixa branca (white-box) onde o adversário possui conhecimento completo do sistema DocVQA alvo, incluindo sua arquitetura, pipelines de pré-processamento, parâmetros e gradientes. O atacante tem acesso à imagem original do documento $x$ e às respostas da verdade fundamental (ground-truth) $y$, mas a pergunta $q$ é fixa (ex: um prompt do sistema). O objetivo do atacante é gerar um documento perturbado $x' = x + \delta$ que faça o modelo produzir uma resposta manipulada $y^*$.

O ataque opera sob as seguintes restrições:

• Manipulação do Espaço de Entrada: As perturbações são aplicadas diretamente aos valores de pixels brutos do documento antes de qualquer pré-processamento específico do modelo.
• Imperceptibilidade: A perturbação $\delta$ é restringida por uma norma $\ell_\infty$ ($\|\delta\|_\infty \leq \epsilon$) para garantir que permaneça visualmente sutil.
• Cenários: O framework suporta três cenários de ataque:
  1. Single-QA Direcionado: Forçar uma resposta incorreta específica para uma pergunta.
  2. Multi-QA Direcionado: Forçar respostas incorretas específicas para múltiplas perguntas simultaneamente.
  3. Negação de Resposta (DoA - Denial of Answer): Induzir respostas geralmente incorretas para todas as perguntas em um documento (violação de disponibilidade).

Formulação de Ataque e Otimização

Os autores empregam o Gradiente Descendente Projetado (PGD) para otimizar a perturbação. A função objetivo minimiza a perda entre a saída do modelo e uma resposta alvo $y^*$ (para ataques direcionados) ou maximiza a perda contra a verdade fundamental (para ataques não direcionados de DoA).

Uma contribuição técnica fundamental é o tratamento do pré-processamento específico do modelo. Como os modelos de DocVQA como Pix2Struct e Donut empregam etapas de pré-processamento únicas e frequentemente não diferenciáveis (ex: extração de patches, normalização específica, renderização de perguntas), os autores realizaram engenharia reversa nesses pipelines para criar grafos computacionais totalmente diferenciáveis. Isso permite que os gradientes fluam de volta da saída do modelo para a imagem de entrada bruta, permitendo a otimização ponta a ponta.

Duas funções de perda distintas foram utilizadas:

1. Perda de Fine-tuning Padrão: A log-verossimilhança negativa usada no treinamento original do modelo.
2. Custom Logit Loss: Uma função de perda inovadora projetada especificamente para melhorar a eficácia do ataque no modelo Donut. Esta perda penaliza apenas os tokens alvo que não são atualmente o logit máximo, guiando a otimização para "trazer à tona" os tokens alvo sem perturbar aqueles que já estão corretos.

Configuração Experimental

O estudo avalia ataques em dois modelos de estado da arte sem OCR:

• Pix2Struct: Um transformer de visão-linguagem que renderiza a pergunta como um cabeçalho visual na imagem.
• Donut: Um transformer que aceita a pergunta como um prompt de texto.

Os experimentos foram conduzidos no dataset PFL-DocVQA, utilizando um subconjunto de 1.000 documentos de faturas únicos, cada um com 5 pares de pergunta-resposta associados. Os autores testaram tanto ataques de documento completo (perturbando a imagem inteira) quanto ataques baseados em patches (perturbando uma região localizada, ex: um quadrado de 15% no canto inferior direito).

Principais Resultados

Taxa de Sucesso do Ataque (ASR)

• Single-QA Direcionado: Os ataques foram altamente eficazes. Para ataques de documento completo, a ASR atingiu quase 100% para o Pix2Struct e pouco abaixo de 80% para o Donut. Ataques de patch também foram bem-sucedidos para o Pix2Struct (~100% ASR), mas significativamente menos eficazes para o Donut (<20% ASR).
• Multi-QA Direcionado: À medida que o número de perguntas otimizadas ($B$) aumentava, a ASR diminuía, refletindo a dificuldade crescente de satisfazer múltiplas restrições simultaneamente. O Pix2Struct manteve uma alta ASR para pequenos valores de $B$, enquanto o desempenho do Donut caiu rapidamente, aproximando-se de zero em $B=2$.
• Negação de Resposta (DoA): Os ataques não direcionados provaram ser altamente eficazes em degradar o desempenho do modelo. Mesmo com um único passo de otimização ($K=1$), os modelos foram interrompidos. A ASR para DoA permaneceu alta para $B=1$, mas diminuiu conforme mais perguntas eram visadas, embora a queda tenha sido menos severa para o Donut em comparação ao cenário direcionado.

Dano Colateral (CDMG) e ANLS

• Dano Colateral: Para ataques de Single-QA direcionados, o CDMG permaneceu baixo, indicando que as respostas não visadas no mesmo documento permaneceram majoritariamente corretas. No entanto, em cenários de Multi-QA e DoA, o CDMG aumentou como esperado, particularmente no DoA, onde o objetivo é a interrupção global.
• Scores ANLS: As métricas de Similaridade de Levenshtein Normalizada Média (ANLS) confirmaram a dinâmica do ataque. Em ataques direcionados, o ANLS-B (similaridade com as respostas alvo) aumentou, enquanto o ANLS-C (similaridade com a verdade fundamental para respostas não visadas) permaneceu alto. Nos ataques de DoA, o ANLS-B (similaridade com a verdade fundamental) diminuiu significativamente, confirmando a degradação das saídas corretas.

Significância e Alegações

O artigo afirma apresentar o primeiro modelo de ameaça analisando especificamente a vulnerabilidade adversária de sistemas DocVQA sem OCR. Sua principal significância reside em demonstrar que:

1. Vulnerabilidade Ponta a Ponta: Os atuais sistemas de DocVQA são suscetíveis à falsificação adversária, onde pequenas perturbações localizadas ou de documento completo podem induzir respostas semanticamente incorretas específicas.
2. Impacto no Mundo Real: Esses ataques não são meramente teóricos; eles podem ser criados para manipular dados financeiros (ex: totais de faturas) ou disparar condições de negação de serviço em pipelines de processamento de documentos automatizados.
3. Sensibilidade do Modelo: Diferentes arquiteturas exibem níveis variados de robustez. O Pix2Struct foi encontrado mais vulnerável a ataques de patch do que o Donut, enquanto o Donut teve mais dificuldade com a otimização de múltiplos alvos.
4. Chamado para Defesa: Os achados destacam a necessidade crítica de defesas robustas, incluindo treinamento adversário adaptado para modalidades de documentos, detecção de entradas anômalas e endurecimento de pipelines de pré-processamento.

Os autores enfatizam que, embora seu estudo assuma um cenário de caixa branca (um limite superior da capacidade de ataque), os resultados estabelecem um limite superior claro sobre a eficácia de tais ataques, instando a comunidade a desenvolver mitigações fundamentadas antes que essas vulnerabilidades sejam exploradas no mundo real.