ChartAttack: Testing the Vulnerability of LLMs to Malicious Prompting in Chart Generation

Resumo Técnico: ChartAttack

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) estão sendo cada vez mais utilizados para automatizar a geração de gráficos a partir de tabelas de dados, facilitando a análise e relatórios. No entanto, isso introduz um novo vetor de risco: a capacidade de MLLMs serem explorados (via jailbreaking ou prompts maliciosos) para gerar gráficos enganosos em escala.

Gráficos mal projetados ou intencionalmente manipulados podem propagar desinformação ao distorcer a interpretação dos dados subjacentes através de técnicas de design conhecidas como "enganadores" (misleaders). Embora estudos anteriores tenham focado na capacidade dos MLLMs de ler gráficos enganosos ou na detecção desses gráficos, não havia uma avaliação sistemática sobre como os MLLMs podem ser induzidos a criar gráficos enganosos que enganem tanto humanos quanto outros modelos.

2. Metodologia

Os autores propõem o ChartAttack, um framework automatizado para avaliar e gerar gráficos enganosos, e o AttackViz, um novo conjunto de dados (corpus) para suportar essa tarefa.

• Framework ChartAttack:

  • Entrada: Anotações de gráficos (arquivos JSON contendo dados e especificações de formatação), uma pergunta relacionada ao gráfico e a resposta correta.
  • Módulo de Seleção de Demonstração: Recupera exemplos semelhantes de um corpus usando um modelo SBERT fine-tunado para fornecer few-shot prompting (aprendizado com poucos exemplos) ao gerador.
  • Módulo Gerador de Enganadores (Misleader-generator): Utiliza MLLMs baseados em código (instruídos) para modificar as anotações JSON do gráfico. O objetivo é aplicar técnicas de manipulação visual (misleaders) que alterem o design do gráfico sem mudar os dados brutos, induzindo uma resposta incorreta para a pergunta associada.
  • Processo: O modelo seleciona técnicas compatíveis, aplica modificações mínimas nas anotações e gera uma resposta plausível, mas incorreta.

• Corpus AttackViz:

  • Construído a partir de datasets existentes (PlotQA, ChartQA, ChartX).
  • Contém pares de (especificação de gráfico, pergunta) onde cada instância é rotulada com enganadores aplicados e suas respostas induzidas.
  • Foca em gráficos de barras (horizontais e verticais) e de linhas, cobrindo 11 técnicas de engano baseadas em uma taxonomia existente (ex: eixo invertido, escala logarítmica inadequada, uso de 3D, truncamento de eixo, etc.).
  • Inclui um processo de filtragem rigoroso para garantir que os gráficos enganosos levem a respostas incorretas consistentes entre múltiplos modelos, enquanto os gráficos originais permanecem corretos.

3. Contribuições Principais

1. ChartAttack: O primeiro framework para gerar automaticamente gráficos enganosos através da aplicação sistemática e parametrizável de técnicas de design (misleaders), permitindo a reprodução precisa de interpretações errôneas.
2. AttackViz: Um novo conjunto de dados de perguntas e respostas (QA) sobre gráficos, estruturado com anotações limpas e anotações modificadas com enganadores, servindo como banco de testes para vulnerabilidades e defesa.
3. Avaliação Abrangente: Uma análise extensiva da eficácia desses ataques em 16 MLLMs de código aberto e 3 modelos proprietários, além de um estudo preliminar com humanos.
4. Estratégia de Mitigação: Demonstração de que o fine-tuning do AttackViz pode melhorar a robustez dos modelos contra gráficos enganosos.

4. Resultados Chave

• Impacto nos MLLMs:

  • O ChartAttack degrada significativamente o desempenho de QA (Question Answering) dos MLLMs.
  • Redução de Precisão: Houve uma queda média de 17,2 pontos percentuais (pp) no domínio de treinamento (in-domain) e 11,9 pp no domínio cruzado (cross-domain).
  • Vulnerabilidade por Tamanho: Modelos maiores e mais capazes (como InternVL-3.5 e Ovis-2.5) sofreram quedas maiores (até 26,6 pp) em comparação a modelos menores, sugerindo que modelos mais avançados são paradoxalmente mais suscetíveis a essas manipulações visuais sutis.
  • Técnicas Mais Eficazes: Manipulações perceptivas como gráficos 3D, uso inadequado de barras empilhadas e escalas logarítmicas foram as mais eficazes em reduzir a precisão.

• Impacto em Humanos:

  • Em um estudo piloto com 12 participantes, os gráficos gerados pelo ChartAttack reduziram a precisão dos humanos em 20,2 pp (de 71,2% para 51,0%), demonstrando que os ataques são eficazes tanto para máquinas quanto para pessoas.

• Mitigação (Fine-tuning):

  • Ao fazer o fine-tuning do modelo Qwen2.5-VL-3B no dataset AttackViz, a robustez do modelo melhorou, aumentando a precisão em gráficos enganosos em 8,44 pp.
  • Observou-se um trade-off leve: a precisão em gráficos corretos diminuiu ligeiramente (-3,44 pp), indicando um equilíbrio entre robustez e desempenho padrão.

• Defesa por Prompt (Guardrails):

  • A adição de instruções de segurança no prompt (prompt-based guard) não foi eficaz em reduzir a taxa de sucesso do ataque, indicando que barreiras simples de texto são insuficientes contra ataques de nível de design visual.

5. Significância e Conclusão

O trabalho expõe uma superfície de ataque subexplorada na geração de gráficos baseada em MLLMs. Ele demonstra que:

1. Os MLLMs podem ser facilmente "quebrados" (jailbroken) para criar desinformação visual convincente.
2. A robustez atual dos sistemas de geração de gráficos é insuficiente, pois eles priorizam a fidelidade aos dados brutos, mas falham em validar a integridade do design visual contra manipulações.
3. Há uma necessidade urgente de considerar segurança e robustez no design, avaliação e implantação de sistemas de visualização de dados automatizados.

O código e os dados do AttackViz foram disponibilizados publicamente para fomentar pesquisas futuras em detecção e mitigação de desinformação visual.