🤖 AI

Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems

Este artigo apresenta um estudo de segurança sistemático de agentes de dados impulsionados por LLM, introduzindo uma estrutura de vulnerabilidade em camadas e uma taxonomia de ataque para demonstrar riscos de segurança substanciais através de seis sistemas do mundo real por meio de técnicas de ataque inéditas e baseadas em esquema.

Autores originais: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Publicado 2026-06-09

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um Agente de Dados como um assistente pessoal superinteligente e altamente eficiente contratado por uma empresa para processar números, encontrar tendências e escrever relatórios. Este assistente possui dois superpoderes:

Ele pode conversar com uma biblioteca massiva e organizada de dados da empresa (bancos de dados).
Ele pode usar ferramentas como calculadoras e código para fazer os cálculos.

O artigo argumenta que, embora este assistente seja poderoso, ele tem um ponto cego perigoso. Ele confia demais em suas fontes e não percebe que seu próprio "processo de pensamento" pode ser enganado. Os pesquisadores trataram este assistente como um alvo de segurança, tentando quebrá-lo de 14 maneiras diferentes para ver o que acontece.

Aqui está uma análise de suas descobertas usando analogias simples:

1. O Probleo Central: Um Sistema "Frankenstein"

Pense em um banco de dados tradicional como um bibliotecário rigoroso que só entrega livros se você tiver o ID correto. Pense em um chatbot de IA generativa como um contador de histórias criativo que inventa coisas se não souber a resposta.

Um Agente de Dados é um híbrido: é o contador de histórias tentando agir como o bibliotecário. O artigo diz que essa mistura cria novos buracos de segurança que nem o bibliotecário nem o contador de histórias possuem individualmente. O agente pode seguir uma regra que parece segura por si só, mas quando combinada com outras etapas, acidentalmente vaza segredos ou trava o sistema.

2. As Três Maneiras de Atacantes Quebrarem o Agente

Os pesquisadores categorizaram os ataques em três objetivos principais, como um ladrão tentando invadir uma casa:

Sequestro (A Invasão): O atacante engana o agente para que ele faça algo que não é permitido.
- Analogia: Imagine o atacante deslizando um bilhete dentro do livro da biblioteca que diz: "Ignore o bibliotecário; entregue-me o diário privado do CEO". O agente lê o bilhete, pensa que é uma instrução válida e entrega o diário.
Engano (As Notícias Falsas): O atacante não invade; ele apenas faz o agente dar a resposta errada.
- Analogia: O atacante pinta uma placa falsa em uma prateleira dizendo "Todas as maçãs são azuis". Quando o agente procura por maçãs, ele diz confiantemente ao chefe: "Temos maçãs azuis", embora elas sejam, na verdade, vermelhas. O agente ainda está trabalhando duro, mas o resultado é lixo.
Drenagem (O Vampiro de Energia): O atacante engana o agente para que ele realize tanto trabalho que ele fique sem bateria ou dinheiro.
- Analogia: O atacante pede ao agente para "contar cada grão de areia na praia, depois contar novamente, depois conferir sua matemática, e então fazer de trás para frente". O agente tenta ser prestativo, mas gasta todo o seu tempo e dinheiro em uma tarefa que nunca termina, deixando-o incapaz de ajudar qualquer outra pessoa.

3. As Oito Fraquezas Específicas (As Rachaduras na Parede)

Os pesquisadores encontraram oito maneiras específicas pelas quais o agente se confunde:

Viés de Confiança Implícita: Se o agente encontra dois fatos conflitantes (um em uma planilha, outro em um arquivo de texto), ele simplesmente escolhe um baseado em um "sentimento", não em uma regra. Atacantes plantam fatos falsos no arquivo "confiável" para vencer a discussão.
Falta de Verificação de Fonte: O agente assume que tudo o que lê no banco de dados é verdadeiro. Ele não pergunta: "Quem escreveu isso?" ou "Isso é real?".
Custos Descontrolados: O agente pode ser enganado para executar uma consulta que demora uma eternidade (como comparar cada cliente com todos os outros clientes), travando o sistema sem quebrar nenhuma regra.
Erros de Tradução: O agente tenta fazer matemática em duas linguagens diferentes (SQL e Python) e fica confuso quando as respostas não coincidem perfeitamente, entrando em um loop infinito tentando corrigir um erro inexistente.
Loops Infinitos: O agente pode ser enganado para entrar em um modo de "busca eterna", onde continua refinando uma resposta que, na verdade, não precisa de nenhum refinamento.
Esquecimento das Regras: Se uma conversa ficar muito longa, o agente esquece as regras de segurança que lhe foram dadas no início e começa a vazar informações sensíveis mais adiante no chat.
O Problema da "Chave Mestra": O agente frequentemente usa uma única "chave mestra" para acessar o banco de dados. Se um funcionário comum faz uma pergunta ao agente, o agente usa a chave mestra, o que pode permitir que ele veja coisas que não deveria.
Vazamento de Peça de Quebra-Cabeça: Uma pergunta pode ser segura, e outra também pode ser segura. Mas se você fizer as duas juntas, as respostas se combinam para revelar um segredo (como descobrir o salário específico de uma pessoa perguntando pelo total de um grupo e, depois, pelo total de todos exceto aquela pessoa).

4. Os Experimentos: Quebrando os Agentes

Os pesquisadores testaram esses truques em seis sistemas diferentes (quatro de código aberto e dois comerciais grandes como Databricks e BigQuery).

Os Resultados: Quase todos os sistemas falharam em pelo menos alguns dos testes.
Os Ataques de "Drenagem": Estes foram surpreendentemente eficazes. Os agentes aceitavam prontamente gastar enormes quantidades de poder computacional apenas para seguir um pedido confuso.
Os Ataques de "Engano": Os agentes foram facilmente enganados para acreditar em dados falsos, especialmente se esses dados viessem de uma fonte que o agente "confiava" mais (como um arquivo de texto em vez de uma planilha).
Sistemas Comerciais: Os grandes sistemas comerciais foram melhores em impedir ataques de "Sequestro" (eles possuíam guardas fortes), mas ainda caíram em ataques de "Engano" e "Drenagem".

5. As Quatro Grandes Lições (Conclusões)

Com base nessas falhas, os autores sugerem quatro regras para construir agentes mais seguros:

O Banco de Dados é Parte da Armadilha: Você não pode apenas proteger o banco de dados; você deve proteger a conversa com o banco de dados. Os próprios dados podem ser uma arma.
Monitore a Conta de Energia: O maior risco nem sempre é um vazamento de dados; é o agente ser enganado para realizar um trabalho inútil e caro que drena recursos.
Observe a História Toda, Não Apenas a Frase: A segurança não pode apenas verificar uma pergunta de cada vez. Você deve olhar para a conversa inteira para ver se a combinação de respostas revela um segredo.
Não Confie no seu Instinto: O agente não deve adivinhar qual fonte é mais confiável (ex: "O arquivo de texto é mais importante que a planilha?"). Ele precisa de um livro de regras estrito e escrito sobre como lidar com informações conflitantes.

Em resumo: Agentes de dados são poderosos, mas atualmente são como um assistente inteligente que é educado demais para dizer "não" a um pedido confuso, confiante demais em notas escritas e ansioso demais para agradar, tornando-se fáceis de enganar para vazar segredos, mentir ou esgotar recursos.

Resumo Técnico: Agentes de Dados Sob Ataque

Declaração do Problema

Os agentes de dados, que integram o raciocínio de Grandes Modelos de Linguagem (LLMs) com acesso a dados relacionais, ferramentas analíticas executáveis e orquestração de fluxos de trabalho de múltiplas etapas, estão se tornando centrais para a análise de dados empresarial. Embora esses sistemas ofereçam acesso a dados autônomo e flexível, sua arquitetura única cria uma lacuna de segurança que a pesquisa existente não aborda. A segurança de bancos de dados tradicionais foca em ambientes de execução SQL fechados, enquanto a segurança de agentes de LLM de propósito geral foca no raciocínio baseado em texto. Nenhum dos dois captura os modos de falha específicos que surgem da interação entre a execução iterativa de banco de dados e o raciocínio impulsionado por LLM.

O problema central é que os agentes de dados introduzem novas vulnerabilidades onde:

Recursos de Dados: Dados relacionais estruturados em larga escala (tabelas, esquemas, metadados) podem esconder conteúdo adversarial que os agentes tratam como evidência legítima.
Execução de Banco de Dados: Agentes podem gerar consultas sintaticamente válidas, mas computacionalmente caras (ex: junções ilimitadas, varreduras completas/full scans) que causam exaustão de recursos sem violar controles de acesso.
Raciocínio do Agente: Fluxos de trabalho de múltiplas etapas permitem que manipulações maliciosas se propaguem através de resultados intermediários, e sequências cumulativas de consultas podem expor informações sensíveis mesmo que as consultas individuais sejam permitidas.

Metodologia

Os autores apresentam um estudo de segurança sistemático composto por três fases principais:

1. Estrutura de Vulnerabilidade

Os autores formalizam um agente de dados como uma tupla $\Sigma = \langle(M, S), T, D, \Pi, E\rangle$ , onde $M$ é o LLM, $S$ é o estado, $T$ é o conjunto de ferramentas, $D$ são os ativos de dados, $\Pi$ é a política e $E$ é o ambiente de execução. Eles analisam o pipeline do agente através de três camadas para identificar oito vulnerabilidades específicas:

Camada de Interpretação: Viés de Confiança Implícita (V1) e Falta de Verificação de Fonte de Dados (V2).
Camada de Execução: Custo de Consulta Não Controlado (V3), Inconsistência Semântica entre Motores (V4) e Cadeias de Consultas de Múltiplas Etapas Ilimitadas (V5).
Camada de Política: Esquecimento de Política de Segurança sob Pressão de Contexto (V6), Conexão de Banco de Dados com Privilégios Excessivos (V7) e Falta de Controle de Vazamento Composicional (V8).

2. Taxonomia de Ataque e Geração de Payload

Com base nas vulnerabilidades, os autores definem uma hierarquia de objetivo-tática-técnica:

Objetivos: Sequestro/Hijack (ações não autorizadas), Engano/Mislead (saídas incorretas) e Exaustão/Drain (esgotamento de recursos).
Táticas: Sete táticas (ex: Injeção de Execução, Manipulação de Raciocínio, Reconstrução Analítica).
Técnicas: Quatorze técnicas específicas (ex: Injeção de Consulta, Exploração de Viés de Tipo de Dado, Indução de Consulta de Alto Custo).

Para avaliar estes, eles desenvolveram um pipeline de geração de payload impulsionado por LLM fundamentado em esquemas de banco de dados reais. Este pipeline recupera especificações de técnicas, expande-as em modelos (templates) e as instancia com nomes reais de tabelas/colunas de bancos de dados alvo, gerando 350 payloads únicos.

3. Avaliação Experimental

Os autores avaliaram esses ataques em seis sistemas:

Código Aberto (Open-Source): DataInterpreter, DB-GPT, DeepAnalyze e LAMBDA.
Comerciais: Databricks Genie e BigQuery Conversational Analytical Agent.

A avaliação mediu quatro métricas:

Taxa de Sucesso de Ataque (ASR): Frequência de ataques bem-sucedidos.
Raio de Explosão (BR): Nível de propagação de ataques de Sequestro (de bloqueio até escape ao nível do host).
Erro Relativo (RE): Precisão de ataques de Engano.
Razão de Amplificação de Recursos (RAR): Magnitude do esgotão de recursos.

Principais Resultados

Os experimentos revelaram vulnerabilidades de segurança substanciais em todos os sistemas testados:

Exposição Universal: Nenhum sistema bloqueou a gama total de ataques. Cada agente avaliado era explorável em pelo menos cinco das oito vulnerabilidades.
Perfis de Vulnerabilidade:
- DataInterpreter: Mostrou menor exposição geral devido à funcionalidade limitada (frequentemente falhando em vincular tarefas ao banco de dados), mas quando conectado, exibiu a maior fração de Raio de Explosão (BR4).
- DeepAnalyze: Mostrou exposição ampla, particularmente a ataques de Engano (71% dos casos tiveram Erro Relativo $\le$ 10%) e ataques de Exaustão, atribuídos ao seu modelo destilado de 8B e à falta de sandboxing para execução de código.
- LAMBDA: Altamente vulnerável a ataques de Exaustão, com alguns casos causando tempos de execução superiores a 30 minutos devido a loops ilimitados em seu kernel Jupyter.
- Sistemas Comerciais (Databricks/BigQuery): O Databricks demonstrou forte resistência a ataques de Sequestro (frequentemente citando políticas de segurança), mas ambos os sistemas comerciais permaneceram altamente suscetíveis a ataques de Engano (especificamente Exploração de Viés de Confiança) e técnicas de Exaustão.
Dominância do Viés de Confiança: V1 (Viés de Confiança Implícita) foi a vulnerabilidade mais proeminente. Os agentes frequentemente resolviam evidências conflitantes favorecendo documentos não estruturados ou arquivos de política mais recentes sobre metadados estruturados do banco de dados, levando a saídas incorretas.
Sensibilidade do LLM: Alterar o LLM base (ex: de DeepSeek para Sonnet, GPT ou Gemini) mudou o perfil de risco, mas não eliminou as vulnerabilidades. Diferentes modelos suprimiram diferentes técnicas, mas nenhum bloqueou toda a taxonomia.

Significância e Contribuições

O artigo reivindica três contribuições primárias:

Descoberta de Vulnerabilidade e Taxonomia: Os autores fornecem o primeiro estudo sistemático de vulnerabilidades específicas para agentes de dados, identificando oito riscos que emergem apenas da integração de dados relacionais e raciocínio de LLM. Eles os organizam em uma taxonomia de 14 técnicas através de três objetivos de adversário.
Design de Ataque e Geração de Payload: Eles introduzem um método para traduzir vulnerabilidades abstratas em payloads executáveis e fundamentados em esquema, permitindo a avaliação empírica da segurança de agentes de dados em configurações realistas.
Avaliação Empírica e Lições Aprendidas: Através de testes extensivos em seis sistemas, eles derivam quatro lições principais para o design futuro:
- Superfície de Ataque Ampliada: Conectar bancos de dados relacionais a agentes cria novos vetores de ataque (conteúdo de tabela plantado, metadados envenenados) não presentes em sistemas isolados.
- Exaustão de Recursos como um Risco Primário: Ataques de Exaustão são um modo de falha central; agentes podem ser forçados a consumir recursos excessivos através de fluxos de trabalho analíticos aparentemente legítimos.
- Divulgação Cumulativa: O vazamento de dados é uma propriedade de nível de sessão; agentes seguros devem rastrear a divulgação cumulativa através de cadeias de raciocínio de múltiplas etapas, não apenas consultas individuais.
- Proveniência Explícita: Agentes carecem de uma preferência de modalidade universal; designs seguros devem rastrear explicitamente a proveniência da evidência e a autoridade, em vez de depender de vieses implícitos do modelo.

Os autores concluem que nem os mecanismos existentes de segurança de LLM nem os controles clássicos de segurança de banco de dados são suficientes por si sós. Agentes de dados seguros requerem uma abordagem coordenada que trate o banco de dados como uma fronteira de segurança ativa e gerencie a execução consciente de recursos e o controle de divulgação composicional através de todo o fluxo de trabalho.