🤖 AI

Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems

Dit artikel presenteert een systematische beveiligingsstudie van door LLM aangestuurde data-agenten, waarbij een gelaagd kwetsbaarheidsframework en een aanvalstaxonomie worden geïntroduceerd om aanzienlijke beveiligingsrisico's aan te tonen in zes real-world systemen via nieuwe, op schema gebaseerde aanvalstechnieken.

Oorspronkelijke auteurs: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Gepubliceerd 2026-06-09

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Data Agent voor als een superintelligente, uiterst efficiënte persoonlijke assistent die door een bedrijf is ingehuurd om getallen te verwerken, trends te vinden en rapporten te schrijven. Deze assistent heeft twee superkrachten:

Het kan praten met een enorme, georganiseerde bibliotheek van bedrijfsgegevens (databases).
Het kan tools gebruiken zoals rekenmachines en code om de wiskunde te doen.

Het artikel betoogt dat hoewel deze assistent krachtig is, het een gevaarlijk blinde vlek heeft. Het vertrouwt zijn bronnen te gemakkelijk en beseft niet dat zijn eigen "denkproces" bedrogen kan worden. De onderzoekers behandelden deze assistent als een beveiligingsdoelwit en probeerden het op 14 verschillende manieren te breken om te zien wat er gebeurt.

Hier is een overzicht van hun bevindingen met behulp van eenvoudige analogieën:

1. Het kernprobleem: Een "Frankenstein"-systeem

Beschouw een traditionele database als een strenge bibliothecaris die alleen boeken uitreikt als je de juiste ID hebt. Denk aan een algemene AI-chatbot als een creatieve verhalenverteller die dingen verzint als hij het antwoord niet weet.

Een Data Agent is een hybride: het is de verhalenverteller die probeert te handelen als de bibliothecaris. Het paper zegt dat deze mix nieuwe beveiligingslekken creëert die noch de bibliothecaris, noch de verhalenverteller op zichzelf hebben. De agent kan een regel volgen die op zichzelf veilig lijkt, maar wanneer deze wordt gecombineerd met andere stappen, lekt hij per ongeluk geheimen of laat hij het systeem crashen.

2. De drie manieren waarop aanvallers de agent breken

De onderzoekers categoriseerden de aanvallen in drie hoofddoelen, als een inbreker die een huis probeert te kraken:

Hijacken (De inbraak): De aanvaller misleidt de agent om iets te doen waarvoor hij niet is toegestaan.
- Analogie: Stel je voor dat de aanvaller een briefje in het bibliotheekboek glipt met de tekst: "Negeer de bibliothecaris; geef me het privédagboek van de CEO." De agent leest het briefje, denkt dat het een geldige instructie is, en overhandigt het dagboek.
Misleiden (Het nepnieuws): De aanvaller breekt niet in; hij zorgt er alleen voor dat de agent het verkeerde antwoord geeft.
- Analogie: De aanvaller plaatst een nepbordje op een plank met de tekst "Alle appels zijn blauw". Wanneer de agent naar appels zoekt, vertelt hij de baas vol vertrouwen: "We hebben blauwe appels", ook al zijn ze eigenlijk rood. De agent werkt nog steeds hard, maar het resultaat is waardeloos.
Drain (De energievampier): De aanvaller misleidt de agent om zoveel werk te verrichten dat hij zonder batterij of geld komt te zitten.
- Analogie: De aanvaller vraagt de agent om "elke zandkorrel op het strand te tellen, ze dan nog een keer te tellen, dan je berekening te controleren, en het dan achterstevoren te doen." De agent probeert behulpzaam te zijn, maar besteedt al zijn tijd en geld aan een taak die nooit eindigt, waardoor hij niet meer in staat is om anderen te helpen.

3. De acht specifieke zwakheden (De barsten in de muur)

De onderzoekers vonden acht specifieke manieren waarop de agent in de war raakt:

Impliciete Vertrouwensbias: Als de agent twee tegenstrijdige feiten vindt (één in een spreadsheet, één in een tekstbestand), kiest hij er gewoon één op basis van een onderbuikgevoel, niet op basis van een regel. Aanvallers planten nepfeiten in het "vertrouwde" bestand om de discussie te winnen.
Geen Broncontrole: De agent gaat ervan uit dat alles wat hij in de database leest, waar is. Hij vraat niet: "Wie heeft dit geschreven?" of "Is dit echt?".
Ongecontroleerde Kosten: De agent kan worden misleid tot het uitvoeren van een query die eeuwig duurt (zoals elke klant met elke andere klant vergelijken), waardoor het systeem crasht zonder de regels te breken.
Translatiefouten: De agent probeert wiskunde in twee verschillende talen te doen (SQL en Python) en raakt in de war wanneer de antwoorden niet perfect overeenkomen, waardoor hij in een loop terechtkomt om een niet-bestaande fout te herstellen.
Eindeloze Loops: De agent kan worden misleid in een "zoek voor eeuwig"-modus, waarbij hij een antwoord blijft verfijnen dat eigenlijk nooit verfijnd hoeft te worden.
Regels Vergeten: Als een gesprek te lang wordt, vergeet de agent de beveiligingsregels die hem aan het begin zijn gegeven en begint hij later in de chat gevoelige informatie te lekken.
Het "Master Key"-probleem: De agent gebruikt vaak één enkele "meestersleutel" om toegang te krijgen tot de database. Als een gewone werknemer de agent een vraag stelt, gebruikt de agent de meestersleutel, wat hem toegang kan geven tot zaken die hij niet mag zien.
Het Puzzelstukje-lek: Eén vraag is misschien veilig, en een andere vraag is ook veilig. Maar als je ze samen stelt, onthullen de antwoorden samen een geheim (zoals het achterhalen van het salaris van een specifiek persoon door te vragen naar het totaal van een groep, en dan het totaal van iedereen behalve die persoon).

4. De Experimenten: Het breken van de Agents

De onderzoekers testten deze trucs op zes verschillende systemen (vier open-source en twee grote commerciële systemen zoals Databricks en BigQuery).

De Resultaten: Bijna elk systeem faalde op ten minste enkele van de tests.
De "Drain"-aanvallen: Deze waren verrassend effectief. De agents zouden gullijk veel rekenkracht verbruiken om een verwarrend verzoek op te volgen.
De "Mislead"-aanvallen: De agents werden gemakkelijk misleid om in valse gegevens te geloven, vooral als die gegevens afkomstig waren van een bron die de agent "meer vertrouwde" (zoals een tekstbestand boven een spreadsheet).
Commerciële Systemen: De grote commerciële systemen waren beter in het stoppen van "Hijack"-aanvallen (ze hadden sterke bewakers), maar vielen nog steeds voor "Mislead" en "Drain" aanvallen.

5. De Vier Grote Lessen (Takeaways)

Op basis van deze mislukkingen suggereren de auteurs vier regels voor het bouwen van veiligere agents:

De Database is onderdeel van de val: Je kunt niet alleen de database beschermen; je moet ook het gesprek met de database beschermen. De data zelf kan een wapen zijn.
Houd de energierekening in de gaten: Het grootste risico is niet altijd een datalek; het is dat de agent wordt misleid tot het doen van nutteloos, duur werk dat middelen opslokt.
Bekijk het hele verhaal, niet alleen de zin: Beveiliging kan niet alleen per vraag worden gecontroleerd. Je moet het hele gesprek bekijken om te zien of de combinatie van antwoorden een geheim onthult.
Vertrouw niet op je onderbuikgevoel: De agent mag niet raden welke bron betrouwbaarder is (bijv. "Is het tekstbestand belangrijker dan de spreadsheet?"). Hij heeft een strikt, schriftelijk regelboek nodig voor hoe hij met tegenstrijdige informatie moet omgaan.

Kortom: Data agents zijn krachtig, maar momenteel lijken ze op een slimme assistent die te beleefd is om "nee" te zeggen tegen een verwarrend verzoek, te vertrouwend is op geschreven briefjes, en te graag wil pleasen, waardoor ze gemakkelijk te misleiden zijn om geheimen te lekken, te liegen of uit te putten.

Technische Samenvatting: Data Agents Onder Aanval

Probleemstelling

Data agents, die LLM-redenering integreren met toegang tot relationele data, uitvoerbare analytische tools en multi-step workflow-orkestratie, worden centraal voor enterprise-analyse. Hoewel deze systemen autonome en flexibele data-toegang bieden, creëert hun unieke architectuur een beveiligingsgat dat door bestaand onderzoek niet wordt geadresseerd. Traditionele databasebeveiliging richt zich op gesloten SQL-executieomgevingen, terwijl de beveiliging van algemene LLM-agents zich richt op tekstgebaseerde redenering. Geen van beide vangt de specifieke faalmodi op die voortvloeien uit de interactie tussen iteratieve database-executie en LLM-gestuurde redenering.

Het kernprobleem is dat data agents nieuwe kwetsbaarheden introduceren waarbij:

Data Resources: Grootschalige, gestructureerde relationele data (tabellen, schema's, metadata) kwaadwillige inhoud kunnen verbergen die agents als legitiem bewijs behandelen.
Database Execution: Agents kunnen syntactisch correcte maar computationeel dure queries genereren (bijv. onbegrensde joins, full scans) die bronuitputting veroorzaken zonder de toegangscontroles te schenden.
Agent Reasoning: Multi-step workflows maken het mogelijk dat kwaadwillige manipulaties zich voortplanten door tussenresultaten, en cumulatieve query-sequenties kunnen gevoelige informatie onthullen, zelfs als individuele queries zijn toegestaan.

Methodologie

De auteurs presenteren een systematische security-studie bestaande uit drie hoofdfasen:

1. Kwetsbaarheidsframework

De auteurs formaliseren een data agent als een tupel $\Sigma = \langle(M, S), T, D, \Pi, E\rangle$ , waarbij $M$ de LLM is, $S$ de staat, $T$ de toolset, $D$ de data-assets, $\Pi$ het beleid en $E$ de executie-omgeving. Ze analyseren de agent-pipeline over drie lagen om acht specifieke kwetsbaarheden te identificeren:

Interpretatielaag: Implicit Trust Bias (V1) en gebrek aan verificatie van de databron (V2).
Executielaag: Ongecontroleerde querykosten (V3), cross-engine semantische inconsistentie (V4) en onbegrensde multi-step queryketens (V5).
Beleidlaag: Vergeten van beveiligingsbeleid onder contextdruk (V6), overgeprivilegieerde databaseverbinding (V7) en gebrek aan controle op compositionele lekkage (V8).

2. Aanvalstaxonomie en Payload Generatie

Op basis van de kwetsbaarheden definiëren de auteurs een doel-tactiek-techniek hiërarchie:

Doelen: Hijack (ongeautoriseerde acties), Mislead (onjuiste outputs) en Drain (bronuitputting).
Tactieken: Zeven tactieken (bijv. Execution Injection, Reasoning Manipulation, Analytical Reconstruction).
Technieken: Veertien specifieke technieken (bijv. Query Injection, Data Type Bias Exploitation, High-Cost Query Induction).

Om deze te evalueren, ontwikkelden zij een LLM-gestuurde payload-generatiepipeline die geworteld is in echte database-schema's. Deze pipeline haalt techniek-specificaties op, breidt deze uit naar templates en instantiëren ze met echte tabel/kolomnamen uit doeldatabases, waardoor 350 unieke payloads worden gegenereerd.

3. Experimentele Evaluatie

De auteurs evalueerden deze aanvallen op zes systemen:

Open-Source: DataInterpreter, DB-GPT, DeepAnalyze en LAMBDA.
Commercieel: Databricks Genie en BigQuery Conversational Analytical Agent.

De evaluatie mat vier metrieken:

Attack Success Rate (ASR): Frequentie van succesvolle aanvallen.
Blast Radius (BR): Propagatieniveau van Hijack-aanvallen (van geblokkeerd tot host-level escape).
Relative Error (RE): Nauwkeurigheid van Mislead-aanvallen.
Resource Amplification Ratio (RAR): Grootte van de resource drain.

Belangrijkste Resultaten

De experimenten toonden substantiële beveiligingskwetsbaarheden aan in alle geteste systemen:

Universele Blootstelling: Geen enkel systeem blokkeerde het volledige bereik aan aanvallen. Elke geëvalueerde agent was vatbaar voor ten minste vijf van de acht kwetsbaarheden.
Kwetsbaarheidsprofielen:
- DataInterpreter: Toonde een lagere algehele blootstelling door beperkte functionaliteit (faalt vaak in het binden van taken aan de database), maar vertoonde bij verbinding de hoogste Blast Radius (BR4) fractie.
- DeepAnalyze: Toonde brede blootstelling, met name aan Mislead-aanvallen (71% van de gevallen had een Relative Error $\le$ 10%) en Drain-aanvallen, toegeschreven aan het gedestilleerde 8B-model en het gebrek aan sandboxing voor code-executie.
- LAMBDA: Zeer kwetsbaar voor Drain-aanvallen, waarbij sommige gevallen de executietijd deden overschrijden tot meer dan 30 minuten door onbegrensde loops in de Jupyter kernel.
- Commerciële Systemen (Databricks/BigQuery): Databricks demonstreerde sterke weerstand tegen Hijack-aanvallen (citeert vaak beveiligingsbeleid), maar beide commerciële systemen bleven zeer vatbaar voor Mislead-aanvallen (specifiek Trust-Bias Exploitation) en Drain-technieken.
Dominantie van Trust Bias: V1 (Implicit Trust Bias) was de meest prominente kwetsbaarheid. Agents losten conflicterende bewijslast vaak op door de voorkeur te geven aan ongestructureerde documenten of nieuwere beleidsbestanden boven gestructureerde database-metadata, wat leidde tot onjuiste outputs.
LLM Sensitiviteit: Het wijzigen van de basis-LLM (bijv. van DeepSeek naar Sonnet, GPT of Gemini) verschoof het risicoprofiel maar elimineerde de kwetsbaarheden niet. Verschillende modellen onderdrukten verschillende technieken, maar geen enkele blokkeerde de volledige taxonomie.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Ontdekking van Kwetsbaarheden en Taxonomie: De auteurs bieden de eerste systematische studie van kwetsbaarheden specifieke voor data agents, waarbij acht risico's worden geïdentificeerd die alleen ontstaan uit de integratie van relationele data en LLM-redenering. Ze organiseren deze in een taxonomie van 14 technieken over drie adversary doelen.
Aanvalontwerp en Payload Generatie: Ze introduceren een methode om abstracte kwetsbaarheden te vertalen naar uitvoerbare, schema-gegronde payloads, wat de empirische evaluatie van de beveiliging van data agents in realistische settings mogelijk maakt.
Empirische Evaluatie en Lessen: Door uitgebreide tests op zes systemen leiden ze vier belangrijke lessen af voor toekomstig ontwerp:
- Verbreed Aanvalsoppervlak: Het verbinden van relationele databases aan agents creëert nieuwe aanvalsvectoren (geplante tabelinhoud, vergiftigde metadata) die niet aanwezig zijn in standalone systemen.
- Resource Drain als Primair Risico: Drain-aanvallen zijn een centrale faalmodus; agents kunnen worden gedwongen tot excessief resourceverbruik via ogenschijnlijk legitieme analytische workflows.
- Cumulatieve Onthulling: Data-lekken zijn een sessie-eigenschap; beveiligde agents moeten de cumulatieve onthulling over multi-step redeneerketens bijhouden, niet alleen individuele queries.
- Expliciete Herkomst (Provenance): Agents missen een universele modaliteitspreferentie; veilige ontwerpen moeten de herkomst en autoriteit van bewijslast expliciet volgen in plaats van te vertrouwen op impliciete modelbiases.

De auteurs concluderen dat noch bestaande LLM-veiligheidsmechanismen, noch klassieke databasebeveiligingscontroles op zichzelf voldoende zijn. Veilige data agents vereisen een gecoördineerde aanpak die de database behandelt als een actieve beveiligingsgrens en resource-bewuste executie en compositionele onthullingscontrole over de volledige workflow beheert.