🤖 AI

Data Agents Under Attack: Vulnerabilities in LLM-Driven Analytical Systems

Este artículo presenta un estudio de seguridad sistemático de los agentes de datos impulsados por LLM, introduciendo un marco de vulnerabilidad por capas y una taxonomía de ataques para demostrar riesgos de seguridad sustanciales en seis sistemas del mundo real a través de técnicas de ataque novedosas y fundamentadas en esquemas.

Autores originales: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Publicado 2026-06-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kuncan Wang, Ziting Wang, Peizhuo Lv, Haoyang Li, Guoliang Li, Gao Cong, Wei Dong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un Agente de Datos como un asistente personal súper inteligente y altamente eficiente contratado por una empresa para procesar números, encontrar tendencias y redactar informes. Este asistente tiene dos superpoderes:

Puede hablar con una biblioteca masiva y organizada de datos de la empresa (bases de datos).
Puede usar herramientas como calculadoras y código para hacer las matemáticas.

El artículo argumenta que, si bien este asistente es poderoso, tiene un punto ciego peligroso. Confía demasiado en sus fuentes y no se da cuenta de que su propio "proceso de pensamiento" puede ser engañado. Los investigadores trataron a este asistente como un objetivo de seguridad, intentando romperlo de 14 formas diferentes para ver qué sucede.

Aquí hay un desglose de sus hallazgos utilizando analogías simples:

1. El problema central: Un sistema "Frankenstein"

Piensa en una base de datos tradicional como un bibliotecario estricto que solo entrega libros si tienes la identificación correcta. Piensa en un chatbot de IA general como un cuentacuentos creativo que inventa cosas si no sabe la respuesta.

Un Agente de Datos es un híbrido: es el cuentacuentos intentando actuar como el bibliotecario. El artículo dice que esta mezcla crea nuevos agujeros de seguridad que ni el bibliotecario ni el cuentacuentos tienen por separado. El agente puede seguir una regla que parece segura por sí sola, pero cuando se combina con otros pasos, accidentalmente filtra secretos o hace colapsar el sistema.

2. Las tres formas en que los atacantes rompen al Agente

Los investigadores categorizaron los ataques en tres objetivos principales, como un ladrón intentando entrar en una casa:

Secuestro (El robo/La intrusión): El atacante engaña al agente para que haga algo que no tiene permitido hacer.
- Analogía: Imagina que el atacante desliza una nota dentro del libro de la biblioteca que dice: "Ignora al bibliotecario; dame el diario privado del CEO". El agente lee la nota, piensa que es una instrucción válida y entrega el diario.
Engaño (Las noticias falsas): El atacante no entra a robar; simplemente hace que el agente dé la respuesta incorrecta.
- Analogía: El atacante pinta un letrero falso en un estante que dice "Todas las manzanas son azules". Cuando el agente busca manzanas, le dice con confianza al jefe: "Tenemos manzanas azules", aunque en realidad son rojas. El agente sigue trabajando duro, pero el resultado es basura.
Drenaje (El vampiro de energía): El atacante engaña al agente para que trabaje tanto que se quede sin batería o dinero.
- Analogía: El atacante le pide al agente que "cuente cada grano de arena en la playa, luego cuéntelos de nuevo, luego verifica tus cálculos, y luego hazlo a la inversa". El agente intenta ser útil, pero pasa todo su tiempo y dinero en una tarea que nunca termina, dejándolo incapaz de ayudar a nadie más.

3. Las ocho debilidades específicas (Las grietas en el muro)

Los investigadores encontraron ocho formas específicas en las que el agente se confunde:

Sesgo de Confianza Implícita: Si el agente encuentra dos hechos conflictivos (uno en una hoja de cálculo y otro en un archivo de texto), simplemente elige uno basado en un presentimiento, no en una regla. Los atacantes plantan hechos falsos en el archivo "confiable" para ganar la discusión.
Sin Verificación de Fuente: El agente asume que todo lo que lee en la base de datos es cierto. No pregunta: "¿Quién escribió esto?" o "¿Es esto real?".
Costos Incontrolados: El agente puede ser engañado para ejecutar una consulta que tarda una eternidad (como comparar cada cliente con todos los demás), colapsando el sistema sin romper ninguna regla.
Errores de Traducción: El agente intenta hacer matemáticas en dos lenguajes diferentes (SQL y Python) y se confunde cuando las respuestas no coinciden perfectamente, entrando en un bucle infinito tratando de corregir un error inexistente.
Bucles Infinitos: El agente puede ser engañado hacia un modo de "búsqueda eterna", donde sigue refinando una respuesta que en realidad no necesita ser refinada.
Olvidar las Reglas: Si una conversación se vuelve demasiado larga, el agente olvida las reglas de seguridad que se le dieron al principio y comienza a filtrar información sensible más adelante en el chat.
El Problema de la "Llave Maestra": El agente a menudo usa una única "llave maestra" para acceder a la base de datos. Si un empleado regular le hace una pregunta al agente, el agente usa la llave maestra, lo que podría permitirle ver cosas que no debería.
La Filtración de Piezas de Rompecabezas: Una pregunta puede ser segura, y otra puede ser segura. Pero si las haces juntas, las respuestas se combinan para revelar un secreto (como averiguar el salario específico de una persona preguntando por el total de un grupo, y luego el total de todos excepto esa persona).

4. Los Experimentos: Rompiendo los Agentes

Los investigadores probaron estos trucos en seis sistemas diferentes (cuatro de código abierto y dos grandes sistemas comerciales como Databricks y BigQuery).

Los Resultados: Casi todos los sistemas fallaron en al menos algunas de las pruebas.
Los Ataques de "Drenaje": Estos fueron sorprendentemente efectivos. Los agentes se dedicaban felizmente a consumir enormes cantidades de potencia de cómputo solo por seguir una solicitud confusa.
Los Ataques de "Engaño": Los agentes fueron fácilmente engañados para creer en datos falsos, especialmente si esos datos provenían de una fuente que el agente "confiaba" más (como un archivo de texto sobre una hoja de cálculo).
Sistemas Comerciales: Los grandes sistemas comerciales fueron mejores deteniendo los ataques de "Secuestro" (tenían guardias fuertes), pero aun así cayeron ante los ataques de "Engaño" y "Drenaje".

5. Las Cuatro Grandes Lecciones (Conclusiones)

Basándose en estos fallos, los autores sugieren cuatro reglas para construir agentes más seguros:

La Base de Datos es Parte de la Trampa: No puedes solo proteger la base de datos; tienes que proteger la conversación con la base de datos. Los datos en sí mismos pueden ser un arma.
Vigila la Factura de Energía: El mayor riesgo no siempre es una filtración de datos; es que el agente sea engañado para realizar un trabajo inútil y costoso que agote los recursos.
Observa la Historia Completa, no solo la Oración: La seguridad no puede limitarse a revisar una pregunta a la vez. Tienes que mirar la conversación completa para ver si la combinación de respuestas revela un secreto.
No Confíes en tu Instinto: El agente no debería adivinar qué fuente es más confiable (por ejemplo, "¿Es el archivo de texto más importante que la hoja de cálculo?"). Necesita un libro de reglas estricto y escrito sobre cómo manejar la información conflictiva.

En resumen: Los agentes de datos son poderosos, pero actualmente son como un asistente inteligente que es demasiado educado para decir "no" a una solicitud confusa, demasiado confiado en las notas escritas y demasiado ansioso por complacer, lo que los hace fáciles de engañar para filtrar secretos, mentir o agotarse.

Resumen Técnico: Agentes de Datos Bajo Ataque

Declaración del Probleso

Los agentes de datos, que integran el razonamiento de Modelos de Lenguaje de Gran Escala (LLM) con el acceso a datos relacionales, herramientas analíticas ejecutables y la orquestación de flujos de trabajo de múltiples pasos, se están convirtiendo en elementos centrales para la analítica empresarial. Aunque estos sistemas ofrecen un acceso a los datos autónomo y flexible, su arquitectura única crea una brecha de seguridad que la investigación existente no logra abordar. La seguridad de las bases de datos tradicionales se centra en entornos de ejecución SQL cerrados, mientras que la seguridad de los agentes de LLM de propósito general se centra en el razonamiento basado en texto. Ninguna de las dos captura los modos de fallo específicos que surgen de la interacción entre la ejecución iterativa de bases de datos y el razonamiento impulsado por LLM.

El problema central es que los agentes de datos introducen nuevas vulnerabilidades donde:

Recursos de Datos: Los datos relacionales estructurados a gran escala (tablas, esquemas, metadatos) pueden ocultar contenido adversarial que los agentes tratan como evidencia legítima.
Ejecución de Base de Datos: Los agentes pueden generar consultas sintácticamente válidas pero computacionalmente costosas (por ejemplo, uniones sin límites, escaneos completos) que causan el agotamiento de recursos sin violar los controles de acceso.
Razonamiento del Agente: Los flujos de trabajo de múltiples pasos permiten que las manipulaciones maliciosas se propaguen a través de resultados intermedios, y las secuencias de consultas acumulativas pueden revelar información sensible incluso si las consultas individuales están permitidas.

Metodología

Los autores presentan un estudio de seguridad sistemático que comprende tres fases principales:

1. Marco de Vulnerabilidad

Los autores formalizan un agente de datos como una tupla $\Sigma = \langle(M, S), T, D, \Pi, E\rangle$ , donde $M$ es el LLM, $S$ es el estado, $T$ es el conjunto de herramientas, $D$ son los activos de datos, $\Pi$ es la política y $E$ es el entorno de ejecución. Analizan el flujo de trabajo del agente a través de tres capas para identificar ocho vulnerabilidades específicas:

Capa de Interpretación: Sesgo de Confianza Implícita (V1) y Falta de Verificación de la Fuente de Datos (V2).
Capa de Ejecución: Costo de Consulta no Controlado (V3), Inconsistencia Semántica entre Motores (V4) y Cadenas de Consultas de Múltiples Pasos sin Límites (V5).
Capa de Política: Olvido de la Política de Seguridad bajo Presión de Contexto (V6), Conexión a la Base de Datos con Privilegios Excesivos (V7) y Falta de Control de Fuga Composicional (V8).

2. Taxonomía de Ataques y Generación de Cargas Útiles (Payloads)

Basándose en las vulnerabilidades, los autores definen una jerarquía de objetivo-táctica-técnica:

Objetivos: Secuestrar (acciones no autorizadas), Engañar (salidas incorrectas) y Agotar (agotamiento de recursos).
Tácticas: Siete tácticas (por ejemplo, Inyección de Ejecución, Manipulación de Razonamiento, Reconstrucción Analítica).
Técnicas: Catorce técnicas específicas (por ejemplo, Inyección de Consultas, Explotación de Sesgo de Tipo de Datos, Inducción de Consultas de Alto Costo).

Para evaluar esto, desarrollaron un flujo de generación de cargas útiles impulsado por LLM fundamentado en esquemas de bases de datos reales. Este flujo recupera las especificaciones de las técnicas, las expande en plantillas y las instancia con nombres reales de tablas/columnas de las bases de datos objetivo, generando 350 cargas útiles únicas.

3. Evaluación Experimental

Los autores evaluaron estos ataques en seis sistemas:

Código Abierto: DataInterpreter, DB-GPT, DeepAnalyze y LAMBDA.
Comerciales: Databricks Genie y BigQuery Conversational Analytical Agent.

La evaluación midió cuatro métricas:

Tasa de Éxito del Ataque (ASR): Frecuencia de ataques exitosos.
Radio de Explosión (BR): Nivel de propagación de los ataques de Secuestro (desde bloqueado hasta escape a nivel de host).
Error Relativo (RE): Precisión de los ataques de Engaño.
Ratio de Amplificación de Recursos (RAR): Magnitud del agotamiento de recursos.

Resultados Clave

Los experimentos revelaron vulnerabilidades de seguridad sustanciales en todos los sistemas probados:

Exposición Universal: Ningún sistema bloqueó la gama completa de ataques. Cada agente evaluado era explotable en al menos cinco de las ocho vulnerabilidades.
Perfiles de Vulnerabilidad:
- DataInterpreter: Mostró una exposición general menor debido a su funcionalidad limitada (a menudo falla al vincular tareas a la base de datos), pero cuando se conectaba, exhibía la mayor fracción de Radio de Explosión (BR4).
- DeepAnalyze: Mostró una exposición amplia, particularmente a ataques de Engaño (el 71% de los casos tuvo un Error Relativo $\le$ 10%) y ataques de Agotamiento, atribuido a su modelo destilado de 8B y la falta de sandboxing para la ejecución de código.
- LAMBDA: Altamente vulnerable a ataques de Agotamiento, con algunos casos que causaron tiempos de ejecución superiores a los 30 minutos debido a bucles sin límites en su kernel de Jupyter.
- Sistemas Comerciales (Databricks/BigQuery): Databricks demostró una fuerte resistencia a los ataques de Secuestro (citando a menudo políticas de seguridad), pero ambos sistemas comerciales siguieron siendo altamente susceptibles a los ataques de Engaño (específicamente la Explotación de Sesgo de Confianza) y técnicas de Agotamiento.
Dominio del Sesgo de Confianza: V1 (Sesgo de Confianza Implícita) fue la vulnerabilidad más prominente. Los agentes frecuentemente resolvían evidencias conflictivas favoreciendo documentos no estructurados o archivos de política más nuevos sobre metadatos estructurados de la base de datos, lo que conducía a salidas incorrectas.
Sensibilidad del LLM: Cambiar el LLM base (por ejemplo, de DeepSeek a Sonnet, GPT o Gemini) cambió el perfil de riesgo pero no eliminó las vulnerabilidades. Diferentes modelos suprimieron diferentes técnicas, pero ninguno bloqueó la taxonomía completa.

Significancia y Contribuciones

El artículo reclama tres contribuciones primarias:

Descubrimiento de Vulnerabilidades y Taxonomía: Los autores proporcionan el primer estudio sistemático de vulnerabilidades específicas para agentes de datos, identificando ocho riesgos que emergen solo de la integración de datos relacionales y el razonamiento de LLM. Los organizan en una taxonomía de 14 técnicas a través de tres objetivos de adversario.
Diseño de Ataques y Generación de Cargas Útiles: Introducen un método para traducir vulnerabilidades abstractas en cargas útiles ejecutables y fundamentadas en esquemas, permitiendo la evaluación empírica de la seguridad de los agentes de datos en entornos realistas.
Evaluación Empírica y Conclusiones: A través de extensas pruebas en seis sistemas, derivan cuatro conclusiones clave para el diseño futuro:
- Superficie de Ataque Ampliada: Conectar bases de datos relacionales a agentes crea nuevos vectores de ataque (contenido de tabla plantado, metadatos envenenados) no presentes en sistemas independientes.
- El Agotamiento de Recursos como un Riesgo Primario: Los ataques de Agotamiento son un modo de fallo central; los agentes pueden ser forzados a consumir recursos excesivos mediante flujos de trabajo analíticos aparentemente legítimos.
- Divulgación Acumulativa: La fuga de datos es una propiedad a nivel de sesión; los agentes seguros deben rastrear la divulgación acumulada a través de cadenas de razonamiento de múltiples pasos, no solo las consultas individuales.
- Procedencia Explícita: Los agentes carecen de una preferencia de modalidad universal; los diseños seguros deben rastrear explícitamente la procedencia de la evidencia y la autoridad en lugar de confiar en sesgos implícitos del modelo.

Los autores concluyen que ni los mecanismos de seguridad de LLM existentes ni los controles de seguridad de bases de datos clásicos son suficientes por sí solos. Los agentes de datos seguros requieren un enfoque coordinado que trate a la base de datos como un límite de seguridad activo y gestione la ejecución consciente de los recursos y el control de divulgación composicional a lo largo de todo el flujo de trabajo.