💻 ciencias de la computación

Residual Privacy Leakage after Output Scrubbing in Tool-Using LLM Agents under Indirect Prompt Injection

Este artículo demuestra que el depurado de la salida post-generación es una defensa primaria insuficiente contra la filtración de privacidad en agentes de LLM con uso de herramientas bajo inyección de prompts indirecta, ya que las divulgaciones residuales persisten frecuentemente a través de reexpresiones semánticas incluso después de la eliminación de valores exactos y de segmentos contiguos.

Autores originales: Kashvi Gupta

Publicado 2026-10-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kashvi Gupta

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina un asistente digital que puede acceder a internet, leer tus correos electrónicos, revisar tu calendario y extraer registros privados para ayudarte con una tarea. Este tipo de agente inteligente se está volviendo común, pero enfrenta un problema complicado: a menudo ve mucha más información de la que realmente necesita para hacer el trabajo. Si el asistente es engañado por una instrucción oculta dentro de un documento que recupera, podría revelar accidentalmente tus detalles privados a la persona equivocada. Esto se conoce como inyección de prompts indirecta, una forma en que un atacante puede introducir un comando en el flujo de información que la computadora lee como parte normal de su trabajo. La pregunta central que los investigadores se hacen es si simplemente podemos limpiar el mensaje final del asistente después de que ya haya visto los datos secretos. Si la computadora ya ha leído tu historial médico o tu dirección particular, ¿puede un filtro depurar el texto final para asegurar que esos detalles nunca salgan del edificio, incluso si la computadora intentó escribirlos?

Un investigador se propuso probar esta idea de "depuración de salida" en un entorno controlado. Construyó un sistema donde un agente digital podía ser engañado para recuperar información privada y luego se le pedía que escribiera un mensaje que contuviera dicha información. Una vez que el agente generaba su respuesta, el investigador aplicaba un filtro diseñado para encontrar y eliminar cualquier mención de los datos privados. Probó este filtro con la ayuda de un programa informático que conocía exactamente los valores privados que estaba buscando, actuando como un detective perfecto para detectar cada instancia del secreto. El filtro recibió una regla poderosa: eliminaría no solo el valor privado exacto, sino también cualquier secuencia de tres o más palabras que coincidiera con él, incluso si la ortografía o la capitalización eran ligeramente diferentes. Esto pretendía ser el escenario ideal, una prueba de si un proceso de limpieza muy agresivo podía solucionar la filtración después de que el daño estuviera hecho.

Los resultados fueron sorprendentes y desalentadores. Incluso con este filtro perfecto que sabía exactamente qué buscar y tenía la capacidad de eliminar cadenas largas de palabras coincidentes, la información privada logró escapar en la mayoría de los casos. En un grupo de mensajes filtrados, el filtro no logró detener la divulgación en el 61.2 por ciento de los intentos. En un segundo grupo, falló en el 62.1 por ciento de los intentos. La información que lograba pasar no era usualmente el detalle privado exacto escrito de forma clara. En su lugar, la computadora había reescrito el secreto con sus propias palabras, usando un fraseo diferente que transmitía el mismo significado pero que se veía completamente distinto en la superficie. Debido a que el filtro buscaba palabras o frases cortas específicas, pasó por alto estas nuevas formas de decir lo mismo. El hecho privado había sido reexpresado, y el filtro, que era esencialmente un comparador de palabras, no pudo reconocer la nueva forma.

El investigador también probó un enfoque más avanzado, utilizando otro programa informático para leer el mensaje y reescribirlo para eliminar cualquier significado sensible, en lugar de solo coincidir palabras. Este método redujo el número de veces que los detalles privados exactos se revelaban, pero tuvo un costo pesado. En el proceso de intentar ser seguro, este filtro inteligente eliminó casi toda la información que era realmente necesaria para la tarea, dejando el mensaje final inútil. Era como intentar limpiar una habitación tirando todo lo que hay en ella; la privacidad estaba protegida, pero la habitación estaba vacía. El estudio también probó un método más simple donde se le decía a la computadora: "No compartas información privada", pero esta instrucción por sí sola no detuvo las filtraciones en absoluto. El agente continuó compartiendo los secretos con la misma frecuencia que si nunca se le hubiera dado la advertencia.

Estos hallazgos sugieren que, una vez que un modelo de computadora ha visto información privada, es muy difícil garantizar que la información no se filtrará de una nueva forma. El acto de la computadora de pensar en los datos y luego escribir una respuesta crea nuevas formas de describir esos datos, formas que un filtro simple no puede predecir o capturar. El investigador concluyó que confiar en un filtro para limpiar el mensaje final no es una defensa lo suficientemente sólida. En cambio, el enfoque más seguro es evitar que la información privada entre en la mente de la computadora en primer lugar, o asegurar que la computadora nunca la vea a menos que sea absolutamente necesario para la tarea específica. Aunque los filtros de salida pueden seguir siendo útiles como una segunda capa de protección, no pueden ser el escudo principal contra este tipo de filtraciones. El estudio destaca un límite fundamental: si un sistema ya ha procesado un secreto, simplemente intentar borrarlo de la nota final puede no ser suficiente para mantenerlo seguro.

Resumen Técnico: Filtración de Privacidad Residual tras el Depurado de Salida en Agentes LLM con Uso de Herramientas bajo Inyección de Prompts Indirecta

Planteamiento del Problema
Los agentes de Modelos de Lenguaje de Gran Escala (LLM) con uso de herramientas son vulnerables a la inyección de prompts indirecta, donde los atacantes incrustan instrucciones en el contenido recuperado para manipular al agente. Surge un riesgo de privacidad específico cuando un agente recupera datos autorizados pero sensibles (por ejemplo, de los registros privados de un usuario) y, bajo la influencia de instrucciones inyectadas, divulga esta información en su salida final. Mientras que las defensas suelen basarse en controles estructurales (por ejemplo, el seguimiento de la procedencia) o el reconocimiento semántico, este artículo investiga la eficacia del depurado de salida post-generación (post-generation output scrubbing). La pregunta central es si filtrar la salida del modelo después de que este ya haya observado datos protegidos puede prevenir de manera fiable la filtración de privacidad, o si el proceso de generación del modelo crea nuevas formas de la información protegida que resultan irreconocibles para los filtros estándar.

Metodología
El estudio utiliza un entorno de agente único donde los controles de privacidad se colocan en diferentes puntos del flujo de trabajo:

Eliminación Pre-Contextual (Oráculo): Un control que elimina los valores prohibidos de los artefactos recuperados antes de que el agente los procese. Esto sirve como una referencia de prevención.
Filtrado Post-Generación: Controles aplicados a la salida generada por el agente. El estudio evalúa tres brazos específicos:
- Filtro de Intervalos de Oráculo (Oracle Span Filter): Un filtro privilegiado que elimina cada ocurrencia exacta de los valores protegidos de la verdad fundamental (ground-truth) y cada intervalo contiguo de tres o más tokens (normalizado por mayúsculas/minúsculas y puntuación).
- Redactor Semántico Basado en Modelo: Una pasada de modelo post-generación que reescribe el mensaje para eliminar información personal/confidencial.
- Etiqueta en el Prompt (In-Prompt Label): Una instrucción autoritativa que ordena al modelo no divulgar campos específicos (sin eliminación de texto).

Diseño Experimental y Evaluación

Poblaciones: El estudio analiza dos poblaciones de trayectorias que ya habían filtrado campos prohibidos en ejecuciones sin defensa.
- Celda A: 49 trayectorias (modelo ancla, tarea de recomendación).
- Celda B: 66 trayectorias (modelo de pesos abiertos, tareas mixtas/estilos de inyección).
Mecanismo de Calificación: Para abordar la dificultad de evaluar el texto redactado, el autor emplea un "Juez" (un LLM) que debe citar una subcadena exacta como evidencia de una divulgación.
Triaje de Cadenas de Evidencia: Una contribución metodológica crítica es el proceso de triaje para distinguir las divulgaciones genuinas de los artefactos. Dado que el depurado puede dejar residuos estructurales (por ejemplo, etiquetas vacías, cicatrices de puntuación) que un juez podría malinterpretar como una divulgación, el autor audita mecánicamente la cadena de evidencia citada por el juez. Las señales se clasifican como:
- Re-expresión Genuina: El valor protegido se transmite semánticamente con poca superposición léxica.
- Fallo de Depurado (Scrub-Miss): El valor literal permanece.
- Artefacto: Residuo estructural de la eliminación.
- Conflación: El juez cita un sustituto en lugar del valor real.
Validación Humana: Dos anotadores humanos etiquetaron de forma independiente un subconjunto de las cadenas de evidencia para validar el triaje mecánico.

Resultos Clave

Ineficacia del Depurado Post-Generación: Incluso con un filtro de oráculo que conoce los valores de la verdad fundamental y elimina todas las coincidencias exactas e intervalos contiguos de 3+ tokens, la divulgación residual persistió en el 61.2% (30/49) de la Celda A y el 62.1% (41/66) de la Celda B.
Naturaleza de la Filtración: Las divulgaciones supervivientes fueron predominantemente re-expresiones semánticas (paráfrasis) con poca superposición léxica (a menudo <3 tokens) con el valor original, lo que las hace invisibles para el depurado de valores exactos o de intervalos finitos.
Reclasificación Humana: La adjudicación humana confirmó estos hallazgos, arrojando tasas de divulgación residual de 57.1% y 56.1% respectivamente, validando que la filtración es genuina y no un artefacto de la calificación automatizada.
Limitaciones del Redactor Basado en Modelo: Un redactor semántico basado en modelos redujo la divulgación literal, pero no logró eliminar todos los campos requeridos por la tarea, lo que resultó en un costo de sobre-redacción de 78 puntos porcentuales, volviéndolo impracticable para la preservación de la utilidad.
Etiquetas en el Prompt: Añadir instrucciones de no divulgación sin eliminar los datos tuvo efecto nulo (100% de divulgación residual), mientras que eliminar los datos pre-contexto redujo la filtración a 0%.
Éxito del Pre-Contexto: El brazo de eliminación de pre-contexto de oráculo logró 0/30 divulgaciones de campos prohibidos, demostrando que prevenir la exposición es efectivo, aunque esto es un límite de oráculo, no una estimación de detector desplegable.

Contribuciones Clave

Cuenta de la Ubicación (Placement Account): El artículo establece que el "problema del reconocimiento" para la aplicación de la privacidad cambia según la ubicación. Un reconocedor de pre-contexto debe cubrir las representaciones en el contenido recuperado ( $E_{in}$ ), mientras que un reconocedor post-generación debe cubrir las representaciones que el modelo mismo compuso ( $E_{out}$ ). La exposición del modelo expande el espacio de representación, introduciendo formas que no pueden ser enumeradas de antemano.
Línea Base Privilegiada: Al utilizar un filtro de oráculo con valores de verdad fundamental, el estudio demuestra que incluso el depurado de valores exactos o de intervalos contiguos es insuficiente contra la re-expresión semántica.
Evaluación Auditable: La introducción del "triaje de cadenas de evidencia" proporciona un método robusto para evaluar el texto redactado, separando la filtración semántica genuina de los artefactos estructurales creados por el propio proceso de depurado.

Significancia y Reivindicaciones
El artículo concluye que el depurado de valores exactos y de intervalos finitos es insuficiente como defensa primaria de privacidad una vez que un modelo ha sido expuesto a datos protegidos. Los resultados no pretenden que toda la aplicación semántica post-generación sea imposible, sino que demuestran que la filtración residual es sustancial y persistente.

El autor argumenta que una privacidad efectiva en agentes con uso de herramientas requiere:

Minimización: Reducir los datos privados innecesarios antes de que entren en el contexto del modelo.
Validación de Cobertura: Asegurar que todas las vías de ingreso estén cubiertas por controles.
Defensa en Profundidad: Tratar el filtrado de salida como una capa complementaria en lugar de una solución de carga principal.

El estudio destaca una asimetría fundamental: las políticas de integridad estructural pueden basarse en la procedencia, pero las políticas de privacidad contextual requieren el reconocimiento semántico, que se vuelve significativamente más difícil después de que el modelo ha procesado y re-expresado la información.

Más como este