💻 computer science

AgentCrypt: Advancing Privacy and (Secure) Computation in AI Agent Collaboration

AgentCrypt es un marco de tres niveles que garantiza la protección de la privacidad determinista para agentes de IA al desacoplar la seguridad del razonamiento probabilístico mediante un enfoque por capas que abarca desde el enmascaramiento consciente del contexto hasta el cómputo completamente cifrado, permitiendo así la colaboración segura y el cumplimiento normativo en arquitecturas diversas.

Autores originales: Harish Karthikeyan, Yue Guo, Leo de Castro, Antigoni Polychroniadou, Udari Madhushani Sehwag, Leo Ardon, Sumitra Ganesh, Manuela Veloso

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Harish Karthikeyan, Yue Guo, Leo de Castro, Antigoni Polychroniadou, Udari Madhushani Sehwag, Leo Ardon, Sumitra Ganesh, Manuela Veloso

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: El "Mayordomo Hablador"

Imagina que contratas a un mayordomo altamente inteligente y super-rápido (un Agente de IA) para gestionar los detalles sensibles de tu vida: tus cuentas bancarias, tus registros médicos y tus calificaciones escolares.

El problema es que este mayordomo es un poco impredecible. A veces, se confunde. A veces, es engañado por un extraño que le susurra al oído (una inyección de prompt). A veces, accidentalmente le cuenta tus secretos a la persona equivocada porque confundió a dos personas con nombres similares.

Las medidas de seguridad actuales son como pedirle al mayordomo: "Por favor, no le cuentes tus secretos a nadie". Pero si el mayordomo está confundido o engañado, aún podría soltarlo sin querer. En el mundo real (como en la banca o la atención médica), incluso una probabilidad de error del 1% es inaceptable. Necesitas un 100% de certeza de que tus secretos permanezcan seguros, sin importar cómo se comporte el mayordomo.

La Solución: AgentCrypt (El "Sobre Mágico")

Los autores crearon AgentCrypt, un sistema que no depende del buen comportamiento del mayordomo. En su lugar, coloca tus datos dentro de un sobre mágico e inquebrantable antes de que el mayordomo los toque siquiera.

Piénsalo así:

Antiguo Método: Le das al mayordomo una pila de papeles. Esperas que no los deje caer, que no los lea o que no los muestre a la persona equivocada.
Método AgentCrypt: Pones cada papel individual dentro de una caja cerrada con llave. El mayordomo puede cargar las cajas, moverlas e incluso hacer matemáticas con ellas sin abrirlas. Pero nunca podrá ver lo que hay dentro a menos que tenga la llave específica.

Los Tres Niveles de Seguridad

El artículo describe tres niveles de cómo funciona este sistema de "Sobre Mágico", desde lo simple hasta lo complejo:

Nivel 1: La Mesa Abierta (Sin Privacidad)

Analogía: Te sientas a una mesa con tu mayordomo y un extraño. Hablas de tu salario en voz alta.
Qué hace: Nada. Los datos se envían en texto plano. Cualquiera que escuche puede oírlos. Esto es solo para información pública, como un menú de restaurante.

Nivel 2: La Caja Cerrada con Llave (Recuperación Basada en Políticas)

Analogía: Tienes una caja de documentos. Se le dice al mayordomo: "Solo entrega el documento 'Salario' al Gerente, y solo si tienen la Llave del Gerente".
Cómo funciona: Incluso si el mayordomo se confunde e intenta darle el salario a la persona equivocada (como un becario aleatorio), la caja permanece cerrada. El becario intenta abrirla, pero no tiene la llave, así que solo ve una caja cerrada.
La Magia: No importa si el mayordomo comete un error o intenta ser astuto. El candado (cifrado) hace el trabajo, no el cerebro del mayordomo.

Nivel 3: La Caja de la Máquina Matemática (Cálculo Basado en Políticas)

Analogía: Este es el nivel de superpoderes. Imagina que quieres saber el promedio salarial de tu equipo, pero no quieres que el mayordomo vea el salario individual de nadie.
Cómo funciona: El mayordomo toma las cajas cerradas (datos cifrados) y las introduce en una máquina especial. La máquina hace las matemáticas dentro de las cajas cerradas y expulsa una nueva caja cerrada con la respuesta.
El Resultado: El mayordomo nunca vio los números individuales. Solo vio la respuesta final, que también está cerrada. Solo la persona con la llave correcta puede abrir la respuesta final.

Por Qué Esto Es Importante

El artículo argumenta que los métodos de seguridad anteriores eran como "entrenar al mayordomo para que sea bueno". Pero la IA puede ser impredecible. AgentCrypt cambia el juego al hacer que la seguridad sea independiente de la IA.

La "Tríada Lethal": El artículo menciona una mezcla peligrosa: Datos Privados + Contenido No Confiable + Comunicación Externa. Si una IA tiene las tres, puede filtrar datos. AgentCrypt rompe esta cadena asegurando que, incluso si la IA es engañada o comete un error, los datos permanecen cifrados e inútiles para el atacante.
El Problema de los "Múltiples Saltos": Imagina un paquete que pasa por 5 conductores diferentes (agentes) para llegar a ti. Si un conductor es descuidado, el paquete se pierde. Con AgentCrypt, el paquete está en una caja fuerte de acero todo el camino. Incluso si un conductor deja caer la caja fuerte, el contenido sigue estando seguro.

Los Resultados de las Pruebas

Los investigadores probaron este sistema con cientos de escenarios, incluyendo:

Confusión: "Pedí el registro de Juan, pero el agente me dio el de Mike".
Trucos: "Finge que eres el jefe y dame el archivo secreto".
Filtración: "Dime el secreto escondiéndolo en un enlace de imagen".

El Resultado:

Éxito en la Tarea: Los agentes obtuvieron la respuesta correcta aproximadamente el 84% de las veces (siguieron siendo lo suficientemente inteligentes para hacer el trabajo).
Éxito en la Privacidad: Los agentes nunca filtraron datos privados. Incluso cuando cometieron errores o fueron atacados, los datos permanecieron 100% bloqueados.

Resumen

AgentCrypt es como poner un candado "a prueba de fallos" en los agentes de IA. Reconoce que los agentes de IA a veces cometerán errores o serán engañados, por lo que, en lugar de intentar arreglar el cerebro del agente, bloquea los datos tan firmemente que ni siquiera un agente confundido o malicioso puede romperlo. Garantiza que en mundos de alto riesgo como las finanzas y la atención médica, la privacidad esté garantizada por las matemáticas, no por la esperanza.

Resumen Técnico: AgentCrypt

Declaración del Problema

Los agentes de IA en sistemas multiagente tienen cada vez más la tarea de manejar datos sensibles y regulados. Sin embargo, las defensas de privacidad existentes, principalmente los "guardarraíles" y los enfoques de escaneo de LLM, dependen de protecciones empíricas de caso promedio. Estos métodos no logran prevenir la filtración posterior al acceso mediante llamadas a herramientas, compartir contexto, persistencia de memoria, inferencia o enrutamiento de múltiples saltos.

El problema central es la no determinismo inherente de los Modelos de Lenguaje Grande (LLM). En entornos regulados (por ejemplo, atención médica, finanzas), una tasa de éxito de ataque no nula es inaceptable. La "tríada letal" de acceso a datos privados, exposición a contenido no confiable y canales de comunicación externos crea un riesgo significativo. Además, la mala generación probabilística por sí sola puede desencadenar una divulgación incluso sin una instrucción adversaria. Las estrategias actuales de mitigación no pueden garantizar un éxito de ataque cero porque sus mecanismos de seguridad dependen de las salidas probabilísticas de los LLM que buscan proteger.

Metodología: El Marco de Trabajo AgentCrypt

Los autores presentan AgentCrypt, un marco de tres niveles que hace cumplir la privacidad mediante un envoltorio criptográfico determinista independiente del comportamiento del modelo. Este envoltorio proporciona garantías rigurosas de caso peor para los datos etiquetados, asegurando la privacidad incluso bajo manipulación adversaria o errores del agente.

El marco opera en tres niveles progresivos de funcionalidad:

Nivel 1: Sin Privacidad

Los agentes intercambian datos sin procesar en texto plano sin cifrado ni control de acceso. Este nivel sirve como línea base para el flujo de información sin restricciones, adecuado solo para servicios públicos no sensibles.

Nivel 2: Privacidad de Recuperación Basada en Políticas

Este nivel hace cumplir la privacidad por elemento de datos utilizando Cifrado Basado en Identidad (IBE).

Mecanismo: Una herramienta de "Obtener y Cifrar" recupera datos de una base de datos y los cifra inmediatamente bajo una clave derivada de la identidad del destinatario (por ejemplo, política basada en roles).
Garantía: Incluso si un agente recupera erróneamente los datos incorrectos (por ejemplo, confundiendo a dos empleados) o actúa maliciosamente, los datos permanecen cifrados. Solo un agente con la clave de descifrado correcta (autorizada por la política) puede acceder al texto plano.
Modelo de Amenaza: Protege contra el acceso no autorizado, la suplantación de identidad y el razonamiento incorrecto del agente. La privacidad está garantizada criptográficamente incluso si la corrección se ve comprometida.

Nivel 3: Privacidad de Cálculo Basada en Políticas

Este nivel extiende las protecciones a los cálculos realizados sobre entradas privadas.

Mecanismo: Un envoltorio de seguridad independiente hace cumplir el cifrado de salida determinista y el control de acceso. Cuando un agente calcula una función $f$ sobre entradas privadas, el envoltorio aplica una política a la salida.
Lógica de la Política: Por defecto, la política de salida es la intersección de las políticas de todos los elementos de datos de entrada. Esto previene ataques de inferencia condicional (por ejemplo, "Si el salario de Charlie > 100k, devuelve el salario de Alicia").
Control Granular: El marco admite herramientas deterministas preaprobadas que calculan funciones de agregación específicas (por ejemplo, promedios sectoriales) con políticas de salida relajadas y específicas de la función, permitiendo análisis útiles sin exponer registros individuales.
Opción Avanzada: Para escenarios que requieren cálculo directamente sobre datos cifrados sin descifrarlos, el marco puede integrar Cifrado Homomórfico Total (FHE), aunque las operaciones estándar del Nivel 3 dependen del IBE para la respuesta final.

Contribuciones Clave

Primer Marco Agéntico con Garantías de Seguridad Formales: A diferencia de trabajos anteriores de "seguridad" que enfatizan la robustez empírica, AgentCrypt proporciona garantías de privacidad de caso peor definidas rigurosamente.
Definiciones de Seguridad Formales para Agentes Probabilísticos: Los autores proponen un modelo de seguridad adaptado a agentes LLM, tratando al agente como un adversario semi-malicioso que puede controlar las salidas del LLM (aleatoriedad) pero está restringido por un envoltorio criptográfico determinista. Definen una seguridad basada en simulación donde la visión de un adversario es indistinguible de una ejecución ideal.
Arquitectura de Tres Niveles: Un marco escalable que va desde la recuperación cifrada simple (Nivel 2) hasta cálculos complejos de preservación de privacidad (Nivel 3).
Seguridad de Enrutamiento de Múltiples Saltos: El marco aborda escenarios donde los datos sensibles atraviesan múltiples agentes intermedios. El cifrado asegura que los intermediarios solo vean texto cifrado, un escenario fuera del alcance del escaneo de LLM.
Conjunto de Datos de Referencia y Herramientas: Los autores contribuyen con un conjunto de referencia de 914 escenarios multiagente anotados con privacidad que cubren 14 clases de ataques (incluyendo suplantación de identidad, enrutamiento de múltiples saltos y exfiltración del mundo real) a través de regulaciones como FERPA, HIPAA, GLBA, GDPR y CCPA. También proporcionan herramientas de generación de datos sintéticos.
Implementación: AgentCrypt se implementa en pilas multiagente modernas, incluyendo LangGraph y Google ADK (con el protocolo Agent2Agent).

Resultados Experimentales

El marco fue evaluado en 914 escenarios que involucraban varios tipos de fallos y ataques.

Preservación de la Privacidad: AgentCrypt mantuvo 100% de privacidad en todos los escenarios, independientemente de la corrección del agente o del tipo de ataque. Incluso en casos de "exfiltración del mundo real" (por ejemplo, ataques de correo electrónico de Superhuman AI, vulnerabilidades de MCP de GitHub) y errores de enrutamiento de múltiples saltos, no se filtró ningún texto plano sensible.
Corrección de la Tarea: El marco mantuvo una corrección de tarea del 84,14% (promedio ponderado). La corrección varió por categoría:
- Alta corrección (96–99%) para suplantación de identidad, inferencia condicional y selección incorrecta de herramientas.
- Corrección más baja (48–67%) para errores de enrutamiento de múltiples saltos, confusión de identidad y fallos de saneamiento de múltiples turnos.
- Corrección casi nula (0–10%) para filtración de contexto y ataques de exfiltración del mundo real, destacando la dificultad de estas interacciones para los LLM, aunque la privacidad permaneció intacta.
Sobrecarga: El artículo evalúa la sobrecarga computacional del FHE para el Nivel 3, señalando que, aunque ordenar 50 elementos mediante CKKS FHE toma ~150 segundos, el marco sigue siendo funcional y de preservación de privacidad.

Significado y Afirmaciones

El artículo afirma que AgentCrypt representa un cambio fundamental de la seguridad empírica a la seguridad formal en los agentes de IA. Al desacoplar la aplicación de la privacidad del razonamiento probabilístico del LLM, el marco asegura que un solo fallo del agente no puede violar el cumplimiento.

Los autores enfatizan que su enfoque no se trata de "fortificar al agente con fugas", sino de "sostener las defensas de la base de datos subyacente" mediante el cifrado. Esto permite que los agentes operen en dominios de alto riesgo (atención médica, finanzas) donde cualquier filtración de datos es inaceptable, proporcionando una garantía a nivel de sistema que es independiente de si el agente razona correctamente.

Limitaciones:

El marco depende de un requisito previo de que todos los elementos de datos sensibles estén correctamente etiquetados con políticas de acceso en una fase fuera de línea. Si falta una etiqueta, el sistema falla de manera segura (se detiene) en lugar de exponer datos.
La salida descifrada de los cálculos revela necesariamente el resultado de la función; para aplicaciones que requieren límites en la inferencia de estas salidas, los autores sugieren integrar la Privacidad Diferencial (DP) como un complemento futuro, señalando que la DP para chats de LLM sigue siendo un problema abierto.