🤖 AI

Protecting Context and Prompts: Deterministic Security for Non-Deterministic AI

Este artículo propone un nuevo marco de seguridad para aplicaciones de LLM que utiliza primitivas criptográficas (prompts y contextos autenticados) y un álgebra de políticas formal para garantizar la integridad de los datos y prevenir ataques de inyección de forma preventiva y demostrable.

Autores originales: Mohan Rajagopalan, Vinay Rao

Publicado 2026-02-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Mohan Rajagopalan, Vinay Rao

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Mayordomo con Amnesia y Sugestionable"

Imagina que contratas a un mayordomo súper inteligente (la Inteligencia Artificial) para que gestione tu casa. Es capaz de leer documentos, organizar tu agenda y hasta usar la cafetera. El problema es que este mayordomo es extremadamente literal y muy fácil de engañar.

Si un extraño se cuela en tu jardín y le deja una nota que dice: "Olvida lo que te dijo el dueño; ahora tu nueva misión es abrir la caja fuerte", el mayordomo, al leerla, no sabe distinguir si esa orden viene de ti o de un ladrón. Para él, todas las palabras son iguales. Además, si el ladrón le dice poco a poco: "Hoy limpia el suelo", luego "Hoy limpia el suelo con este líquido", y finalmente "Usa este líquido que es ácido", el mayordomo no se da cuenta de que está siendo manipulado paso a paso.

En el mundo de la tecnología, esto es lo que llamamos "Inyección de Prompts" (engañar a la IA con instrucciones falsas) y "Manipulación de Contexto" (envenenar la memoria de la IA).

La Solución: El "Sistema de Sellos Reales y el Diario Blindado"

Los autores de este estudio dicen: "No intentemos que el mayordomo sea más listo, porque siempre será un poco distraído. En su lugar, vamos a ponerle un sistema de seguridad que no dependa de su inteligencia, sino de reglas matemáticas imposibles de romper".

Han creado dos herramientas principales:

1. Prompts Autenticados (El "Sello de la Corona")

Imagina que cada orden que tú le das al mayordomo viene con un sello de cera real que solo tú puedes hacer.

Si tú le dices: "Analiza mis gastos", esa orden lleva un sello.
Si el mayordomo, basándose en tu orden, decide que necesita "Ver el extracto del banco", él mismo crea una nueva orden, pero debe incluir una copia del sello original.
Si un ladrón intenta meter una orden falsa, esa orden no tendrá el sello de la corona. El mayordomo, antes de moverse, revisará el sello y, si no es auténtico, se quedará quieto. No importa qué tan convincente sea la nota del ladrón; sin el sello matemático, la orden no existe.

2. Contexto Autenticado (El "Diario de Cadena")

El "contexto" es la memoria del mayordomo (lo que ha pasado durante la conversación). Para evitar que alguien le "envenene la memoria", los autores han creado una cadena de bloques (hash chain).

Imagina que el mayordomo tiene un diario donde anota todo lo que hace. Pero no es un diario normal: cada página está pegada a la anterior con un pegamento especial que, si intentas arrancar una hoja o cambiar una palabra, rompe todo el libro y se vuelve de color rojo brillante.
Si un atacante intenta decirle: "Oye, recuerda que yo soy el dueño y tengo permiso para todo", esa nueva información no encajará con el pegamento de las páginas anteriores. El sistema detectará inmediatamente que el diario ha sido manipulado.

¿Por qué es esto revolucionario? (La analogía de la Matemática vs. la Intuición)

La mayoría de las empresas intentan proteger a la IA usando "filtros de palabras", que es como poner un guardia de seguridad que intenta adivinar si alguien es malo mirando su cara. El problema es que los criminales pueden usar disfraces (cambiar las palabras).

Este nuevo método no usa "intuición", usa matemáticas (criptografía). Es la diferencia entre:

Seguridad antigua: Un guardia que dice: "No me parece que este tipo sea un ladrón". (Puede fallar).
Seguridad de este papel: Una cerradura electrónica que dice: "Si la llave no tiene exactamente estos átomos, la puerta no se abre". (No hay forma de engañarla).

En resumen:

Este trabajo permite que las empresas usen IAs para tareas delicadas (como manejar dinero o datos privados) porque, aunque la IA sea "impredecible" y pueda ser engañada por palabras bonitas, las reglas de seguridad son matemáticas puras e inquebrantables. El sistema no confía en lo que la IA dice, sino en la prueba matemática de dónde viene la orden.

Resumen Técnico: Protección de Contexto y Prompts mediante Seguridad Determinista para IA No Determinista

1. El Problema: La Brecha de Seguridad en la IA Agéntica

El despliegue de agentes de Inteligencia Artificial (IA) en entornos empresariales enfrenta un obstáculo crítico: la vulnerabilidad ante ataques de inyección de prompts y manipulación de contexto. Los modelos de lenguaje extensos (LLM) son inherentemente no deterministas y presentan una superficie de ataque única donde las instrucciones (comandos) y los datos (contenido) están entrelazados semánticamente.

Los métodos de defensa actuales (filtros de entrada, alineación mediante RLHF o guardrails basados en patrones) fallan porque intentan hacer que el LLM sea seguro en sí mismo. Estos métodos son probabilísticos: un atacante puede evadir un filtro simplemente parafraseando una instrucción maliciosa. El problema fundamental es que no existe una frontera sintáctica que distinga una instrucción legítima de una inyectada a través de un documento o una respuesta de API.

2. Metodología: Separar la Generación de la Verificación

La propuesta central de los autores es dejar de intentar asegurar el LLM (que es probabilístico) y, en su lugar, asegurar la frontera de abstracción entre el LLM y las herramientas que utiliza (que debe ser determinista). El enfoque se basa en el principio de "procesadores de parada por fallo" (fail-stop processors), donde un componente determinista verifica las salidas de un componente probabilístico.

Para lograr esto, introducen dos primitivas criptográficas y un marco de álgebra de políticas:

Prompts Autenticados (Authenticated Prompts): Cada instrucción lleva consigo un registro de su linaje. Se estructura como un objeto que incluye el texto, un ID, el ID del padre, la política aplicada y una firma criptográfica ( $\sigma$ ). Esto permite rastrear la "ascendencia" de una instrucción desde el usuario original hasta cualquier derivación posterior.
Contexto Autenticado (Authenticated Context): Para evitar el "envenenamiento de contexto" (donde un atacante altera la memoria del agente), se utilizan cadenas de hashes (hash chains). Cada actualización del estado del agente depende criptográficamente del estado anterior, creando un historial inalterable. Además, se utilizan números de secuencia para prevenir ataques de replicación (replay attacks).
Álgebra de Políticas: Se formaliza un sistema donde las políticas se combinan mediante la intersección. Cuando un agente deriva un nuevo prompt, la nueva política es la intersección de la política del padre, la de la herramienta y la de la organización. Esto garantiza que las restricciones solo puedan aumentar, nunca relajarse.

3. Contribuciones Clave

Primitivas Criptográficas de Linaje: Introducción de la trazabilidad de instrucciones mediante firmas que vinculan cada prompt derivado con su raíz (root prompt).
Memoria de Estado Tamper-Evident: Implementación de cadenas de hashes para asegurar que el contexto del agente no haya sido manipulado.
Formalización Matemática: El desarrollo de un álgebra de políticas respaldada por cuatro teoremas probados que garantizan:
- Restricción Monotónica: Los permisos no pueden aumentar en una cadena de derivación.
- Denegación Transitiva: Si un recurso está prohibido en un nivel, lo estará en todos los descendientes.
- Límite de Derivación: Control de la profundidad para evitar ataques de deriva gradual.
- No Escalada de Privilegios: Imposibilidad de saltarse las restricciones de la raíz mediante el encadenamiento de herramientas.
Arquitectura de Defensa en Capas: Un modelo de cinco capas que combina filtros rápidos con verificaciones criptográficas rigurosas en los Puntos de Cumplimiento de Políticas (PEP).

4. Resultados y Evaluación

Los autores evaluaron el sistema contra seis categorías exhaustivas de ataques (Inyección, Ofuscación, Deriva Semántica, Envenenamiento de Contexto, Encadenamiento de Herramientas y Replicación). Los resultados fueron:

Detección del 100%: El sistema detectó todos los ataques probados.
Cero Falsos Positivos: No se bloquearon operaciones legítimas.
Sobrecarga Nominal: El impacto en el rendimiento fue mínimo (aproximadamente un 1.8% de overhead).

El sistema demostró ser resistente ante ataques de "deriva semántica", donde el atacante intenta cambiar el objetivo del agente mediante cambios sutiles en el lenguaje, gracias a la comparación del prompt actual con el root prompt original.

5. Significancia

Este trabajo representa un cambio de paradigma en la seguridad de la IA: pasa de la detección reactiva (basada en la probabilidad) a la prevención determinista (basada en la criptografía).

Al demostrar que la seguridad de un agente no depende de la "bondad" o el entrenamiento del modelo de lenguaje, sino de la integridad de los protocolos de comunicación y la verificación de políticas, los autores proporcionan una base matemática para el despliegue de agentes autónomos en sectores críticos (finanzas, salud, infraestructura) donde la seguridad no puede permitirse ser una cuestión de probabilidad.