💻 computer science

Runtime Compliance Verification for AI Agents

Este artículo presenta C-Trace, un marco de verificación en tiempo de ejecución que garantiza el cumplimiento del RGPD para agentes de IA mediante la expresión de requisitos regulatorios como predicados formales, el monitoreo de trazas de ejecución para bloquear acciones no conformes y la demostración de una alta efectividad en la mitigación de violaciones inducidas por ataques a través de múltiples estudios de caso.

Autores originales: Nafiseh Kahani, Masoud Barati, Diana Addae

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nafiseh Kahani, Masoud Barati, Diana Addae

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que contratas a un asistente personal altamente inteligente y comunicativo para que te ayude a gestionar tu vida. Este asistente puede hacer llamadas telefónicas, enviar correos electrónicos, consultar tus datos bancarios e incluso borrar tus registros. Sin embargo, debido a que este asistente funciona con una IA, no siempre "conoce" las reglas de privacidad. Podría, accidentalmente, decirle a un extraño tu dirección o enviarte correos electrónicos de marketing cuando nunca dijiste "sí".

Este documento presenta un sistema llamado C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement). Piensa en C-Trace no como un nuevo asistente, sino como un guardia de seguridad estricto y supervigilante parado justo al lado del asistente de IA, observando cada palabra que dice y cada acción que realiza en tiempo real.

Así es como funciona el sistema, desglosado en conceptos sencillos:

1. El Problema: El Asistente "Olvidadizo"

Las formas actuales de probar estos asistentes de IA son como darles un examen sorpresa antes de que empiecen a trabajar. Les preguntas: "¿Seguirás las reglas?" y ellos dicen "Sí". Pero una vez que están trabajando realmente, hablando con personas reales, pueden olvidar esas reglas.

El Problema: Una IA puede cumplir con las normas en una conversación, pero romper las reglas en la siguiente, dependiendo de lo que el usuario le pida.
La Brecha: Las herramientas de seguridad existentes son como porteros que solo revisan tu identificación en la puerta (controles estáticos). No saben si ya prometiste irte de la fiesta más temprano en la noche. Ignoran el contexto de toda la conversación.

2. La Solución: El "Guardia de Seguridad" (C-Trace)

C-Trace se sitúa entre la IA y el mundo exterior. Observa toda la conversación mientras sucede (el "trace" o traza). No solo mira una frase; recuerda toda la historia.

Impone cuatro "Leyes de Privacidad" principales (basadas en el RGPD) actuando como un filtro:

El Control de "Consentimiento" (P1): Antes de que la IA pueda hacer algo como enviar un correo electrónico de marketing, el guardia verifica: "¿Dijo el usuario explícitamente 'Sí' a esto anteriormente?". Si el usuario solo dijo: "Supongo que no me importa", pero nunca hizo clic en un "Sí" formal, el guardia detiene la acción.
El Control de "Propósito" (P2): La IA ha sido contratada para un trabajo específico, como arreglar un pedido defectuoso. Si el usuario le pide a la IA que use los datos de ese pedido para crear un perfil para otra empresa, el guardia dice: "No, ese es un trabajo diferente. No fuiste contratado para eso".
El Control de "Mínimos Datos" (P3): Si la IA necesita verificar un pedido, solo necesita el número de pedido y el correo electrónico. Si la IA intenta obtener la fecha de nacimiento o el documento de identidad del usuario solo para verificar un pedido, el guardia dice: "Eso es demasiada información. Solo necesitas lo básico".
El Control de "Eliminación" (P4): Si un usuario dice: "Borra mis datos", el guardia marca a ese usuario como "eliminado". Si la IA intenta hablar de ese usuario más tarde, el guardia cierra la puerta de golpe: "Esta persona ya no existe en nuestro sistema. No puedes mencionarla".

3. Cómo lo Probaron: El Juego de "Gato y Ratón"

Para ver si este guardia de seguridad realmente funciona, los investigadores jugaron un juego de "Gato y Ratón".

Los Atacantes: Utilizaron un programa especial (DSPy) para generar cientos de conversaciones trucadas, confusas o agresivas diseñadas para engañar a la IA para que rompa las reglas. También utilizaron "jailbreaks" reales de otras pruebas de seguridad.
La Prueba: Dejaron que la IA intentara manejar estas conversaciones complicadas con y sin el guardia de seguridad.
El Resultado: Sin el guardia, la IA rompía las reglas constantemente (a veces el 100% de las veces). Con el guardia de C-Trace, la IA era detenida casi siempre. Incluso cuando el guardia tenía que "adivinar" qué datos había en una frase (porque es difícil leer el lenguaje humano perfectamente), aun así detectaba la gran mayoría de las violaciones.

4. La Verificación de "Tres Cabezas"

Para asegurarse de que el guardia no estaba simplemente inventando cosas, los investigadores construyeron el mismo libro de reglas en tres lenguajes diferentes (código Python, un lenguaje de políticas llamado Rego y un lenguaje de lógica llamado MFOTL).

La Analogía: Imagina a tres jueces leyendo el mismo guion. Si los tres coinciden en quién es culpable, sabes que el veredicto es sólido. En este documento, los tres "jueces" coincidieron perfectamente en cada uno de los casos de prueba.

5. La Conclusión

El documento afirma que C-Trace funciona.

Detiene a la IA para que no rompa las reglas de privacidad en tiempo real.
No ralentiza significativamente a la IA (añade una fracción mínima de segundo al proceso).
Crea un "registro de auditoría" permanente (un registro escrito) de cada decisión que tomó el guardia, para que los humanos puedan revisarlo más tarde.

En resumen: Si tienes un asistente de IA que maneja datos sensibles, C-Trace es el sistema que garantiza que no revele accidentalmente tus secretos, no venda tus datos a las personas equivocadas o no ignore tu solicitud de ser olvidado, vigilando cada uno de sus movimientos y deteniéndolo en el momento en que intenta romper las reglas.

Resumen Técnico: Verificación de Cumplimiento en Tiempo de Ejecución para Agentes de IA

Declaración del Problema

Los agentes de IA gestionan cada vez más datos personales mediante el uso de herramientas, llamadas a funciones y diálogos de múltiples turnos. A diferencia de las API tradicionales, los agentes deciden dinámicamente qué herramientas llamar, qué argumentos pasar y qué información revelar en lenguaje natural. Estas decisiones en tiempo de ejecución pueden activar obligaciones bajo el Reglamento General de Protección de Datos (RGPD), como el procesamiento de datos personales sin consentimiento o la divulgación de datos tras una solicitud de supresión.

Las prácticas de prueba actuales no abordan este riesgo dinámico:

Red-Teaming Offline: Prueba los modelos con prompts curados, pero no impone reglas en tiempo de ejecución ni observa el estado de la sesión de los agentes desplegados.
Librerías de Guardrails (Barreras de Seguridad): Coinciden con patrones en entradas/salidas individuales, pero carecen de historial de sesión, por lo que no logran rastrear si se otorgó el consentimiento anteriormente en un diálogo o si se declaró un propósito.

Consecuentemente, un despliegue de un agente puede ser conforme en un diálogo y no conforme en otro sin que haya cambios en el código o en los pesos del modelo. Esto crea la necesidad de una verificación en tiempo de ejecución sobre la traza de eventos del agente, junto con un controlador de ataques in-process para probar el monitor con entradas hostiles.

Metodología: Marco de Trabajo C-Trace

Los autores proponen C-Trace (Compliance Trace-based Runtime Agent Conformance Enforcement), un marco que trata el cumplimiento del RGPD como una propiedad de tiempo de ejecución de un flujo de eventos, en lugar de una propiedad de un solo mensaje.

1. Modelo de Eventos y Extracción

El marco instrumenta el bucle del agente para convertir ejecuciones de lenguaje natural en una traza de eventos tipada ( $\tau = e_1 \dots e_n$ ). Los eventos incluyen UserMsg (MensajeUsuario), AsstMsg (MensajeAsistente), ToolCall (LlamadaHerramienta), ToolRet (RetornoHerramienta), Consent (Consentimiento) y Erasure (Supresión).

Anotación: Un extractor anota cada evento con categorías de datos ( $C(e)$ ) y propósitos ( $\Pi(e)$ ).
Política: Una política de sesión define los propósitos declarados, las vinculaciones herramienta-propósito y las listas blancas de categorías de datos por propósito (datos necesarios).

2. Predicados Formales

Cuatro principios del RGPD se codifican como predicados de primer orden sobre la traza creciente. Estos predicados son monótonos: una vez que ocurre una violación, esta no puede "corregirse" mediante eventos subsecuentes.

P1 (Consentimiento): El procesamiento de datos requiere un evento de Consent previo para ese propósito específico (a menos que aplique una base de Interés Legítimo).
P2 (Limitación de la Finalidad): Todo propósito adjunto a un evento debe estar declarado en la política.
P3 (Minimización de Datos): Las categorías de datos en una llamada a una herramienta deben ser necesarias para al menos uno de los propósitos declarados de dicha llamada.
P4 (Derecho de Supresión): Tras un evento de Erasure para un sujeto, ningún evento subsecuente puede divulgar el identificador de dicho sujeto.

3. Monitor en Tiempo de Ejecución y Controlador de Ataques

Interceptor: Situado entre el bucle del agente y las API de las herramientas, evalúa los predicados de forma incremental. Las decisiones incluyen forward (avanzar), redact (redactar/eliminar datos no necesarios) o block (bloquear el evento).
Controlador de Ataques (Attack Driver): Genera diálogos adversarios dirigidos a cada predicado utilizando:
- Prompts generados por DSPy: Variantes de solicitudes semilla usando juegos de rol, urgencia y encuadre de jailbreak.
- Prompts de corpus reales: Prompts verbatim de corpora de red-teaming (HarmBench, AdvBench, DAN).
Oráculo: Un oráculo separado y observable determina el éxito del ataque verificando la traza aceptada contra la política, independientemente de los predicados internos del monitor.

4. Validación Cruzada

Para asegurar que el monitor operativo coincida con la especificación formal, la misma lógica de política se implementa en tres entornos de ejecución:

Python: Ejecución operativa.
Rego/OPA: Política orientada a la auditoría.
MFOTL (MonPoly): Especificaciones de lógica temporal formal.
Los autores verifican que los tres coincidan evento por evento en cada traza.

Evaluación y Resultados

El marco fue evaluado en cuatro casos de estudio recontextualizados para el RGPD: Shopper (retail), Airline (viajes), MedAgent (salud) y FinAssist (banca/KYC).

Métricas Clave

Tasa de Éxito de Ataque (ASR): El porcentaje de ataques que logran evadir el monitor.
Tasa de Falsos Positivos (FPR): El porcentaje de solicitudes benignas bloqueadas incorrectamente.
Tasa de Realización: La frecuencia con la que el modelo intenta la violación en ausencia de un monitor.

Hallazgos

Vulnerabilidad de Agentes sin Monitoreo: Sin un monitor, los agentes cometen violaciones en todas las familias. El bypass de consentimiento (A1) y la sobre-recolección (A3) se activan frecuentemente (hasta un 100% de ASR en algunos casos).
Limitaciones de las Líneas Base (Baselines):
- Regex/Presidio (Sin estado/Stateless): Estas líneas base fallan en detectar violaciones que dependen del historial de la sesión (Consentimiento, Limitación de Finalidad, Supresión). Aunque Presidio reduce la sobre-recolección, no puede detener el bypass de consentimiento ni la recuperación post-supresión.
- Línea Base Aleatoria: Alta tasa de falsos positivos (72–88%) sin protección dirigida.
Desempeño de C-Trace:
- Extracción Perfecta: Logra un 0% de ASR y un 0% de FPR en todos los casos de estudio y registros de ataque (generados y de corpus real).
- Extracción Ruidosa: Bajo un ruido del extractor de categorías inferior al 10% (simulando pérdida de datos o sobre-tipificación):
  - El ASR permanece $\le$ 12% (significativamente menor que las líneas base).
  - El FPR permanece $\le$ 16%.
- Ablación: Eliminar predicados individuales restaura familias de ataques específicas (por ejemplo, eliminar P1 restaura el bypass de consentimiento), confirmando que cada predicado es necesario.
Sobrecarga (Overhead): El monitor añade una latencia media insignificante de 1.8 $\mu$ s por evento.

Significado y Reivindicaciones

El artículo afirma ser el primer trabajo en aplicar la verificación en tiempo de ejecución de las obligaciones del RGPD a las trazas de ejecución de lenguaje natural de los agentes de IA.

Novedad: A diferencia de los guardrails sin estado, C-Trace razona sobre la traza de la sesión, permitiendo capturar violaciones que dependen de eventos anteriores (como el consentimiento previo o la supresión).
Practicidad: El marco opera como un interceptor in-process sin requerir cambios en el modelo subyacente o en las implementaciones de las herramientas. Produce registros de auditoría en formato JSONL de solo adición, adecuados para la revisión de cumplimiento.
Fiabilidad: Los resultados indican que la fiabilidad del monitor depende fuertemente de la precisión del extractor de categorías. Aunque la lógica de la política es robusta, los errores de extracción de categorías son el principal modo de fallo.
Alcance: El enfoque se centra en cuatro principios fundamentales del RGPD (Consentimiento, Limitación de la Finalidad, Minimización de Datos, Derecho de Supresión) aplicables a múltiples dominios (retail, salud, finanzas) y bases legales (consentimiento, obligación legal).

Los autores concluyen que el monitoreo basado en trazas es una capa de ejecución práctica para los agentes de IA, siempre que la extracción de eventos subyacente sea de alta calidad y se consideren mecanismos de cierre por falla (fail-closed) para categorías de datos ambiguas.