💻 computer science

From Admission to Invariants: Measuring Deviation in Delegated Agent Systems

Este artículo demuestra que los mecanismos de ejecución tradicionales son estructuralmente incapaces de detectar la desviación del comportamiento de los agentes respecto a su espacio admisible debido a una limitación de observabilidad local, y propone la Capa de Medición de Invariantes (IML) como solución para monitorear y detectar dicha desviación con un retraso finito.

Autores originales: Marcelo Fernandez (TraslaIA)

Publicado 2026-04-21

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Marcelo Fernandez (TraslaIA)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chofer autónomo muy inteligente (un agente de IA) al que le has dado las llaves de tu coche para que te lleve al trabajo.

Antes de que arranque, le das unas reglas claras: "No puedes pasar los semáforos en rojo, no puedes conducir más de 120 km/h y debes llegar por la ruta de la autopista". A esto le llamamos el Contrato de Admisión (lo que el papel llama $A_0$ ).

El problema que describe este artículo es un fallo oculto en cómo vigilamos a estos choferes. Aquí está la explicación sencilla:

1. El Vigilante Ciego (El Sistema de "Enforcement")

Actualmente, la mayoría de los sistemas de seguridad actúan como un policía de tráfico muy estricto pero miope.

Cómo funciona: Este policía solo mira cada acción individual en el momento en que ocurre. "¿Pasaste el semáforo en rojo? ¡No! ¿Condujiste a 130 km/h? ¡No! ¡Bien, sigue adelante!".
El problema: El policía no mira el viaje completo. No se da cuenta si el chofer, en lugar de ir por la autopista, se ha desviado lentamente hacia un camino de tierra lleno de baches, o si está conduciendo de forma muy nerviosa y errática, siempre y cuando no rompa ninguna regla específica (no choque, no pise el rojo).
La metáfora: Es como si tuvieras un guardia que solo revisa si llevas puesto el cinturón de seguridad. Si lo llevas puesto, el guardia te deja pasar. Pero si el conductor empieza a conducir bebiendo café, mirando el móvil y tomando curvas de forma extraña (pero sin chocar), el guardia sigue diciendo: "¡Todo perfecto! Cinturón puesto". El conductor se ha desviado de su misión original, pero el sistema no lo ve.

2. La Gran Revelación: "El Deslizamiento Invisible"

Los autores demuestran matemáticamente algo alarmante: Es imposible que el policía miope se dé cuenta de que el conductor se ha desviado.

Incluso si el conductor cambia su comportamiento poco a poco (deslizamiento o drift), siempre y cuando no rompa las reglas estrictas (como ir a 200 km/h), el sistema de seguridad seguirá marcando "Todo OK".
El sistema está estructuralmente ciego a los cambios de estilo o intención que ocurren dentro de los límites permitidos.

3. La Solución: El "Mapa de la Ruta Original" (IML)

Para arreglar esto, los autores proponen una nueva capa de vigilancia llamada Capa de Medición de Invariantes (IML).

¿Cómo funciona? En lugar de solo mirar si el conductor rompe las reglas, este nuevo sistema guarda una fotografía congelada de cómo era el conductor al principio (cuando recibió las llaves).
- ¿Cómo conducía normalmente? ¿Qué herramientas usaba? ¿Qué tan rápido iba?
La comparación: Cada vez que el conductor hace algo, el sistema compara su comportamiento actual con esa fotografía original.
- Si el conductor empieza a usar herramientas que no solía usar, o a ir por caminos que nunca tomó, el sistema grita: "¡Oye! ¡Te estás alejando de cómo eras al principio!".
La ventaja: Detecta el problema antes de que sea un accidente. Detecta que el conductor se ha vuelto "raro" o "peligroso" incluso si técnicamente no ha roto ninguna ley de tráfico.

4. ¿Qué demostraron con experimentos?

Los autores probaron esto en simulaciones y con agentes de IA reales (como los que usan en empresas para automatizar tareas):

Crearon situaciones donde el agente de IA cambiaba su comportamiento lentamente (empezaba a usar herramientas más arriesgadas o a delegar tareas de forma extraña).
Resultado: El sistema de seguridad tradicional (el policía miope) no vio nada. Siguió diciendo "Todo bien" durante cientos de pasos.
Resultado: El nuevo sistema (IML) vio el problema inmediatamente. Empezó a subir la alarma desde el primer momento en que el agente se desvió de su "fotografía original", detectando el peligro mucho antes de que fuera irreversible.

En resumen

Este papel nos dice que vigilar solo las reglas estrictas no es suficiente para controlar a la Inteligencia Artificial.

El viejo método: "¿Rompió una regla? Si no, está bien". (Fallo: No ve el comportamiento extraño).
El nuevo método: "¿Se parece todavía a la persona que contratamos al principio? Si no, ¡alerta!".

Es como si, para cuidar a un niño, no solo le dijeras "no saltes del balcón", sino que también vigilaras si empieza a comportarse de forma muy diferente a como lo hacía ayer, incluso si no ha saltado del balcón todavía. Es una forma de detectar el peligro cuando aún está "dentro de lo permitido" pero ya no es seguro.

1. El Problema: La Ceguera Estructural de la Ejecución

El artículo aborda una limitación fundamental en los sistemas de gobernanza de agentes autónomos. Actualmente, estos sistemas dependen de mecanismos de ejecución (enforcement) que monitorean las acciones de los agentes en tiempo real para detectar violaciones de restricciones duras (hard constraints).

La Limitación: Los sistemas de ejecución actuales operan bajo una suposición de observabilidad local. Evalúan cada acción individualmente contra un conjunto de reglas estáticas (ej. "no usar esta herramienta", "profundidad de delegación < 10").
El Fenómeno de "Drift" Oculto: Un agente puede desviarse sistemáticamente de su comportamiento admitido en el momento de la admisión (cambio en la distribución de acciones, reinterpretación de objetivos, aumento gradual de la profundidad de delegación) sin violar ninguna regla individual.
La Consecuencia: El sistema de ejecución sigue marcando g(τ) = 0 (sin violaciones), mientras que el agente se aleja progresivamente del espacio de comportamiento admisible $A_0$ establecido al inicio. Este fenómeno se denomina "colapso de desviación": la ejecución es sintácticamente correcta, pero el comportamiento es inadmisible.

2. Metodología y Marco Teórico

El autor formaliza este problema utilizando teoría de la información y procesos estocásticos:

Espacio de Comportamiento Admisible ( $A_0$ ): Definido en el momento de la admisión como un objeto global que depende de propiedades de toda la trayectoria (distribución de acciones, coherencia del contexto, linaje de delegación), no solo de acciones aisladas.
Señal de Ejecución ( $g$ ): Una función que mapea trazas a $\{0, 1\}$ basada únicamente en violaciones puntuales.
Hipótesis de Observabilidad Local: Asume que $g$ no tiene acceso directo a $A_0$ ni a la historia global de la trayectoria, solo a reglas estáticas aplicadas paso a paso.

Resultados Teóricos Clave (Teoremas)

T1: Existencia de la Brecha: Se prueba que existe un conjunto no vacío de trayectorias que cumplen con las reglas de ejecución ( $g(\tau)=0$ ) pero que no pertenecen al espacio admisible ( $\tau \notin A_0$ ).
T2: Teorema de No Identificabilidad (Resultado Central):
- Enunciado: Bajo la hipótesis de observabilidad local, el espacio admisible $A_0$ no es identificable a partir de la señal de ejecución $g$ sola ( $A_0 \notin \sigma(g)$ ).
- Implicación: Ninguna función medible de la señal de ejecución (por sofisticada que sea su puntuación de riesgo) puede reconstruir si un agente se está desviando de su contrato original. Es una imposibilidad estructural, no un fallo de implementación.
T3: Recuperabilidad mediante IML: Se demuestra que si se tiene acceso directo al modelo generativo de $A_0$ (una instantánea de admisión), es posible estimar la desviación de manera consistente con un retraso de detección finito.

3. Solución Propuesta: La Capa de Medición de Invariantes (IML)

Para superar la ceguera estructural de la ejecución, el autor propone la Invariant Measurement Layer (IML).

Principio de Diseño: IML retiene una "instantánea de admisión" ( $A^0_{emp}$ ) congelada en el tiempo ( $t=0$ $t = 0$ ), que incluye:
- La distribución empírica de herramientas ( $P_{E0}$ ).
- Estadísticas de profundidad de delegación ( $\mu_{depth}, \sigma_{depth}$ ).
Mecanismo de Detección: IML calcula una métrica de desviación $\hat{D}(\tau, A_0)$ en tiempo real comparando la trayectoria actual contra esta instantánea congelada, ignorando la señal de ejecución $g$ .
Componentes de la Desviación:
1. Desviación Temporal ( $D_t$ ): Divergencia Jensen-Shannon entre la distribución actual de herramientas y la de admisión.
2. Proximidad a Restricciones ( $D_c$ ): Puntuación de riesgo promedio de las herramientas utilizadas.
3. Desviación de Linaje ( $D_l$ ): Distancia normalizada de la profundidad media de delegación respecto a la expectativa inicial.

4. Resultados Empíricos

El artículo valida las afirmaciones teóricas en cuatro escenarios experimentales:

Simulaciones Controladas (300 y 1000 pasos):
- Se probaron tres tipos de desviación: cambio en herramientas, aumento de profundidad de delegación y cambio de contexto.
- Hallazgo: La señal de ejecución ( $g$ ) reportó 0 violaciones en todos los casos, incluso cuando el agente había cambiado drásticamente su comportamiento.
- IML: Detectó la desviación de manera monótona, con retrasos de detección ( $T^*$ ) entre 9 y 258 pasos, dependiendo del tipo de drift.
Validación en Pipeline Real (n8n):
- Implementación en un flujo de trabajo de webhook en vivo.
- IML detectó un cambio de distribución en solo 9 pasos después del inicio del drift, mientras la ejecución seguía siendo "limpia".
Validación a Largo Plazo (1000 pasos):
- Confirmó que la brecha entre cumplimiento y comportamiento admisible es una propiedad estructural persistente, no un artefacto de experimentos cortos.
Agente LangGraph:
- Validación en un framework de agentes real con selección determinista de herramientas.
- IML detectó la desviación en todos los 6 semillas probados, mientras la ejecución no activó ninguna alerta.

Comparación con Detectores de Anomalías:
Los detectores de anomalías tradicionales (que comparan con la historia reciente del agente) fallaron porque su referencia se "contaminó" con el comportamiento desviado, perdiendo sensibilidad. IML, al usar una referencia congelada en la admisión, mantuvo su capacidad de detección.

5. Significado y Contribuciones

Este trabajo es el segundo de una serie de cuatro sobre gobernanza de agentes y tiene implicaciones profundas:

Imposibilidad Teórica: Establece formalmente que la gobernanza basada únicamente en reglas de ejecución es insuficiente para garantizar la alineación a largo plazo. No importa cuán complejas sean las reglas, no pueden detectar desviaciones que ocurren dentro del espacio de acciones permitidas.
Arquitectura de Tres Capas: Propone que un sistema de gobernanza robusto debe tener:
1. Admisión (ACP): Define y registra el contrato inicial ( $A_0$ ).
2. Monitoreo de Invariantes (IML): Mide la distancia al contrato original en la región donde la ejecución es ciega.
3. Ejecución (Enforcement): Bloquea violaciones de reglas duras.
Necesidad de Referencia Congelada: La clave para detectar el "drift" gradual es tener una referencia normativa que no se adapte al comportamiento del agente. Si la referencia se actualiza con el comportamiento del agente (como hacen los detectores de anomalías estándar), el sistema pierde la capacidad de detectar la desviación.

Conclusión:
El artículo demuestra que la brecha entre el cumplimiento de reglas y la invarianza del comportamiento es inevitable en sistemas de observabilidad local. La Capa de Medición de Invariantes (IML) es la solución necesaria para cerrar esta brecha, proporcionando una estimación consistente de la desviación y un retraso de detección acotado, operando en la zona donde los sistemas de ejecución tradicionales fallan estructuralmente.