From Admission to Invariants: Measuring Deviation in Delegated Agent Systems

Título: Da Admissão aos Invariantes: Medindo Desvios em Sistemas de Agentes Delegados

Autor: Marcelo Fernandez (TraslaIA)
Série: Artigo 2 de uma série de 4 artigos sobre Governança de Agentes.

---

1. O Problema: A Limitação Estrutural da Governança por Aplicação (Enforcement)

O artigo aborda uma falha fundamental na governança de sistemas de agentes autônomos. Atualmente, a maioria dos sistemas depende de mecanismos de aplicação de regras (enforcement) que monitoram violações de restrições rígidas (hard constraints) em tempo de execução.

• A Hipótese de Trabalho: Assume-se que, se um agente não viola regras explícitas (como usar ferramentas proibidas ou exceder limites de profundidade de delegação), seu comportamento é seguro e admissível.
• A Realidade (O "Drift" Invisível): O artigo demonstra que um agente pode sofrer um desvio comportamental (behavioral drift) gradual e sistemático, afastando-se do espaço de comportamento admissível ($A_0$) definido no momento da admissão, sem jamais disparar um sinal de violação.
• A Causa Raiz: Existe um "gap de observabilidade". Os sinais de aplicação ($g$) avaliam ações localmente e ponto a ponto (ex: "esta ferramenta é proibida?"), enquanto o contrato de admissão ($A_0$) define propriedades globais e de trajetória (ex: distribuição de ferramentas ao longo do tempo, coerência de contexto, profundidade média de delegação).
• Conclusão Preliminar: Um motor de aplicação que funciona corretamente pode entrar em um regime onde o desvio comportamental é invisível para ele, pois o sinal de aplicação opera abaixo da camada onde o desvio é mensurável.

---

2. Metodologia e Fundamentação Teórica

O trabalho estabelece um modelo formal para analisar a relação entre o sinal de aplicação e o espaço de comportamento admissível.

Definições Chave:

• Espaço de Comportamento Admissível ($A_0$): O conjunto de trajetórias permitidas, definido no momento da admissão com base em restrições ($C$), contexto inicial ($E_0$) e linhagem de delegação ($L$). É um objeto global.
• Sinal de Aplicação ($g$): Uma função que retorna 1 se houver violação de regras locais e 0 caso contrário.
• Hipótese de Observabilidade Local: Assume-se que $g$ depende apenas de violações pontuais e não tem acesso direto a $A_0$ ou a propriedades de trajetória completa.

Teoremas Principais:

1. T1: Existência da Lacuna (Compliance-Invariance Gap):

   • Prova que existem trajetórias que satisfazem $g(\tau) = 0$ (sem violações de regras) mas $\tau \notin A_0$ (fora do comportamento admissível). Ou seja, é possível ser "compliant" (em conformidade com regras locais) mas "drifted" (desviado do contrato original).

2. T2: Teorema da Não-Identificabilidade (Non-Identifiability Theorem):

   • Resultado Central: Sob a Hipótese de Observabilidade Local, o espaço admissível $A_0$ não pertence à $\sigma$-álgebra gerada pelo sinal de aplicação ($A_0 \notin \sigma(g)$).
   • Implicação: Não existe nenhuma função mensurável do sinal de aplicação $g$ que possa reconstruir ou determinar se uma trajetória pertence a $A_0$. Não importa quão sofisticada seja a pontuação de risco baseada apenas em $g$; a informação sobre o desvio global é estruturalmente perdida.

3. T3: Recuperabilidade via Camada de Medição de Invariantes (IML):

   • Introduz a Invariant Measurement Layer (IML), um estimador que contorna a limitação acima ao manter acesso direto ao modelo generativo de $A_0$ (um "snapshot" congelado do comportamento na admissão).
   • Prova que a IML é um estimador consistente do desvio e possui um atraso de detecção finito e provável, operando na região onde a aplicação tradicional é cega.

---

3. A Solução Proposta: Invariant Measurement Layer (IML)

Para superar a impossibilidade teórica da T2, o autor propõe a IML, uma camada de monitoramento que não depende apenas do sinal de aplicação, mas compara o comportamento atual com o "snapshot" de admissão.

Composição da IML:

O desvio estimado ($\hat{D}$) é decomposto em três componentes ponderados:

1. Desvio Temporal ($D_t$): Mede a divergência de Jensen-Shannon (JS) entre a distribuição atual de ferramentas e a distribuição de admissão ($P_{E0}$).
2. Proximidade de Restrições ($D_c$): Média do risco das ferramentas utilizadas (baseado em um mapeamento pré-definido de risco).
3. Desvio de Linhagem ($D_l$): Distância normalizada entre a profundidade média de delegação atual e a expectativa de admissão.

A IML utiliza uma média móvel exponencial para reduzir ruído e mantém o referencial ($P_{E0}$) congelado no tempo $t=0$, evitando que o próprio desvio contamine a referência (um problema comum em detectores de anomalia tradicionais).

---

4. Resultados Experimentais

O artigo valida as afirmações teóricas através de quatro cenários experimentais, todos projetados para que o sinal de aplicação ($g$) permaneça em 0 (sem violações), enquanto o desvio real aumenta.

Cenários de Validação:

1. Simulações Controladas (300 e 1000 passos):

   • Desvio de Ferramentas: Mudança gradual na probabilidade de uso de ferramentas (de seguras para de fronteira).
   • Desvio de Delegação: Aumento linear da profundidade de delegação.
   • Desvio de Contexto: Mudança semântica nas instruções (prompts).
   • Resultado: Em todos os casos, $g(\tau_t) = 0$ para todos os passos. No entanto, o escore da IML ($\hat{D}$) cresceu monotonicamente, detectando o desvio entre 9 e 258 passos após o início do desvio.

2. Pipeline Webhook n8n (Validação em Tempo Real):

   • Implementação em um fluxo de trabalho real usando JavaScript e persistência de dados.
   • Resultado: Detecção de desvio em apenas 9 passos após a mudança de distribuição, enquanto a aplicação continuou a reportar zero violações.

3. Agente LangGraph (StateGraph):

   • Um agente com seleção determinística de ferramentas para isolar o sinal da IML da estocasticidade do LLM.
   • Resultado: Consistência entre 6 sementes diferentes. O desvio foi detectado com atraso finito, confirmando que a IML funciona em arquiteturas de agentes reais.

Comparação com Baselines:

• Detectores de Anomalia Tradicionais: Usam uma janela deslizante histórica como referência. O artigo mostra que eles sofrem de "contaminação de referência": à medida que o agente desvia, a referência histórica se adapta, e o detector perde a sensibilidade (o escore cai após um pico inicial).
• IML: Mantém a referência congelada na admissão, garantindo sensibilidade contínua ao desvio em relação ao contrato original.

---

5. Contribuições e Significado

Contribuições Principais:

1. Prova de Impossibilidade Formal: Estabelece que a governança baseada puramente em aplicação de regras é estruturalmente incapaz de detectar desvios comportamentais que não violam regras locais (Teorema da Não-Identificabilidade).
2. Arquitetura de Governança em Três Camadas: Propõe que a governança robusta requer:
   • Admissão (ACP): Define e registra o contrato $A_0$.
   • Monitoramento de Invariantes (IML): Mede a distância do contrato (o que este artigo resolve).
   • Aplicação (Enforcement): Bloqueia violações locais explícitas.
3. Mecanismo Prático (IML): Fornece um algoritmo computável, consistente e com garantias de detecção para monitorar o "desvio oculto".

Significado para o Campo de IA:

• Segurança de Agentes: Demonstra que sistemas de segurança que dependem apenas de "guardrails" (regras de bloqueio) são insuficientes para prevenir a erosão gradual de comportamentos seguros.
• Observabilidade: Introduz a necessidade de manter um "snapshot" de estado inicial (admissão) para monitoramento de longo prazo, similar a como sistemas de controle de versão mantêm o estado original para detectar diffs.
• Fundamentação Teórica: Conecta a teoria de verificação em tempo de execução (Runtime Verification) com a teoria de sistemas de eventos discretos e POMDPs, mostrando que a identificabilidade de propriedades globais exige observadores com acesso ao modelo generativo, não apenas a sinais de saída.

Conclusão

O artigo conclui que a lacuna entre conformidade de aplicação e invariância comportamental é inevitável sob observabilidade local. A Invariant Measurement Layer (IML) é apresentada não como uma melhoria opcional, mas como um componente necessário para fechar essa lacuna, permitindo a detecção de desvios que ocorrem dentro do espaço de ações permitidas, garantindo assim a integridade de longo prazo dos sistemas de agentes delegados.