Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents

1. Declaração do Problema

O artigo aborda uma lacuna crítica na governança de agentes de IA autônomos (particularmente agentes de Modelos de Linguagem de Grande Porte). Embora plataformas existentes (como AWS, Microsoft, Google) forneçam autorização estática e centrada na identidade (por exemplo, "Esta ação é permitida?"), elas falham em detectar desvio comportamental e riscos emergentes que evoluem ao longo do tempo sem alterações no código.

Os autores identificam três modos de falha específicos que políticas estáticas ignoram:

1. Não Estacionariedade Comportamental: Agentes deslocam distribuições silenciosamente devido a atualizações de modelo ou desvio de prompts.
2. Risco Composicional: Ações individuais benignas (por exemplo, pequenas transferências) combinam-se para formar fraude (por exemplo, fracionamento).
3. Discriminação Emergente: Aprendizado adaptativo amplifica desequilíbrios iniciais de dados em viés sistêmico.

Soluções atuais (guardrails baseados em regras, avaliadores de LLM, motores de política estática) são ou evitáveis, introduzem latência ou carecem de memória do comportamento anterior. O problema central é que os agentes podem permanecer totalmente autorizados, mas tornar-se inseguros à medida que riscos não observados se acumulam.

2. Metodologia Central: O Princípio da Viabilidade Informacional

O artigo propõe uma reestruturação teórica da governança baseada na Teoria da Viabilidade de Aubin. A ideia central é o Princípio da Viabilidade Informacional:

Governar um agente autônomo reduz-se a estimar continuamente um limite sobre o risco não observado ($\hat{B}(x)$) e permitir uma ação apenas quando a capacidade observada do agente ($S(x)$) excede esse limite por uma margem de segurança ($\epsilon$).

Regra de Decisão:
$$\text{Permitir } x \iff S(x) \ge \hat{B}(x) + \epsilon$$

Decomposição do Risco Não Observado ($\hat{B}(x)$)

O artigo decompõe $\hat{B}(x)$ em três termos estatisticamente distintos, cada um exigindo estimadores específicos:

1. $U(x)$ (Incerteza/Desvio Distribucional): Risco decorrente do comportamento do agente se desviar de sua distribuição de referência. Estimado via Divergência KL em janelas deslizantes de resultados de transações e chamadas de ferramentas.
2. $SB(x)$ (Viés Estrutural): Risco decorrente de disparidades sistemáticas na forma como diferentes segmentos da população são tratados. Estimado via Testes Z Segmento-vs-Resto (testes de duas proporções).
3. $RG(x)$ (Lacuna Realidade/Contexto Sequencial): Risco decorrente de padrões que só emergem em sequências (por exemplo, fraude por fracionamento). Estimado via PlanGovernor (correspondência de padrões em históricos de ações).

O Framework de Viabilidade do Agente (AVF)

Para operacionalizar este princípio, os autores definem três propriedades necessárias e suficientes para um sistema de governança:

• P1 (Monitoramento): Estimativa contínua de $\hat{B}(x)$ em todas as restrições (requer histórico com estado).
• P2 (Antecipação): Previsão do tempo até a travessia da fronteira ($t^*$) monitorando a taxa de variação ($d\hat{B}/dt$) antes que uma violação ocorra.
• P3 (Restrição Monotônica): Intervenções podem apenas apertar restrições, nunca relaxá-las. Isso preserva a integridade das estimativas de risco contra manipulação adversária.

3. Implementação do Sistema: RiskGate

Os autores apresentam o RiskGate, uma implementação de referência do AVF.

• Arquitetura: Um Grafo Acíclico Direcionado (DAG) de três camadas consistindo em uma Camada de Governança (estimadores estatísticos), uma Camada de Domínio (regras de negócio) e uma Camada de Abstração (API de política).
• Estimadores Estatísticos:
  • Divergência KL de Duplo Canal: Monitora resultados de transações e chamadas de ferramentas separadamente com correção de Bonferroni para controle da Taxa de Falsos Positivos (FPR) conjunta.
  • Limites Adaptativos (D-UCB1): Utiliza um algoritmo de Limite Superior de Confiança Descontado para otimizar dinamicamente os limites de detecção, equilibrando falsos positivos versus anomalias perdidas.
  • Detecção de Viés: Implementa um teste Z segmento-vs-resto com correção de viés de auto-inclusão.
• O Piloto Automático (Mapa de Regulação):
  • Formalizado como uma instância do Mapa de Regulação de Aubin ($R_A$).
  • Opera numa base de "apenas apertar". Se o sistema se aproxima de uma fronteira de viabilidade, ele automaticamente apertar os limites.
  • Inclui um Interruptor de Desligamento como um controle admissível de "último recurso" para garantir que o sistema nunca fique preso sem uma ação válida.
• Governança Preditiva:
  • Calcula um Índice de Viabilidade (VI) $VI(t) \in [-1, +1]$.
  • Utiliza regressão OLS em valores recentes de $VI$ para prever $t^*$ (tempo até a travessia da fronteira), transformando a governança de reativa para preditiva.

4. Contribuições Principais

1. Estrutura Teórica: O Princípio da Viabilidade Informacional unifica estimadores estatísticos e propriedades de governança sob uma única estrutura matemática, explicando por que monitoramento, antecipação e monotonicidade são necessários.
2. Framework de Viabilidade do Agente (AVF): Uma definição formal de degradação do agente (senescência) e das três propriedades (P1-P3) necessárias para preveni-la.
3. Implementação RiskGate: Uma biblioteca Python completa apresentando:
   • Detecção de desvio multicanal com calibração Monte Carlo.
   • Otimização de limites adaptativos via Bandits de Braço Múltiplo.
   • Um pipeline monotônico onde decisões são estritamente cumulativas ($D_{final} = \bigwedge D_i$).
   • Um Piloto Automático em malha fechada com garantia formal de núcleos de viabilidade não vazios.
4. Validação Analítica:
   • Mapeamento de Cobertura: O framework é mapeado contra a taxonomia de falhas "Agentes do Caos" (11 estudos de caso), mostrando como os três termos de $\hat{B}(x)$ cobrem vários modos de falha.
   • Demonstrações Práticas:
     • Ataque de Fracionamento: Mostra como $RG(x)$ (PlanGovernor) bloqueia fraudes que $U(x)$ e regras estáticas ignoram.
     • Viés Emergente: Mostra como P2 (Antecipação) detecta desvio de viés 108 operações antes que um teste Z reativo fosse acionado.

5. Resultados e Avaliação

• Nota: O artigo afirma explicitamente que a avaliação empírica quantitativa (taxas de detecção medidas, latência, ROI) está escopada como trabalho futuro. Os resultados atuais são analíticos e teóricos.
• Cobertura Analítica: O framework mapeia com sucesso 11 casos de falha documentados de Shapira et al. [23], demonstrando que nenhum estimador único cobre todos os riscos; a composição de $U(x)$, $SB(x)$e$RG(x)$ é necessária.
• Convergência: As estratégias de redução de desvio no RiskGate alinham-se com descobertas de Rath [21], sugerindo que estratégias combinadas (memória, roteamento, ancoragem) podem reduzir o desvio em até 81,5%.
• Capacidade Preditiva: O mecanismo de previsão de $t^*$ é mostrado para fornecer um "tempo de antecedência" para intervenção, permitindo que o sistema aja antes que uma restrição seja violada.

6. Significado e Impacto

• Mudança de Paradigma: Move a governança de IA de autorização estática e sem estado (verificar se uma ação é permitida agora) para viabilidade dinâmica e com estado (verificar se a trajetória do agente é segura).
• Alinhamento Regulatório: O framework aborda diretamente os requisitos do Ato de IA da UE (Gerenciamento de Riscos, Precisão, Supervisão Humana) fornecendo estimativa de risco contínua e quantificável e trilhas de auditoria.
• Rigor Formal: Ao fundamentar o sistema na Teoria da Viabilidade, o artigo fornece uma garantia matemática de que o sistema não ficará "preso" (Teorema 3.1) e de que as intervenções são estruturalmente seguras (P3).
• Resiliência Adversária: A propriedade de Restrição Monotônica (P3) é destacada como uma defesa crítica contra a "erosão adversária", onde atacantes tentam enganar o sistema para relaxar suas próprias defesas.

Em resumo, este artigo fornece uma base teórica rigorosa e uma implementação de referência concreta para governar agentes autônomos que podem adaptar-se a desvios comportamentais, riscos composicionais e viés emergente, garantindo segurança mesmo quando o comportamento do agente não é explicitamente observável em tempo real.