Position: A Three-Layer Probabilistic Assume-Guarantee Architecture Is Structurally Required for Safe LLM Agent Deployment

Resumo Técnico: Uma Arquitetura Probabilística de Três Camadas de Pressuposto–Garantia para Implantação Segura de Agentes LLM

1. Declaração do Problema

A implantação de agentes de Modelos de Linguagem de Grande Escala (LLM) em ambientes críticos para a segurança apresenta um desafio estrutural para a garantia em tempo de execução que não pode ser resolvido por mecanismos de aplicação de camada única. Diferentemente da geração de texto estática, os agentes LLM envolvem-se em execução em malha fechada, onde planos gerados influenciam o mundo físico e observações futuras. O artigo argumenta que a operação segura requer a satisfação simultânea de três dimensões distintas:

1. Intenção Semântica e Conformidade com Políticas: Alinhamento com instruções do usuário, restrições éticas e regras de domínio.
2. Validade Ambiental: Verificação de que o estado atual do mundo reside dentro do Domínio de Projeto Operacional (ODD).
3. Viabilidade Dinâmica: Garantia de que a trajetória de execução satisfaz restrições de segurança física (por exemplo, evitamento de colisões, limites de força).

O problema central é que essas três dimensões dependem de conjuntos de informações estritamente distintos que se tornam disponíveis em diferentes etapas da execução. A intenção semântica é conhecida a priori; a validade ambiental requer dados de sensores no momento da execução; e a viabilidade dinâmica depende da trajetória do laço de controle durante a execução. O artigo postula que qualquer arquitetura que colapse essas dimensões em uma única camada de abstração necessariamente deixa pelo menos uma dimensão não certificada, pois nenhum guarda-chuva único pode acessar as informações necessárias para as três simultaneamente. Evidências empíricas de benchmarks (por exemplo, AgentSafetyBench) apoiam isso, mostrando que falhas de segurança concentram-se nas dimensões ambiental e física, além do alcance de controles puramente semânticos.

2. Metodologia: A Arquitetura Baseada em Contratos de Três Camadas

Para abordar essa insuficiência estrutural, o artigo propõe uma Arquitetura Probabilística de Três Camadas de Pressuposto–Garantia (A/G). Este framework trata a segurança não como uma prova determinística, mas como uma composição de contratos probabilísticos, onde cada camada aplica uma dimensão específica de segurança com base nas informações disponíveis naquela etapa.

A arquitetura consiste em três camadas compostas sequencialmente, cada uma definida por um contrato $\Sigma_i = (A_i, \Gamma_i)$, onde $A_i$ é uma suposição sobre as entradas e $\Gamma_i$ é uma garantia probabilística sobre as saídas:

• Camada 1: Camada de Garantia do Usuário ($\Sigma_U$)

  • Conjunto de Informações ($I_U$): Intenção do usuário, política, metadados de função e regras éticas. Nenhuma observação do mundo está disponível.
  • Função: Valida o plano gerado $p$ contra o alinhamento semântico (cognitivo, regulatório, ético) e autorização do usuário.
  • Contrato: Se a solicitação for autorizada ($A_U$), a camada garante que o plano visa apenas locais autorizados e não contém violações de políticas ($\Gamma_U$). Esta garantia serve como suposição para a próxima camada.
  • Mecanismo: Utiliza métodos neurais-simbólicos para formalizar intenções informais e restrições de políticas.

• Camada 2: Camada de Garantia Operacional ($\Sigma_O$)

  • Conjunto de Informações ($I_O$): Estado estimado do mundo $\hat{w}$, dados de sensores $\xi$ e especificações do ODD.
  • Função: Determina se o agente está certificado para agir no estado atual do mundo e define o envelope de autonomia (por exemplo, limites de velocidade, ações permitidas).
  • Contrato: Assumindo que o plano passou pela Camada do Usuário ($A_O \equiv \Gamma_U$), a camada garante que a execução permaneça dentro do ODD ($W_{ODD}$) e que subplanos que violam restrições do ODD sejam bloqueados ($\Gamma_O$).
  • Mecanismo: Emprega verificações determinísticas de validade sobre estimativas de estado do mundo para garantir auditabilidade, lidando com incerteza probabilística a montante.

• Camada 3: Camada de Garantia Funcional ($\Sigma_F$)

  • Conjunto de Informações ($I_F$): Trajetórias completas de estado $x(t)$, entradas de controle $u(t)$ e dinâmicas do sistema.
  • Função: Aplica segurança na frequência do laço de controle durante a atuação.
  • Contrato: Assumindo a validade da Camada Operacional ($A_F \equiv \Gamma_O$), a camada garante que não haja colisões e adesão a restrições físicas (por exemplo, limites de força) ($\Gamma_F$).
  • Mecanismo: Combina monitoramento em tempo de execução baseado em especificação (Lógica Temporal de Sinais), Funções de Barreira de Controle (CBFs) para intervenção mínima e síntese baseada em simulação.

Limites de Segurança Compostos:
A probabilidade de segurança do nível do sistema é derivada via regra da cadeia da probabilidade. Como $\Gamma_U \implies A_O$ e $\Gamma_O \implies A_F$, a probabilidade de segurança do sistema é:
$$Pr(\text{seguro}) = p_U \cdot p_{O|U} \cdot p_{F|OU}$$
onde $p_{O|U}$ e $p_{F|OU}$ são probabilidades condicionais que refletem a eficácia da filtragem a montante. O artigo fornece quatro caracterizações desse limite (B1–B4), variando de limites inferiores conservadores de Fréchet–Bonferroni (usando apenas marginais) até a decomposição exata da regra da cadeia (B4), que permite certificação modular, camada por camada.

3. Contribuições Principais

• Argumento Estrutural para Três Camadas: O artigo fornece uma prova formal (Apêndice B) de que três etapas independentemente certificadas são estruturalmente necessárias. Demonstra que qualquer arquitetura com menos de três camadas deve ou violar a linha do tempo causal da disponibilidade de informações (por exemplo, certificar segurança operacional antes que dados de sensores existam) ou reconstruir implicitamente a estrutura de três etapas dentro de um único componente, perdendo assim a verificabilidade composicional.
• Decomposição Orientada por Informações: Diferentemente de taxonomias anteriores baseadas em artefatos de pipeline (por exemplo, objetivos, planos, ferramentas), esta arquitetura é impulsionada pela ordenação temporal da disponibilidade de informações ($I_U \subset I_O \subset I_F$). Essa distinção garante que as certificações dependam do domínio de informações correto em cada etapa.
• Framework Probabilístico de Pressuposto–Garantia: O artigo adapta contratos A/G à natureza não estacionária e não i.i.d. de agentes LLM. Avança além de garantias binárias para limites probabilísticos, reconhecendo que as saídas de LLM são inerentemente estocásticas e os ambientes são incertos.
• Laço de Garantia Bidirecional: A arquitetura é projetada como um laço ativo onde sinais de segurança ($s_F, s_O$) propagam-se de baixo para cima. Se uma camada inferior detectar uma violação (por exemplo, risco de colisão), ela aciona o recálculo do plano na Camada do Usuário, em vez de apenas interromper a execução.

4. Resultados e Análise

Como um artigo de posição, o trabalho não apresenta novos benchmarks empíricos, mas sintetiza a literatura existente para apoiar suas afirmações estruturais:

• Consistência com Benchmarks: O artigo observa que agentes atuais (por exemplo, no AgentSafetyBench) falham significativamente em segurança comportamental e ambiental (30,4%) em comparação com segurança de conteúdo (68,4%), alinhando-se ao argumento de que guardas semânticos de camada única são insuficientes.
• Limites Teóricos: O artigo deriva os limites matemáticos (B1–B4) para a segurança do sistema. Ilustra, por meio de um exemplo em andamento (um robô cuidador), que o limite da regra da cadeia (B4) pode produzir probabilidades de segurança significativamente maiores (por exemplo, 0,857) em comparação com um produto ingênuo de marginais (0,787) se a filtragem a montante for eficaz.
• Análise de Sensibilidade: A análise mostra que o sistema é sensível à camada mais fraca; uma degradação na probabilidade de uma camada degrada o limite de todo o sistema multiplicativamente, e nenhum fortalecimento de outras camadas pode compensar uma lacuna em uma delas.

5. Significado e Problemas Abertos

O artigo afirma que a arquitetura de três camadas proposta é a estrutura mínima viável de certificação para implantação segura de agentes LLM. Argumenta que o campo está atualmente produzindo mecanismos de segurança mais rapidamente do que a infraestrutura teórica para composi-los e certificá-los.

O artigo identifica explicitamente três problemas abertos que devem ser resolvidos para transitar deste framework teórico para um padrão implantável:

1. Estimativa de Limites a partir de Traços Não I.I.D.: Métodos estatísticos padrão (como limites PAC) falham porque os traços de LLM são não estacionários e dependentes. Novos métodos (por exemplo, limites de martingale, previsão conformal para dados não trocáveis) são necessários para estimar as probabilidades condicionais $p_{O|U}$ e $p_{F|OU}$.
2. Degradação Graceful sob Deriva de Implantação: Contratos atuais são frágeis; se as suposições forem violadas, as garantias tornam-se vazias. O artigo propõe "contratos robustos" que permitem uma degradação proporcional das garantias quando as suposições são ligeiramente violadas, permitindo operação controlada durante deslocamentos distribucionais.
3. Extensão para Cenários Multiagente: O framework atual aborda agentes únicos. Sistemas multiagente introduzem novos modos de falha (por exemplo, manipulação de crenças entre agentes) que requerem um quarto domínio de informações (proveniência de mensagens entre agentes) e uma estrutura de certificação revisada.

Em conclusão, o artigo afirma que a implantação segura de agentes LLM não é meramente um desafio de engenharia de construir guarda-chuvas mais fortes, mas um requisito estrutural para uma arquitetura baseada em etapas e contratos que respeita a ordem causal das informações. O framework proposto fornece a base teórica necessária para certificação de segurança modular e composicional em ambientes dinâmicos e incertos.