Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems

Resumo Técnico: Governando Ações, Não Agentes

Declaração do Problema
Agentes de IA autônomos realizam cada vez mais ações consequentes e irreversíveis (ex: prescrição clínica, implantação de software) sem aprovação humana passo a passo. As abordagens de governança existentes tipicamente instrumentalizam o tempo de execução (runtime) do agente para interceptar chamadas de ferramentas, classificar o comportamento e aplicar políticas baseadas no contexto de execução observado (nomes de ferramentas, parâmetros, formas de resposta). No entanto, esses mecanismos falham em governar ações cuja correção depende de fatos sobre o estado do mundo residentes em sistemas externos autoritativos (ex: se uma interação medicamentosa foi verificada, se um build passou ou se uma licença é válida). O artigo argumenta que monitorar o raciocínio do agente ou a mecânica de invocação de ferramentas é insuficiente para ações de alto risco, onde a validade da ação depende de verificação externa e independente.

Metodologia: Modelo de Atestação Institucional
O artigo propõe um modelo de governança computacional derivado da governança institucional de atores humanos autônomos (ex: médicos, juízes). Em vez de governar a deliberação do agente, o modelo governa a ação no ponto de execução, exigindo evidências atestadas independentemente. O modelo é implementado como um "Hub de Ação de Confiança Zero" (Zero-Trust Action Hub — prova de conceito disponível em github.com/jsalfeld/zta-hub) e opera através do "Padrão de Mensageiro" (Courier Pattern):

1. Declaração de Intenção: O agente solicita autorização para uma ação específica. O Hub de Governança emite um identificador de intenção único e criptograficamente aleatório (token de vínculo) e retorna uma lista de atestações necessárias definidas em contratos de habilidades legíveis por máquina.
2. Coleta de Evidências: O agente atua como um mensageiro, contatando fontes autoritativas independentes (oráculos) para coletar atestações assinadas. Cada oráculo verifica uma precondição específica e retorna um envelope assinado (ex: usando Ed25519) contendo o ID da fonte, o ID da intenção, a validade temporal e o conteúdo (payload). O agente não pode fabricar essas assinaturas, pois não possui as chaves privadas dos oráculos.
3. Submissão e Avaliação: O agente submete as atestações coletadas ao Hub. O Hub realiza um pipeline de verificação:
   • Verificação de Assinatura: Valida as assinaturas contra chaves públicas pré-registradas.
   • Vínculo de Intenção: Confirma que o ID da intenção em cada atestação corresponde à solicitação declarada, evitando ataques de repetição (replay) ou substituição.
   • Atualidade (Freshness): Verifica se as atestações estão dentro de sua janela de validade.
   • Integridade (Completeness): Garante que todas as atestações necessárias estejam presentes.
   • Montagem de Contexto: Mescla os conteúdos verificados em um contexto de política.
4. Avaliação de Política Determinística: O Hub avalia uma política declarativa (ex: usando Cedar ou Rego) contra o contexto montado. A postura padrão é "negar".
5. Autorização Condicional: Se a política permitir, o Hub executa a ação ou emite um token de capacidade (capability token) assinado e de escopo restrito.
6. Auditoria: A decisão, todas as evidências de suporte e a regra aplicada são anexados a um log de auditoria à prova de adulteração (usando técnicas de cadeia de hashes ou árvores de Merkle), permitindo a reverificação independente por terceiros.

Principais Contribuições

• Formalização da Governança Institucional: O artigo formaliza o padrão de governar ações em vez de agentes, traduzindo precedentes institucionais humanos (separação de deveres, atestação independente) em uma arquitetura computacional para IA.
• O Padrão de Mensageiro (Courier Pattern): Um mecanismo onde o agente retém total autonomia sobre planejamento e raciocínio, mas não possui autoridade de execução para ações governadas, atuando apenas para reunir evidências de fontes independentes.
• Vínculo de Intenção e Integridade de Transação: Um framework criptográfico onde as atestações são vinculadas a uma intenção de ação específica, impedindo ataques de repetição e garantindo que as evidências não possam ser desvinculadas de seu contexto.
• Composição de Ações: O modelo permite que a governança seja composta; uma ação bem-sucedida gera um recibo de execução assinado que pode servir como uma precondição (evidência verificada) para ações subsequentes.
• Descoberta de Governança Escalável: Os requisitos de governança são publicados como contratos de habilidades legíveis por máquina, permitindo que novos atestadores, oráculos e ações sejam introduzidos sem modificar o agente ou a lógica de avaliação do Hub.

Resultos e Ilustrações
O artigo apresenta uma implementação de prova de conceito e ilustra o modelo com dois exemplos:

1. Implantação de Software: Um agente que busca implantar código deve coletar atestações assinadas de um pipeline de CI (testes passaram), um oráculo de revisão de código (aprovações) e um oráculo de varredura de segurança (verificações de vulnerabilidade). O Hub verifica esses dados contra uma política Cedar antes de autorizar a implantação.
2. Prescrição Clínica: Um agente que prescreve medicação deve coletar atestações de um prontuário eletrônico (estado do paciente), um oráculo de interação medicamentosa e um oráculo de licença da DEA. A política inclui lógica para composição de ações, exigindo evidência de que uma ação anterior (ex: liberação de registros médicos para transferência de pacientes) foi executada com sucesso sob o mesmo regime de governança.

Significância e Alegações
O artigo afirma articular uma composição de primitivas bem estabelecidas (verificação de confiança zero, segurança de capacidade, avaliação de política determinística, logs à prova de adulteração) em um modelo de governança institucional unificado. Sua significância reside em abordar um modo de falha específico das camadas de segurança atuais: ações que são localmente bem formadas (ferramenta correta, parâmetros plausíveis), mas substantivamente incorretas porque dependem de fatos externos não verificados.

O modelo é particularmente relevante para o problema do "agente rebelde" (rogue agent), onde um agente comprometido opera dentro de escopos autorizados, mas persegue objetivos adversários; o monitoramento comportamental em tempo de execução é estruturalmente ineficaz aqui, pois as ações individuais conformam-se aos padrões esperados. Ao exigir o controle por evidências baseado em fatos atestados independentemente, o modelo garante que ações consequentes só sejam permitidas quando as precondições do mundo real forem verificadas.

Os autores declaram explicitamente que o problema aberto não é primariamente técnico, mas organizacional: determinar quais ações justificam este nível de governança e qual evidência é necessária. O modelo garante a aplicação fiel de uma política declarada, mas não assegura a correção da própria política ou o alinhamento da intenção declarada do agente com os objetivos humanos. Ele é projetado para complementar, não substituir, os mecanismos de governança em tempo de execução, abordando a "fronteira" da ação em vez do "caminho" do raciocínio.