Governance by Construction for Generalist Agents

Resumo Técnico: Governança por Construção para Agentes Generalistas

Declaração do Problema
À medida que os agentes de Modelos de Linguagem de Grande Escala (LLM) evoluem de chatbots estáticos para sistemas generalistas capazes de planejamento autônomo, uso de ferramentas e raciocínio em múltiplos passos em ambientes empresariais, eles introduzem riscos significativos relacionados à imprevisibilidade e segurança. Embora a flexibilidade permita que os agentes se generalizem em sistemas heterogêneos, ela também leva a alucinações, uso indevido de ferramentas, violações procedimentais e exposição de dados. Em contextos empresariais, essas falhas não são meramente questões de qualidade, mas podem resultar em violações de conformidade, perdas financeiras e danos reputacionais.

As estratégias de governança atuais frequentemente dependem de engenharia de prompts, preenchimento de instruções ou validação post-hoc. Os autores argumentam que essas abordagens sofrem de limitações estruturais: são frágeis à medida que as políticas evoluem, duplicam lógica entre implantações, delegam a aplicação ao raciocínio probabilístico do modelo (tornando a auditoria difícil) e carecem de resolução de conflitos baseada em princípios. Abordagens estruturadas existentes frequentemente exigem compromissos arquitetônicos pesados ou reconfigurações específicas de domínio. O artigo postula que a governança empresarial deve evoluir além de heurísticas no nível do prompt em direção a "governança por construção" — primitivas de controle explícitas, tipadas e aplicadas em tempo de execução que operam independentemente do modelo.

Metodologia: O Sistema de Políticas CUGA
O artigo apresenta a implementação de uma camada modular de políticas como código integrada ao framework de código aberto CUGA (Computer Using Generalist Agent). Este sistema aplica governança sem exigir ajuste fino do modelo, utilizando uma arquitetura de tempo de execução que intercepta o grafo de execução do agente em cinco pontos de verificação estruturais críticos:

1. Guarda de Intenção: Posicionado a montante do planejamento, esta primitiva aplica restrições rígidas interceptando a intenção do usuário antes que o agente raciocine ou aja. Ela usa correspondência determinística de palavras-chave e similaridade semântica para bloquear imediatamente operações não autorizadas ou restritas, encerrando a execução se uma violação for detectada.
2. Playbook: Injetado no prompt do sistema, esta camada fornece orientação estruturada passo a passo para fluxos de trabalho. Ela associa dinamicamente solicitações a sequências de ferramentas predefinidas e restrições empresariais, orientando o raciocínio e o planejamento do agente sem inflar o prompt com tokens excessivos.
3. Guia de Ferramentas: Aplicado na fronteira da chamada de ferramenta, este mecanismo enriquece as descrições das ferramentas com orientação contextual ou relacionada à conformidade. Ele atualiza as definições de ferramentas via cópia profunda para garantir modificações com escopo de sessão, instruindo o agente sobre o uso adequado e restrições (por exemplo, requisitos de paginação).
4. Aprovação de Ferramentas: Atuando como um gate Human-in-the-Loop (HITL) fora do loop de raciocínio, esta primitiva pausa a execução após a geração de código, mas antes da invocação da ferramenta. Ela exige confirmação humana explícita para ações de alto risco (por exemplo, gravações em banco de dados, chamadas de API externas), garantindo supervisão para operações potencialmente destrutivas.
5. Formatador de Saída: Localizado na etapa final, esta camada filtra e estrutura a resposta do agente, transformando-a em modelos predefinidos, Markdown ou esquemas JSON com base em gatilhos sensíveis ao contexto.

Arquitetura e Mecanismo de Gatilho
O sistema é construído sobre uma arquitetura de quatro níveis: Modelos de Políticas (esquemas fortemente tipados), Armazenamento (banco de dados vetorial para recuperação semântica), Agente de Políticas (correspondência em tempo de execução e resolução de conflitos) e Execução (primitivas de execução dentro do LangGraph).

• Gatilhos: As políticas são ativadas por um sistema de gatilho configurável que suporta Linguagem Natural (similaridade de embeddings), Palavras-chave (exatas/fuzzy), Contexto de Aplicação, Estado do Agente e detecção de uso de ferramentas.
• Resolução de Conflitos: O sistema prioriza Guardas de Intenção sobre políticas consultivas. Para gatilhos em linguagem natural onde múltiplas políticas correspondem, uma etapa de raciocínio estruturado baseada em LLM seleciona a política mais apropriada com justificativa.
• Observabilidade: O sistema produz rastros de explicação estruturados para auditoria e garantia de qualidade.

Contribuições Principais e Resultados
O artigo demonstra o sistema através de um cenário de saúde e uma intervenção de segurança multicamada, mostrando injeção dinâmica de playbook, bloqueio de intenção e pontos de verificação HITL.

A avaliação quantitativa foi conduzida em dois benchmarks focados em empresas: OAK (27 tarefas de atendimento ao cliente/seguros) e BPO (26 tarefas de operações de processos de negócios). O sistema foi testado em três modelos base: GPT-OSS-120B (código aberto), GPT-4.1 e Claude Opus-4.5.

• Ganhos de Desempenho: O sistema de políticas produziu melhorias consistentes e substanciais na Taxa de Sucesso (SR) em todos os modelos e benchmarks.
  • OAK: SR melhorou de 75% para 100% para GPT-OSS-120B, de 70% para 96% para GPT-4.1 e de 81% para 96% para Claude Opus-4.5.
  • BPO: SR melhorou de 49,2% para 82,3% para GPT-OSS-120B, de 28,5% para 66,2% para GPT-4.1 e de 50,0% para 68,5% para Claude Opus-4.5.
• Estudo de Ablação: Uma ablação controlada no benchmark BPO usando GPT-OSS-120B mostrou melhoria monotônica: 46,2% (sem políticas) → 71,8% (2 políticas) → 78,2% (5 políticas). Primitivas específicas abordaram modos de falha distintos: Guardas de Intenção lidaram com consultas fora do escopo; Guias de Ferramentas estabilizaram chamadas a endpoints não confiáveis; e Playbooks resolveram erros sistemáticos de contagem em tarefas de múltiplas métricas.

Significado e Alegações
Os autores afirmam que a "governança por construção" permite a implantação de agentes generalistas confiáveis e prontos para empresas, sem sacrificar generalidade ou desempenho. Ao externalizar a governança para políticas de tempo de execução composáveis, o sistema alcança comportamento previsível, auditável e consciente de conformidade.

As principais alegações incluem:

• Agnosticismo de Modelo: A abordagem funciona efetivamente em diversos modelos, incluindo opções de código aberto como GPT-OSS-120B, tornando-a adequada para implantações locais onde infraestrutura de nuvem de terceiros não é uma opção.
• Segurança sem Ajuste Fino: A governança é aplicada através de primitivas tipadas e interceptação em tempo de execução, em vez de re-treinamento do modelo.
• Justificativa de Trade-off: Embora o sistema introduza sobrecarga de tokens devido a instruções explícitas, os autores argumentam que isso é um trade-off justificado em ambientes empresariais onde uma única violação de política pode constituir uma violação de conformidade ou desencadear operações destrutivas.

O artigo conclui que uma camada de governança baseada em princípios não é uma limitação, mas um pré-requisito para a implantação responsável de agentes, permitindo que organizações implantem agentes generalistas com confiança em ambientes sensíveis e de produção.