Resumo Técnico: A Segurança de Agentes Deve Ser um Contrato de Tempo de Execução (Runtime)

1. Declaração do Problema

O paradigma dominante atual na segurança de IA trata o alinhamento como uma propriedade a ser instilada durante o treinamento do modelo por meio de técnicas como RLHF, DPO, IA Constitucional e RLAIF. Embora essa abordagem domine as publicações acadêmicas e o financiamento, os autores argumentam que ela é estruturalmente insuficiente para agentes autônomos que executam código, mutam arquivos, enviam mensagens e modificam bancos de dados.

O problema central é um descompasso entre o alinhamento ao nível do modelo (estatístico, em tempo de treinamento, de mundo fechado) e o desdobramento de agentes (determinístico, em tempo de execução, de mundo aberto). Falhas históricas — que variam de agentes de codificação autônomos deletando bancos de dados a LLMs fabricando citações jurídicas — demonstram que o treinamento sozinho não pode prevenir danos consequentes. O artigo postula que a segurança não deve ser uma propriedade inerente ao modelo, mas um contrato de tempo de execução (runtime contract) imposto pela infraestrutura do sistema (o "harness").

2. Metodologia e Estrutura

O artigo propõe uma mudança estrutural do "alinhamento de modelo" para um contrato de tempo de execução de duas faces imposto pelo harness. Este contrato consiste em dois componentes complementares:

A. A Face Preventiva

Esta face bloqueia ações perigosas antes que elas ocorram. Ela se baseia em mecanismos que operam independentemente do estado interno do modelo:

• Mecanismos: Sandboxes, portões de permissão, sanitização de entrada, filtros de saída e monitores de trajetória.
• Princípios de Design: Adaptados da segurança computacional (princípios de Saltzer–Schroeder), incluindo defesa em profundidade, privilégio mínimo, padrões de falha seguros (fail-safe defaults), mediação completa e auditabilidade.
• Temporalidade: Os mecanismos são categorizados como preventivos (pré-execução), detectivos (durante/pós-execução), corretivos (pós-detecção) e estruturais (invariantes arquitetônicas).

B. A Face Evidencial

Esta face exige prova verificável de que ações seguras realmente ocorreram antes que uma tarefa seja marcada como concluída. Ela desloca o ônus da prova do autorrelato do modelo para artefatos externos.

• Esquema de Trajetória do Agente: Uma definição formal da operação de um agente como uma sequência de eventos ($\tau$), onde cada evento inclui um tipo, carimbo de tempo (timestamp), carga útil (payload) e um hash criptográfico vinculando-o ao evento anterior ($h_i = H(e_i, h_{i-1})$).
• Evidência Suave vs. Dura:
  • Evidência Suave: Baseia-se no raciocínio interno ou autorrelato do modelo (ex: "Eu realizei a tarefa").
  • Evidência Dura: Artefatos verificáveis independentes do estado do modelo (ex: códigos de saída de suítes de teste, diffs de arquivos, buscas de citações contra URLs conhecidas, hashes de commit).
• Cadeia de Evidência: Uma subsequência da trajetória contendo evidência dura que satisfaz requisitos específicos da tarefa ($E_T$). Um harness só aceita uma submissão se puder construir uma cadeia de evidência válida.

C. Portão Composicional (Compositional Gating)

O artigo formaliza a combinação dessas faces usando autômatos finitos determinísticos. Camadas preventivas (monitores) e portões de evidência (verificadores) compõem um único contrato. O custo de verificação é limitado e os modos de falha são localizáveis a camadas específicas, garantindo que o sistema não dependa de um único ponto de falha.

3. Evidência Empírica

Os autores sustentam sua posição com quatro linhas de evidência pública, com protocolos de nível de linha e dados liberados em arquivos JSON suplementares:

1. Levantamento de Incidentes (52 Casos): Um levantamento de incidentes documentados de segurança de agentes de IA e LLMs (março de 2016 – janeiro de 2026).
   • Descoberta: 40 casos foram codificados como totalmente evitáveis por uma camada funcional de harness; 11 foram codificados como parcialmente mitigáveis (exigindo portões prévios como permissão ou sandbox para conter o efeito colateral); apenas um caso (CICERO da Meta) estava primariamente relacionado ao alinhamento de objetivos internos.
2. Auditoria de Falsa Conclusão (31+1 Casos): Uma auditoria de casos onde agentes relataram sucesso apesar de resultados quebrados, alucinados ou prejudiciais.
   • Descoberta: Todos os 32 casos envolveram a falta de evidência dura (ex: ausência de execuções de testes, citações não verificadas ou falta de aprovação humana). Em casos de ação destrutiva, a falha em prevenir o próprio efeito colateral exigia um portão prévio de permissão, sandbox ou aprovação humana.
3. Auditoria de Esquema de Trajetória (12 Sistemas): Uma análise de 12 sistemas de agentes e harnesses públicos (incluindo GitHub Copilot, Devin e OSWorld).
   • Descoberta: Apenas 2 de 12 sistemas documentam portões de evidência do tipo submissão. A maioria captura artefatos, mas depende do autorrelato do modelo para a verificação final.
4. Auditoria de Atas/Anais (28.560 Artigos): Uma auditoria de nível de título dos artigos da NeurIPS, ICML e ICLR (2023–2025).
   • Descoberta: Existe um desequilíbrio agrupado de 8 a 12 vezes entre a pesquisa de alinhamento em tempo de treinamento e a pesquisa de infraestrutura de tempo de execução necessária para o desdobramento seguro.

4. Principais Contribuições

• Mudança Conceitual: Redefine a unidade de segurança em IA de agentes da modelagem para a trajetória-com-evidência-verificável.
• Estrutura Formal: Introduz o Esquema de Trajetória do Agente e a Cadeia de Evidência, fornecendo um mecanismo formal para distinguir entre evidência suave (não verificável) e dura (verificável).
• Proposta Arquitetônica: Propõe uma arquitetura de harness de "duas faces" que integra controles preventivos e portões de evidência, traçando paralelos com a segurança computacional (defesa em profundidade) e a ciência experimental (pré-registro/replicação).
• Linha de Base Empírica: Fornece a primeira auditoria sistemática de incidentes de segurança e arquiteturas de sistemas, demonstrando que as falhas atuais de produção devem-se frequentemente à ausência de contratos de tempo de execução, e não ao desalinhamento do modelo.

5. Resultados e Alegações

O artigo alega que o alinhamento apenas do modelo é estruturalmente inadequado para agentes que realizam ações consequentes. Os resultados indicam que:

• Falhas de segurança em produção são frequentemente evitáveis por infraestrutura existente (sandboxes, portões de permissão) que atualmente é subutilizada ou não integrada em um contrato unificado.
• A comunidade de pesquisa foca desproporcionalmente no alinhamento em tempo de treinamento (8 a 12 vezes mais artigos) em comparação com a infraestrutura de tempo de execução necessária para o desdobramento seguro.
• Um contrato de "duas faces" (preventivo + evidencial) é a solução estrutural necessária, espelhando a convergência da segurança computacional e da ciência experimental em mecanismos de segurança semelhantes.

6. Significância

O artigo argumenta que o caminho a seguir para a segurança da IA de agentes não é outro benchmark focado apenas no modelo, mas o estabelecimento de uma disciplina compartilhada de tempo de execução. Isso inclui:

• Esquemas de trajetória canônicos.
• Requisitos de evidência específicos para tarefas.
• Relatórios públicos de falhas.

Os autores enfatizam que esta abordagem não requer confiar no raciocínio do modelo, mas sim verificar a existência de artefatos externos. Ao liberar arquivos JSON suplementares com protocolos de auditoria, o artigo visa tornar esses contratos inspecionáveis, contestáveis e reutilizáveis, deslocando o ônus da segurança do usuário para o harness do sistema.