🤖 AI

A Theory of Least Autonomy in AI

Este artigo propõe a "menor autonomia" como uma generalização necessária do princípio do menor privilégio para sistemas de IA agêntica, introduzindo uma teoria formal que combina métricas de raio de explosão composicional, grafos de influência de agentes direcionados e predicados de colusão para detectar e controlar composições de autorização complexas e manipulações de capacidades transdomínio.

Autores originais: Christophe Parisel

Publicado 2026-07-14

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Christophe Parisel

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um enorme edifício de escritórios de alta tecnologia onde os seguranças costumavam ter uma regra simples: "Não dê a ninguém uma chave para uma sala que ela não precise." Isso é chamado de Privilégio Mínimo. Por décadas, isso funcionou muito bem para humanos e robôs simples. Se um zelador precisava limpar o banheiro, ele recebia uma chave do banheiro. Se ele não precisasse do cofre, não recebia a chave do cofre. Simples, certo?

Mas agora, construímos IA Agêntica — trabalhadores digitais inteligentes e autônomos que não apenas abrem portas; eles podem bater em outras portas, pedir a outros trabalhadores para abrirem coisas e combinar suas pequenas chaves para desbloquear portas gigantes e secretas às quais nunca tiveram acesso por conta própria. A antiga regra "uma chave, uma sala" não é mais suficiente.

Entra em cena o Menor Autonomia, uma nova teoria proposta pelo pesquisador Christophe Parisel em um artigo datado de 14 de julho de 2026. É como atualizar o sistema de segurança de "Quem tem a chave?" para perguntar: "Quem pode se unir para derrubar todo o edifício?"

O Novo Perigo: O "Raio de Explosão"

O artigo sugere que precisamos medir algo chamado Raio de Explosão Composicional. Pense nisso como um medidor de "distância de perigo".

Imagine que o edifício de escritórios é uma árvore gigante. As raízes são o CEO, os galhos são os departamentos (como Finanças ou Engenharia) e as folhas são arquivos ou ferramentas específicas. O artigo usa um truque matemático especial (uma árvore ultramétrica) para medir quão distantes estão duas ações nesta árvore.

Se duas ações ocorrem na mesma sala minúscula, a distância é zero.
Se uma ação está no galho "Finanças" e a outra está em "Engenharia", a distância é maior.
Se elas estão em edifícios completamente diferentes (como "Operações" vs. "Corporativo"), a distância é enorme.

Mas não é apenas sobre distância. O artigo adiciona um "rótulo de sensibilidade" a cada sala. Algumas salas são apenas "Padrão" (baixo risco), enquanto outras são de "Alta Integridade" (não mexa nos números) ou "Alta Confidencialidade" (não deixe segredos vazarem). A teoria combina a distância e os rótulos de sensibilidade para calcular um multiplicador (variando de 1,00 a 2,00).

Assim, o "Raio de Explosão" não é apenas o quão distantes duas ações estão; é o quão distantes elas estão ponderadas pelo quão perigosas elas são. Se uma ação de baixo risco em Finanças se combina com uma ação de alto risco em Engenharia, o "raio de explosão" dessa combinação recebe uma pontuação alta.

A "Reunião" e o "Grafo de Influência"

É aqui que a coisa fica complicada. O artigo argumenta que não podemos apenas olhar para o que um agente de IA pode fazer sozinho. Temos que olhar para com quem eles podem falar.

Os autores introduzem a ideia de uma Reunião:

Reunião de Recursos: O Agente A escreve uma nota em um quadro branco e o Agente B lê esse mesmo quadro branco. Eles se "reuniram" no quadro branco.
Reunião Agente-para-Agente (A2A): O Agente A e o Agente B têm um canal de chat direto. O artigo é muito conservador aqui: mesmo que o chat pareça unidirecional, os autores assumem que o Agente B poderia, de alguma forma, influenciar o Agente A de volta (talvez enviando uma mensagem astuta ou um resultado de ferramenta). Portanto, eles tratam isso como uma via de mão dupla.

Uma vez que sabemos quem se "reuniu", calculamos um Potencial de Influência. Este é um score de quanto "extensão estrutural" suas ações combinadas cobrem. Se o Agente A escreve para um cofre sensível e o Agante B lê um relatório sensível, e eles se reuniram, o potencial de influência deles é alto.

Então, desenhamos um mapa chamado Grafo de Influência. Só desenhamos uma linha (um arco) entre dois agentes se:

Eles tiveram uma "Reunião".
O Potencial de Influência deles estiver acima de um determinado Limiar ( $\theta$ ).

O artigo é cuidadoso ao dizer que este limiar ( $\theta$ ) não é um número mágico encontrado por um computador. É uma escolha de política feita por um chefe de segurança humano, calibrada contra um "catálogo" de todas as combinações possíveis de ações na empresa.

A Armadilha da "Colusão"

A parte mais assustadora da teoria é o Predicado de Colusão. Este é um teste para ver se um grupo de agentes poderia se unir para fazer algo ruim, mesmo que nenhum agente individual esteja fazendo nada de errado por conta própria.

O artigo identifica três maneiras pelas quais os agentes podem "coludir" neste grafo:

Composição de Autorização: O Agente A tem o poder de aprovar uma solicitação, e o Agente B tem o poder de executar essa solicitação. Se A pode influenciar B (ou vice-versa), eles podem contornar as regras.
Manipulação de Decisão: O Agente A pode influenciar o Agente B, e o Agente B tem o poder de aprovar algo. A pode enganar B para aprovar uma decisão ruim.
Exposição Transversal de Domínio: O Agente A pode alcançar o domínio "Finanças", e o Agente B pode alcançar o domínio "Engenharia". Se eles estiverem conectados no grafo, eles podem acidentalmente (ou maliciosamente) misturar esses mundos de uma forma que as regras diziam que não deveria acontecer.

O Que o Artigo Descarta (As "Zonas de Proibição")

É crucial entender o que esta teoria não faz.

NÃO é um monitor de tempo de execução (runtime). O artigo afirma explicitamente que esta é uma análise estática de tempo de design. É como verificar as plantas de um edifício antes de construí-lo. Não observa os agentes em tempo real para ver se eles estão realmente conversando. Ele apenas diz: "Se as plantas parecerem assim, há um risco".
Não prova que um crime aconteceu. Encontrar uma "testemunha de colusão" no grafo não significa que os agentes fizeram algo errado. Significa apenas que a configuração permite que isso aconteça. É um "sinal de alerta" para engenheiros de segurança revisarem as permissões.
Não se importa com o "como" da ação. O artigo admite que uma ação de "leitura" e uma ação de "exclusão" no mesmo arquivo têm a mesma "distância estrutural" (zero) em sua matemática. A teoria foca na estrutura das permissões, não no tipo específico de operação (se é uma exclusão destrutiva ou uma leitura inofensiva).

O Veredito: Uma Nova Rede de Segurança

O artigo conclui que o Privilégio Mínimo ainda é necessário, mas é insuficiente para estes agentes de IA inteligentes e conectados. Você pode dar a um agente as permissões "mínimas", mas se esse agente puder falar com outro agente que possui permissões "mínimas" diferentes, eles podem se combinar para criar uma permissão "máxima" que ninguém pretendia.

Os autores propõem a Menor Autonomia como uma regra complementar. Ela pergunta: "Qual é o 'raio de explosão' máximo de autoridade que este agente poderia alcançar, mesmo através de uma cadeia de amigos?"

O artigo fornece um guia passo a passo para engenheiros de segurança construírem este modelo:

Mapear a árvore da empresa e rotular a sensibilidade de cada nó.
Listar todas as ações possíveis.
Definir um limiar ( $\theta$ ) baseado na tolerância ao risco da empresa.
Desenhar o grafo de influência.
Verificar por "testemunhas de colusão".

Se o grafo mostrar um risco de colusão, os engenheiros devem redesenhar o fluxo de trabalho, alterar as permissões ou baixar o limiar. O artigo sugere que esta é uma forma de capturar riscos "invisíveis" que as verificações de permissão padrão não detectam, mas admite que o modelo depende fortemente da precisão dos dados de entrada (a árvore, os rótulos e as definições de reunião).

Em suma, o artigo sugere que, em um mundo de agentes de IA, não podemos apenas verificar quem detém as chaves. Temos que verificar quem pode bater na porta de quem e o que acontece quando eles combinam suas batidas. É uma nova forma de pensar sobre segurança, uma que trata toda a rede de agentes como um único organismo potencialmente perigoso que precisa ser mantido sob controle.

Resumo Técnico: Uma Teoria do Menor Autonomia em IA

1. Declaração do Problema

O princípio do Menor Privilégio, estabelecido na década de 1970, dita que uma identidade deve deter apenas as permissões estritamente necessárias para sua tarefa. Embora eficaz para usuários humanos e processos de software estáticos, este artigo argumenta que o Menor Privilégio é insuficiente para sistemas de IA agênticos.

Ao contrário de atores passivos, sistemas agênticos possuem capacidades dinâmicas: eles podem sequenciar ações, delegar tarefas, transformar saídas e disparar fluxos de trabalho através de fronteiras de sistemas. Consequentemente, uma configuração onde permissões individuais parecem inócuas isoladamente pode criar um risco significativo quando combinadas. Duas propriedades específicas de sistemas agênticos exacerbam isso:

Gatekeeping (Intermediação): Um agente pode não ter acesso direto a dados sensíveis, mas reter a autoridade para aprovar ou habilitar o acesso de outro principal.
Composição: O alcance operacional de um agente pode depender não apenas de suas próprias permissões, mas das ações de outros agentes que ele pode influenciar.

Revisões de permissão por permissão atuais falham em capturar a "exposição de autoridade" decorrente dessas interações multiagentes, necessitando de uma mudança da análise de permissões estáticas para a análise de autonomia.

2. Metodologia e Estrutura Formal

O artigo propõe uma teoria formal de Menor Autonomia, estruturada em três camadas: a Camada de Ação, a Camada de Agente e a Camada de Sistema.

2.1 A Camada de Ação: Raio de Explosão Composicional

O framework modela o sistema de informação empresarial como uma árvore enraizada $T$ (uma hierarquia ultramétrica) onde os nós folha representam recursos e os nós internos representam escopos organizacionais.

Lattice de Sensibilidade: Cada nó recebe um rótulo local $\ell(v) = (flow, axes)$ , onde $flow \in \{\emptyset, GK, Ac\}$ (representando ausência de fluxo, Gatekeeper ou Accessor) e $axes \subseteq \{C, I\}$ (Confidencialidade, Integridade).
Rótulos Acumulados pelo Caminho: Os rótulos são propagados para cima na árvore usando um operador de junção $\otimes$ , acumulando a sensibilidade ao longo do caminho da raiz até o recurso.
Raio de Explosão ( $d(a, b)$ ): Uma distância pseudoultramétrica é definida entre duas ações $a$ e $b$ . Ela combina a distância estrutural na hierarquia (baseada na profundidade do Ancestral Comum Mais Próximo) com um multiplicador derivado dos rótulos de sensibilidade dos nós de recursos das ações. Esta métrica quantifica o "alcance estrutural" de uma potencial interação.

2.2 A Camada de Agente: Grafo de Influência

A teoria eleva as métricas de nível de ação para o nível de agente usando um Grafo de Influência de Agentes Direcionado $G(\theta)$ .

Encontros (Meetings): Um arco entre agentes $U$ $U$ e $V$ $V$ é baseado em um "encontro", definido como:
1. Um Encontro de Recurso Direcionado: $U$ pode escrever em um recurso que $V$ pode ler.
2. Um Encontro A2A Não Direcionado: $U$ e $V$ possuem um caminho de comunicação configurado (tratado conservadoramente como bidirecional para considerar a influência reversa via prompts ou artefatos).
Potencial de Influência ( $\Phi$ ): Para que um encontro gere um arco, o raio de explosão máximo entre os conjuntos de ações relevantes (ex: as escritas de $U$ e as leituras de $V$ ) deve atingir ou exceder um limiar de política $\theta$ .
Autonomia Efetiva: Definida como o conjunto de todas as ações atribuídas a um agente mais as ações de qualquer agente alcançável via caminhos direcionados em $G(\theta)$ . Isso representa uma abstração conservadora da exposição de capacidade.

2.3 A Camada de Sistema: Predicado de Colusão

O framework define um Predicado de Colusão para detectar composições multiagentes prejudiciais. Um conjunto de agentes $S$ é sinalizado como colusivo se agentes distintos $U, V \in S$ satisfazem o alcance direcionado em $G(\theta)$ E atendem a uma das três condições:

Composição de Autorização: $U$ possui autoridade de gatekeeping sobre um recurso que $V$ acessa ($Gates(U, V)$).
Manipulação de Decisão: $V$ possui autoridade de gatekeeping sobre um recurso que $U$ acessa ($Gates(V, U)$).
Exposição Transversal de Domínio: $U$ e $V$ podem influenciar agentes que detêm capacidades em domínios de segurança separados (ex: Finanças vs. Engenharia).

3. Principais Contribuições

O artigo apresenta três contribuições primárias:

Raio de Explosão Composicional: Uma métrica formal que combina uma hierarquia empresarial ultramétrica com uma estrutura de sensibilidade baseada em lattice para medir a separação estrutural entre ações.
Grafo de Influência Direcionado & Predicado de Colusão: Um modelo baseado em grafos onde os arcos são condicionados a encontros de recursos ou de comunicação e um limiar de política $\theta$ . Isso inclui um mecanismo para detectar composição de autorização, manipulação de decisão e composição de capacidade transversal de domínio.
Procedimento de Design: Uma metodologia passo a passo para engenheiros de segurança traduzirem o modelo em prática, incluindo a calibração do limiar $\theta$ e um orçamento de autonomia individual $\tau_{aut}$ .

4. Resultados e Exemplo Ilustrativo

O artigo fornece um procedimento de design passo a passo e um exemplo ilustrativo envolvendo uma hierarquia empresarial com os domínios de Finanças, Engenharia, Compliance e Jurídico.

Calibração: O exemplo demonstra como selecionar $\theta$ com base em um "perfil de raio de catálogo" (a distribuição de raios de explosão no sistema) para distinguir entre interações de baixo impacto e alto impacto.
Cenários de Detecção: O exemplo identifica com sucesso:
- Violações de Orçamento Individual: Agentes cuja autonomia direta ou efetiva excede o raio de explosão permitido ( $\tau_{aut}$ ).
- Colusão: Pares de agentes onde a influência direcionada combinada com papéis de gatekeeping cria um risco (ex: um agente influenciando um gatekeeper que, por sua vez, autoriza o acesso a um recurso que o primeiro agente pode ler).
Diferenciação: O exemplo distingue entre "influência material" (que atinge o limiar, mas não colude) e configurações "positivas para colusão", mostrando como o framework isola vetores de risco específicos.

5. Significância e Alegações

O artigo posiciona a Menor Autonomia não como um substituto para o Menor Privilégio, mas como um critério de design complementar.

Análise Estática: O framework é uma ferramenta de análise estática, de tempo de design. Ele identifica configurações que merecem revisão, mas não afirma provar procedência, autoridade de comando ou traços de execução realizados.
Abstração Conservadora: O modelo é intencionalmente conservador. Ele trata potenciais caminhos de influência como exposições de capacidade de pior caso. Um resultado positivo indica uma configuração que requer revisão de política, mediação em tempo de execução ou redesenho, em vez de confirmar um ataque ativo.
Escopo: A teoria aborda o desafio específico de como as permissões distribuídas entre múltiplos agentes podem se combinar através de escopos organizacionais e domínios de segurança, uma lacuna não coberta pelo RBAC tradicional ou sistemas de autorização de ferramentas de tempo de execução.

O artigo conclui que, embora o Menor Privilégio continue sendo necessário, ele não consegue caracterizar a exposição de autoridade inerente aos sistemas de IA agênticos. A teoria proposta fornece um método estruturado para identificar e auditar essas interações de alto impacto e múltiplos agentes.