Effective Segregation of Duties in Agentic Enterprise Authorization: Evaluating Shared-Dependence Risk in Maker–Checker Controls
Este artigo introduz o conceito de Segregação de Funções (SoD) Efetiva para distinguir entre a separação nominal de identidade e a real garantia independente em autorizações impulsionadas por IA, demonstrando através de um benchmark P2P de larga escala que a mitigação efetiva de riscos depende da mediação de evidências e de modelos de verificação heterogêneos, em vez de mera distinção de princípios.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo das grandes organizações, de bancos a agências governamentais, existe uma regra fundamental para manter as coisas seguras: nenhuma pessoa sozinha deve ter o poder de iniciar uma transação e finalizá-la sozinha. Este princípio, conhecido como separação de funções, garante que, se uma pessoa cometer um erro ou tentar agir de forma imprópria, uma segunda pessoa o detectará antes que algo prejudicial aconteça. Por décadas, este sistema dependeu de dois seres humanos diferentes verificando o trabalho um do outro. Hoje, no entanto, muitas dessas tarefas estão sendo entregues a agentes de inteligência artificial. Estes são programas de software que podem ler documentos, tomar decisões e até executar transferências financeiras. A questão que os especialistas em segurança enfrentam não é mais apenas sobre ter dois programas de IA diferentes, mas se esses dois programas são verdadeiramente independentes. Se ambos os agentes dependerem da mesma tecnologia subjacente, das mesmas fontes de informação ou da mesma forma de pensar, eles podem cometer exatamente o mesmo erro ao mesmo tempo, tornando a verificação de segurança inútil.
Um estudo recente propôs-se a testar exatamente este cenário. Os pesquisadores criaram um ambiente simulado baseado em regras reais de compras, onde um agente de IA atuando como um "executor" proporia uma compra, e um segundo agente de IA atuando como um "verificador" decidiria se a aprovaria. O objetivo era ver com que frequência o verificador falharia em impedir uma proposta ruim. A equipe testou diferentes formas de configurar esses dois agentes. Em alguns casos, ambos os agentes usavam o mesmo tipo de modelo de IA. Em outros, usavam modelos diferentes. Eles também testaram se o verificador tinha permissão para ver o raciocínio do executor ou se deveria olhar diretamente para os fatos brutos, e se o verificador teria que confiar nas informações que o executor escolheu destacar ou se poderia acessar os dados originais, sem filtros.
Os resultados foram drásticos. Quando o sistema foi configurado com o mais alto nível de dependência compartilhada — onde ambos os agentes usavam o mesmo modelo de IA, o verificador podia ver o raciocínio do executor e o verificador via apenas as informações selecionadas pelo executor — o sistema de segurança falhou mais de sessenta por cento das vezes. Nestas situações, o segundo agente simplesmente concordava com os erros do primeiro, permitindo que transações inseguras prosseguissem. No entanto, quando os pesquisadores alteraram a configuração para reduzir essas dependências compartilhadas, os resultados melhoraram dramaticamente. Ao usar um modelo de IA diferente para o verificador, ocultar o raciocínio do executor e dar ao verificador acesso direto aos dados de origem, a taxa de falha caiu para pouco mais de treze por cento. Isso significa que ter dois agentes de IA diferentes não é suficiente; a forma como eles estão conectados e o que eles veem importa muito mais do que suas identidades.
O estudo também analisou com que frequência o sistema atrapalhava o bom trabalho. Uma verificação de segurança que rejeita todas as propostas, mesmo as seguras, é inútil porque impede a realização de negócios. Os pesquisadores descobriram que as configurações aprimoradas não causaram este problema. Os sistemas que detectaram mais propostas ruins não rejeitaram significativamente mais propostas boas. Isso sugere que é possível construir verificações de segurança de IA que sejam tanto rigorosas quanto eficientes, desde que sejam projetadas para evitar as armadilhas específicas que as fazem falhar juntas.
Uma das descobertas mais significativas foi sobre como a informação flui entre os dois agentes. A maior melhoria ocorreu quando o verificador recebeu acesso direto às evidências originais, em vez de depender de um resumo fornecido pelo executor. Quando o executor atuava como intermediário para os dados, a taxa de falha era muito maior. Isso indica que o primeiro agente pode, involuntária ou intencionalmente, filtrar justamente os detalhes necessários para detectar um erro. Ao eliminar o intermediário e permitir que o segundo agente visse os fatos brutos, o sistema tornou-se muito mais confiável. Da mesma forma, ocultar a explicação escrita do primeiro agente do segundo ajudou a reduzir os erros, sugerindo que o segundo agente era por vezes influenciado pela confiança ou lógica do primeiro, em vez de se ater aos fatos.
Os pesquisadores também testaram o que acontece quando dois tipos diferentes de modelos de IA são combinados. Eles descobriram que usar um modelo diferente para o verificador reduzia significadamente a chance de ambos falharem na mesma proposta ruim. No entanto, eles foram cuidadosos em notar que este resultado era específico para o par de modelos que utilizaram. Isso não garante que quaisquer dois modelos de IA diferentes sempre funcionarão bem juntos, mas prova que misturar modelos é uma estratégia poderosa para quebrar a cadeia de erros compartilhados. O estudo também destacou um desafio prático: uma das combinações de modelos era mais propensa a falhas técnicas que tornavam suas respostas ilegíveis. Isso lembrou aos pesquisadores que a segurança não trata apenas de inteligência, mas também de confiabilidade. Se uma verificação de segurança não consegue produzir uma resposta clara, ela não pode fazer o seu trabalho.
Em última análise, este trabalho muda a forma como devemos pensar sobre a segurança em sistemas automatizados. Mostra que a antiga regra de "duas pessoas diferentes" não se traduz automaticamente em "dois agentes de IA diferentes". Se os dois agentes forem muito semelhantes na forma como pensam, no que veem ou em como são construídos, eles provavelmente falharão juntos. A verdadeira segurança exige um design deliberado que force o segundo agente a olhar para o problema de um ângulo diferente, usando ferramentas e informações diferentes. O estudo conclui que as organizações não podem simplesmente assumir que suas verificações de segurança de IA estão funcionando porque possuem dois agentes. Elas devem medir o desempenho real dessas verificações, garantindo que o segundo agente seja verdadeiramente independente e capaz de detectar os erros do primeiro. Somente ao tratar a segurança como um resultado mensurável, e não como um rótulo estrutural, poderemos confiar nessas novas e poderosas ferramentas para nossas decisões mais sensíveis.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.