Specifying the Delegated-Autonomy Boundary: Requirements Engineering for Agentic AI
Este artigo aborda os desafios únicos de engenharia de requisitos da IA Agêntica ao introduzir o conceito de uma "fronteira de autonomia delegada" e propor dois artefatos complementares — o Registro de Justificativa de Agência (RJA) e a Política de Delegação Agêntica (PDA) em níveis — para definir, justificar e governar sistematicamente o escopo das decisões delegadas a sistemas autônomos.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você é o capitão de uma nave espacial. Durante a maior parte da história humana, construir uma nave significava escrever um manual de instruções rigoroso: "Se você vir uma luz vermelha, vire à esquerda. Se você vir uma luz azul, vire à direita." A nave era um robô que seguia ordens perfeitamente, mas não conseguia pensar por conta própria. Então, inventamos computadores "inteligentes" que podiam aprender com dados, como um estudante que lê uma biblioteca de livros e adivinha a resposta. Mas mesmo esses computadores inteligentes eram apenas adivinhadores; eles esperavam você fazer uma pergunta para então dar uma resposta. Eles não realmente faziam nada sozinhos.
Agora, estamos entrando em uma nova era com a "IA Agêntica". Pense nisso não como um adivinhador, mas como um novo tipo de membro da tripulação. Este membro da tripulação não apenas espera por ordens; ele pode olhar para um mapa, decidir pegar uma chave de fenda, abrir uma porta, falar com outro membro da tripulação e consertar um vazamento — tudo sem que você lhe diga cada passo. Ele tem um pouco de mente própria. Isso é emocionante, mas também é um pouco assustador. Se você der as chaves da sala de máquinas para um membro da tripulação, como saberá que ele não vai acidentalmente bater a nave? Como você decide o que ele tem permissão para tocar e quando você precisa intervir e assumir o controle? Esta é a grande questão: Como estabelecemos as regras para um robô que pode agir por conta própria?
Este artigo aborda exatamente esse problema. Os autores, Chetan Arora, Andreas Vogelsang e Abbi Sharma, argumentam que estamos construindo esses robôs "agentes" sem escrever as regras de sua liberdade. Em vez de regras claras, estamos escondendo as instruções dentro de códigos de computador bagunçados e comandos vagos. Eles propõem uma nova maneira de projetar esses sistemas usando duas ferramentas especiais: um "Registro de Justificativa" e uma "Política de Delegação".
Primeiro, o Registro de Justificativa de Agência (AJR). Imagine que você está contratando um novo estagiário. Antes de dar a ele as chaves do escritório, você precisa perguntar: "Nós realmente precisamos de um estagiário, ou podemos apenas usar uma máquina de vendas?" O AJR é um checklist que força as equipes a responderem a essa pergunta. Ele pergunta: A tarefa é complexa demais para um script simples? Ela precisa falar com diferentes sistemas? Podemos interromper o estagiário se ele cometer um erro? O artigo sugere que, se você não puder marcar todos os itens desta lista, não deve construir um "agente" de forma alguma. Você deve apenas usar uma ferramenta mais simples e segura. Por exemplo, os autores testaram isso em uma ideia de "revisão de código". Eles descobriram que revisar código é, na verdade, um trabalho muito estruturado com regras claras, então um robô sofisticado e pensante não era necessário; um script simples faria o trabalho melhor e de forma mais segura. O AJR diz: "Não construa um robô se uma calculadora for suficiente."
Mas e se você precisar de um robô? É aí que entra a segunda ferramenta: a Política de Delegação Agêntica (ADP). Isso é como um "Livro de Regras da Liberdade" para o seu membro da tripulação robótico. Em vez de apenas dizer "Vá consertar a nave", a ADP detalha exatamente o que o robô pode e não pode fazer, usando um sistema de níveis de autoridade.
Pense na ADP como um sistema de semáforo para as ações do robô:
- Luz Verde (Nível Autônomo): O robô pode fazer estas coisas sozinho, como ler um mapa ou verificar a temperatura. Nenhum humano precisa observar.
- Luz Amarela (Nível Consultivo): O robô pode sugerir coisas, como "Eu acho que deveríamos trocar o óleo do motor", mas deve esperar que um humano diga "Sim, pode prosseguir" antes de realmente fazê-lo.
- Luz Vermelha (Nível Proibido): Estas são as zonas de "Não Toque". O robô é estritamente proibido de fazer coisas como bater a nave ou deletar arquivos importantes, não importa o quê.
A ADP também cobre outras regras importantes, como:
- Memória: O que o robô pode lembrar? Ele pode guardar segredos sobre pacientes ou códigos, ou deve esquecê-los após o trabalho?
- Trabalho em Equipe: Se o robô ficar confuso ou dois robôs discordarem, quem eles chamam? A ADP diz: "Se você não conseguir resolver em duas tentativas, pare e peça a ajuda de um humano."
- Segurança: Como sabemos se o robô está dizendo a verdade? A política exige que o robô mantenha um registro de tudo o que faz para que os humanos possam verificar mais tarde.
Os autores testaram essas ideias com dois exemplos muito diferentes. O primeiro foi um "Agente de Alta Hospitalar", um robô projetado para ajudar a enviar pacientes para casa do hospital. Este trabalho é complexo, envolve falar com seguradoras e médicos, e carrega um alto risco se algo der errado. O AJR disse: "Sim, este é um trabalho perfeito para um robô", e a ADP deu a ele regras estritas: ele poderia ler prontuários de pacientes (Verde), mas nunca poderia assinar uma ordem de alta sem a aprovação de um médico (Vermelho). O segundo exemplo foi o "Agente de Revisão de Código" mencionado anteriormente. O AJR olhou para ele e disse: "Não, isso é muito simples e estruturado. Não use um robô aqui; use um script."
O artigo não afirma ter resolvido tudo. Ele admite que ainda precisamos descobrir como transformar essas regras escritas em código de computador real que os robôs possam entender, e como testá-las adequadamente. Mas a ideia principal é clara: não podemos simplesmente deixar esses robôs poderosos agirem sem controle. Precisamos parar de esconder as regras no código e começar a escrevê-las claramente, decidindo exatamente quanta liberdade dar e quando retomá-la. Ao usar o AJR para decidir se precisamos de um robô, e a ADP para decidir como deixá-lo agir, podemos construir um futuro onde esses membros da tripulação digitais sejam ajudantes úteis, não elementos imprevisíveis e perigosos.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.