ALARA for Agents: Least-Privilege Context Engineering Through Portable Composable Multi-Agent Teams

Título: ALARA para Agentes: Engenharia de Contexto de Menor Privilégio através de Equipes Multi-Agente Portáteis e Compostas

1. O Problema

O artigo identifica uma lacuna crítica na infraestrutura atual de sistemas multi-agente baseados em Grandes Modelos de Linguagem (LLMs). Embora frameworks existam para orquestrar agentes, a especificação do que os agentes podem fazer (seus limites comportamentais, acesso a ferramentas e coordenação) está fragmentada e depende excessivamente de instruções em texto natural (prosa).

Os principais desafios identificados são:

• Fragmentação de Especificações: As regras de comportamento estão dispersas entre arquivos de instruções em texto (ex: .cursorrules, CLAUDE.md), código de framework interno e servidores MCP. Isso dificulta a manutenção colaborativa, versionamento e compartilhamento.
• Falta de Garantia Estrutural: Instruções em texto dependem da "conformidade interpretativa" do modelo. O modelo pode ignorar, mal interpretar ou esquecer instruções de segurança e limites de ferramentas, especialmente em contextos longos (diluição de atenção).
• Vulnerabilidades de Segurança: O acesso excessivo a ferramentas (over-privilege) cria superfícies de ataque para injeção de prompts. Se um agente tem acesso a uma ferramenta que não precisa, um prompt injetado pode explorá-la.
• Ineficiência de Desempenho: Estudos mostram que a precisão na seleção de ferramentas cai drasticamente (de ~95% para ~25%) à medida que o catálogo de ferramentas cresce, devido à sobrecarga contextual.

O artigo propõe aplicar o princípio ALARA (As Low As Reasonably Achievable), originário da segurança radiológica, ao contexto dos agentes: limitar o acesso a ferramentas e o contexto ao mínimo estritamente necessário para a função do agente.

2. Metodologia e Arquitetura

Os autores introduzem uma camada de dados declarativa chamada CAT (Context-Agent-Tool) e uma ferramenta de linha de comando chamada npcsh. O sistema substitui a configuração baseada em texto por arquivos estruturados que o sistema pode analisar e impor rigidamente.

A arquitetura baseia-se em três tipos de arquivos inter-relacionados:

1. Context Files (Arquivos de Contexto):

   • Operam no nível da equipe.
   • Definem o orquestrador principal e as sub-equipetas.
   • Escopam recursos compartilhados e determinam a hierarquia de agentes.

2. NPC Files (Arquivos de Personagem/Agente):

   • Definem agentes individuais (nome, diretiva em linguagem natural, especificação do modelo e provedor).
   • Crucialmente: Contêm uma lista explícita de "Jinxes" (ferramentas) que o agente tem permissão para usar.
   • Isso impõe o princípio de menor privilégio: se uma ferramenta não está na lista, ela não existe no esquema do agente e não pode ser invocada, independentemente do prompt.

3. Jinxes (Templates de Execução Jinja):

   • São arquivos YAML que definem as ferramentas em si.
   • Especificam nome, descrição, entradas tipadas e uma sequência de passos de execução (usando motores como Python, Bash, LLM ou outros Jinxes).
   • Formam um Grafo Acíclico Direcionado (DAG) de capacidades compostas.
   • Permitem que ferramentas complexas sejam construídas a partir de passos determinísticos, reduzindo a carga interpretativa do modelo para apenas os passos onde a inferência é necessária.
   • Funcionam tanto como ferramentas chamadas por agentes quanto como comandos interativos para humanos.

Execução: O sistema npcsh (shell de linha de comando) lê esses arquivos, constrói o esquema de ferramentas para cada agente e executa as tarefas. Como a especificação é baseada em arquivos no sistema de arquivos, é portátil, versionável e independente de estado interno do framework.

3. Contribuições Principais

• Camada de Dados CAT: Uma abordagem declarativa para engenharia de contexto que substitui instruções de texto por definições estruturadas e enforceáveis.
• Mecanismo de Menor Privilégio Estrutural: Garante que agentes não possam acessar ferramentas fora de sua lista permitida, eliminando a possibilidade de injeção de prompts explorando ferramentas não autorizadas.
• npcsh: Um shell e framework open-source que implementa essa arquitetura, permitindo a execução de equipes multi-agente compostas e portáteis.
• Benchmark Abrangente: Criação de um conjunto de testes com 115 tarefas práticas cobrindo operações de arquivo, busca na web, scripting multi-etapa, encadeamento de ferramentas e delegação multi-agente.

4. Resultados Experimentais

Os autores avaliaram 22 modelos locais (de 0.6B a 35B parâmetros) em 2.530 execuções de tarefas.

• Desempenho por Família vs. Tamanho:

  • Diferenças entre famílias de modelos dominam o desempenho, superando o efeito do aumento de parâmetros dentro da mesma família.
  • Modelos treinados especificamente para uso de ferramentas (ex: Qwen3.5) atingem pontuações de 88% com 35B parâmetros, enquanto modelos não otimizados falham em atingir esses níveis mesmo com tamanhos maiores.
  • Modelos abaixo de 3B parâmetros têm dificuldade em sequenciar operações multi-etapa, embora consigam selecionar ferramentas isoladas.

• Correlações Chave:

  • Inteligência vs. Agência: Há uma correlação linear forte (r ≈ 0.8) entre pontuação no MMLU (inteligência geral) e desempenho em tarefas de agente. No entanto, outliers mostram que o treinamento para uso de ferramentas é uma capacidade distinta.
  • Volume de Chamadas de Ferramentas: O número médio de chamadas de ferramentas por tarefa é o preditor mais forte de sucesso (r ≈ 0.7), superando a duração da tarefa ou o número de tentativas. Modelos de alto desempenho usam mais ferramentas de forma eficiente, não apenas tentando mais vezes.

• Análise de Tarefas e Recuperação (Retry):

  • Sucesso na Primeira Tentativa: ~80% das tarefas bem-sucedidas são concluídas na primeira tentativa.
  • Valor do Retry: O ganho ao re tentar varia drasticamente por categoria.
    • Busca na Web: +21% de ganho com retries.
    • Delegação: Apenas +3% de ganho.
  • Falha em Delegação: A delegação é a categoria mais difícil para todos os modelos. O baixo ganho com retries sugere que o acúmulo de contexto de falhas anteriores degrada o desempenho (perda de histórico de conversa), indicando que reiniciar com um contexto limpo é mais eficaz do que tentar corrigir no mesmo fluxo.

• Categorias de Dificuldade: Operações de arquivo e shell são as mais fáceis (75-80% de sucesso), enquanto delegação e scripting complexo são as mais difíceis (20-30%).

5. Significado e Conclusão

O trabalho demonstra que a confiabilidade de agentes não é apenas uma função da capacidade do modelo, mas sim do design da infraestrutura de orquestração.

• Segurança e Confiabilidade: Ao mover a definição de limites de ferramentas de instruções em texto (interpretáveis) para arquivos estruturados (enforceáveis), o sistema elimina uma classe inteira de falhas de segurança e comportamento indesejado.
• Eficiência Operacional: A abordagem de "menor privilégio" melhora a precisão do modelo ao reduzir o ruído no contexto (catálogo de ferramentas menor).
• Gerenciamento de Ciclo de Vida: A organização baseada em arquivos de sistema de arquivos (IaC - Infrastructure as Code) facilita a manutenção, colaboração e auditoria de sistemas multi-agente, algo que frameworks baseados em estado interno não oferecem.
• Descoberta Crítica: A pesquisa revela que a "agência" (capacidade de usar ferramentas) é uma habilidade treinada distinta da inteligência geral, e que a delegação entre agentes é atualmente um ponto de falha significativo devido a problemas de especificação e design, não apenas de capacidade do modelo.

O framework e o benchmark são de código aberto, permitindo que a comunidade reproduza e expanda esses resultados, focando na engenharia de contexto estruturada como um pilar fundamental para a automação segura e escalável.