Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents

O artigo propõe o "Traversal-as-Policy", um método que distila logs de execução em Árvores de Comportamento Portãoizadas (GBTs) executáveis para substituir a geração livre de LLMs por uma política de controle verificável e segura, demonstrando melhorias significativas em taxas de sucesso, redução de violações e eficiência de custos em benchmarks como SWE-bench Verified e WebArena.

O essencial

Imagine que você está tentando ensinar um robô superinteligente (uma Inteligência Artificial) a fazer tarefas complexas, como consertar um software, navegar em sites ou resolver problemas de lógica. O problema é que, até agora, esses robôs agiam como se estivessem "adivinhando" o que fazer a cada segundo, baseados em um monte de regras vagas e memórias que eles mesmos criavam no momento. Isso levava a dois grandes problemas: eles cometiam erros de segurança (fazendo coisas perigosas) e se perdiam em tarefas longas (esquecendo o objetivo inicial).

Este artigo apresenta uma solução chamada "Traversal-as-Policy" (que podemos traduzir como "Navegação como Regra").

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Problema: O "Piloto Automático" que Adivinha

Pense no agente de IA atual como um piloto de avião que nunca estudou um manual. Ele voa bem em dias tranquilos, mas quando surge uma tempestade (uma tarefa difícil), ele começa a adivinhar o que fazer. Ele olha para fora da janela, tenta lembrar de voos anteriores e, às vezes, esquece que não deve voar sobre áreas proibidas (segurança). Se ele errar, ninguém sabe exatamente por que ele tomou aquela decisão, porque tudo estava "na cabeça" dele (nos pesos do modelo).

2. A Solução: O "Mapa de Trilhos" (GBT)

Os autores propõem parar de deixar o robô adivinhar e, em vez disso, dar a ele um Mapa de Trilhos pré-construído.

• A Mineração de Logs (O Treinamento): Eles pegam milhares de gravações de robôs bem-sucedidos (e alguns que falharam de forma perigosa) e transformam essas histórias em um Árvore de Comportamento Gated (GBT).
  • Analogia: Imagine que você pega milhares de vídeos de cozinheiros excelentes preparando um bolo. Em vez de deixar o robô tentar adivinhar a receita, você cria um livro de receitas passo a passo, onde cada passo é um "macro" (um bloco de ação, como "bater os ovos" ou "assinar o bolo").
• O Mapa é Externo: Esse mapa não fica "dentro" da mente do robô. É um objeto separado, visível e verificável. Se você quiser mudar a regra, você edita o mapa, não a mente do robô.

3. Os "Guardiões" (Gates)

A parte mais brilhante é a segurança. No mapa, em cada passo que envolve algo perigoso (como apagar um arquivo ou enviar um e-mail), existe um Guardião (um "Gate").

• Analogia: Imagine que o robô é um funcionário tentando entrar em um cofre. Antes de ele poder apertar o botão "Abrir Cofre", ele precisa passar por um scanner de segurança.
  • O scanner não olha o que o robô diz que vai fazer (ele pode mentir).
  • O scanner olha os fatos concretos: "Qual é o nome do arquivo?", "De onde veio o comando?", "Quem pediu?".
  • Se o scanner detectar algo suspeito (baseado em erros que já aconteceram antes), ele bloqueia o botão imediatamente.
  • Regra de Ouro: Uma vez que o scanner bloqueou um tipo de ação perigosa, ele nunca mais vai permitir aquela mesma ação, mesmo que o robô tente mudar a história. Isso impede que o robô "aprenda" a burlar a segurança.

4. A Navegação (Traversal)

Quando o robô precisa fazer uma tarefa:

1. Ele olha para o Mapa de Trilhos.
2. Ele tenta seguir o caminho que leva ao sucesso.
3. Ele só pode fazer um passo de cada vez (um "macro").
4. Antes de cada passo, o Guardião verifica se é seguro.
5. Se o robô ficar preso (travado), o sistema não deixa ele ficar girando em círculos. Em vez disso, ele usa um "GPS de Risco" para encontrar o caminho mais curto e seguro de volta para a saída (o sucesso).

5. A Memória Compacta (Spine Memory)

Robôs normais tentam lembrar de tudo o que aconteceu desde o início da conversa (o "roteiro" inteiro). Isso deixa a memória cheia e confusa.

• A Solução: O novo sistema usa uma Coluna Vertebral (Spine). Em vez de lembrar de cada palavra dita, ele lembra apenas da lista de passos principais que já foram dados no mapa.
• Analogia: Em vez de ler todo o diário de viagem de 100 páginas para saber onde você está, você só olha para o carimbo no passaporte que diz: "Você já passou pela Fronteira A e pela Fronteira B". Isso economiza muita energia e evita confusão.

6. Evolução Segura (Self-Evolution)

O sistema pode aprender com seus erros e melhorar o mapa, mas com uma regra rígida:

• Ele pode adicionar novos caminhos para o sucesso.
• Ele pode adicionar mais guardiões para bloquear novos tipos de perigo.
• Ele NUNCA pode remover um guardião ou permitir uma ação que antes foi bloqueada como perigosa. É como um sistema de imunidade: uma vez que o corpo aprendeu a combater um vírus, ele nunca esquece.

Por que isso é incrível?

• Segurança Real: A segurança não é mais uma "sugestão" que o robô pode ignorar. É uma trava física no mapa que só abre se as condições forem seguras.
• Menos Custo: Como o robô não precisa "pensar" tanto (adivinhar o caminho), ele usa menos energia e processamento.
• Robôs Pequenos Podem Fazer Tarefas Grandes: Como o "cérebro" (o mapa e as regras) já está pronto e seguro, você pode usar um robô menor e mais barato para executar as tarefas, desde que ele siga o mapa. É como dar um GPS de alta precisão a um carro pequeno: ele chega ao destino tão bem quanto um carro de luxo, porque o caminho já foi traçado.

Resumo Final:
Em vez de deixar a IA "sonhar" com o que fazer, os autores transformaram a experiência passada em um manual de instruções seguro e verificável. A IA agora é como um trem que só pode andar nos trilhos (o mapa) e só passa nas estações onde o guarda de segurança (o gate) deu o sinal verde. Isso torna a IA mais segura, mais barata e muito mais confiável.

Resumo técnico

1. O Problema

Os agentes autônomos baseados em Grandes Modelos de Linguagem (LLMs) enfrentam desafios críticos em tarefas de longo horizonte (long-horizon):

• Política Implícita e Frágil: O comportamento do agente é geralmente uma mistura implícita de pesos do modelo, prompts e transcrições de conversas (logs). Isso torna a política difícil de depurar, auditar ou certificar.
• Segurança "Retroativa" (Post-hoc): A segurança é frequentemente aplicada após a geração da ação (via validadores ou "guardians"), o que é ineficiente e não previne a exploração de falhas de longo prazo.
• Deriva de Longo Prazo: À medida que as transcrições crescem, os agentes tendem a perder o foco, repetir erros ou entrar em loops, aumentando o custo computacional e a taxa de falhas.
• Falta de Objetos de Controle Reutilizáveis: Avanços anteriores (como Tree-of-Thoughts ou Reflexion) ainda dependem de geração livre e não compilam o conhecimento em um artefato executável e verificável.

2. Metodologia: Traversal-as-Policy

O artigo propõe uma mudança de paradigma: em vez de gerar ações livremente, o agente deve seguir uma política explícita e executável derivada de logs de execução anteriores. O núcleo dessa abordagem é o GBT (Gated Behavior Tree - Árvore de Comportamento Porteira).

O processo divide-se em três fases principais:

A. Distilação Offline (Sem Treinamento)

1. Extração de Macros: Logs de execução sandboxed (OpenHands) são analisados para extrair "macros" de ação. Uma macro é um segmento contínuo de chamadas de ferramentas primitivas que realizam uma intenção coerente dentro de uma região local do ambiente (ex: "inspecionar teste falho e abrir arquivo").
2. Construção da Árvore: As trajetórias bem-sucedidas são fundidas em uma única árvore de comportamento. Um sistema de verificação de "assinatura" garante que macros semanticamente diferentes não sejam fundidas erroneamente (evitando aliasing semântico), especialmente em nós críticos de segurança.
3. Síntese de Portas (Gates): Trajetórias inseguras são reexecutadas e reduzidas a "janelas mínimas de violação". Os contextos estruturados dessas violações são usados para sintetizar portas determinísticas (gates) pré-execução.
   • Contexto Estruturado: As portas não leem resumos de LLM (que podem ser manipulados), mas sim campos estruturados extraídos diretamente do estado do sandbox (tipo de ferramenta, parâmetros, caminhos de arquivo, metadados de processo, histórico limitado).
   • Monotonicidade Baseada em Experiência: Uma vez que um contexto estruturado é rejeitado por uma porta, ele nunca pode ser re-admitido em atualizações futuras. Isso garante que a segurança não regresse silenciosamente.

B. Implantação Online (Traversal-as-Policy)

Durante a execução, um GBT-Traverser (navegador) envolve o LLM base:

1. Roteamento e Cobertura: O sistema verifica se a tarefa atual se enquadra em uma "família" de tarefas coberta pela árvore. Se a confiança for baixa (covered=0), o sistema abstém-se de controlar o longo prazo e depende apenas de guardrails primitivos.
2. Navegação e Correspondência: O LLM propõe a próxima intenção de macro. O traverser mapeia essa intenção para os filhos da árvore. Se a correspondência for alta, a macro é executada.
3. Execução com Portas: Antes de executar qualquer primitivo de alto risco, o sistema verifica as Portas Globais (sempre ativas) e Portas Locais (específicas do nó da árvore). Se uma porta falhar, a ação é bloqueada e o LLM é reconvocado.
4. Memória Espinha (Spine Memory): Em vez de replayar toda a transcrição, o sistema mantém apenas o "esqueleto" da árvore percorrida (macros visitadas), reduzindo drasticamente o contexto e o custo.
5. Recuperação: Se o agente travar, o sistema executa uma busca de caminho mais curto (Dijkstra) na árvore, ponderada pelo risco, para encontrar uma folha de sucesso viável.

C. Auto-Evolução Segura (GBT-SE)

O sistema pode evoluir offline ao analisar falhas cobertas:

• Identifica o nó onde a decisão divergiu.
• Recupera sucessos analógicos e importa novos filhos para a árvore.
• Restrição Crítica: A auto-evolução pode adicionar nós ou atualizar estatísticas, mas nunca pode deletar ou relaxar portas de segurança. Todas as edições passam por testes de regressão para garantir que violações históricas permaneçam bloqueadas.

3. Contribuições Principais

1. Política como Artefato Externo: Externaliza o controle de longo prazo para um objeto executável (GBT) independente dos pesos do modelo, permitindo auditoria e depuração.
2. Segurança Determinística Pré-Execução: Compila violações em portas lógicas sobre contextos estruturados, eliminando a dependência de resumos de linguagem natural para segurança e prevenindo ataques de prompt injection.
3. Monotonicidade de Segurança: Garante matematicamente que a segurança não regredirá com o tempo, pois contextos inseguros rejeitados permanecem rejeitados.
4. Desacoplamento de Raciocínio e Execução: Permite que modelos pequenos (ex: 8B) executem tarefas complexas com alto desempenho, desde que sigam a política externa, enquanto o raciocínio pesado ocorre offline na construção da árvore.

4. Resultados Experimentais

Os resultados foram avaliados em mais de 15 benchmarks integrados ao OpenHands, focando em Engenharia de Software (SWE-bench), Navegação Web (WebArena) e Raciocínio (GPQA).

• SWE-bench Verified:
  • A taxa de sucesso aumentou de 34,6% (agente nativo) para 73,6% (com GBT-SE).
  • Violações de segurança caíram de 2,8% para 0,2%.
  • Sucesso inseguro (sucesso com violação) caiu para 0,0%.
  • Redução de custo: Tokens/Caracteres reduzidos de 208k/820k para 126k/490k.
• WebArena:
  • Sucesso aumentou de 19,7% para 66,9%.
  • Violações reduzidas de 3,4% para 0,2%.
• GPQA (Raciocínio):
  • Precisão aumentou de 58,7% para 87,3%, mantendo violações próximas de zero.
• Desacoplamento de Executor:
  • Modelos pequenos (Llama-3-8B e Qwen3-VL-8B) usando a mesma árvore GBT distilada superaram significativamente seus desempenhos nativos, dobrando ou triplicando as taxas de sucesso (ex: Qwen3-8B em SWE-bench: 14,0% → 58,8%).

5. Significado e Impacto

O trabalho representa uma mudança fundamental na arquitetura de agentes autônomos:

• De "Gerador" para "Controlador Verificável": Transforma o comportamento do agente de uma caixa preta baseada em probabilidade para um controlador baseado em regras e logs, que pode ser inspecionado e testado.
• Segurança Operacional: Move a segurança de uma camada reativa para uma camada preventiva e determinística, baseada em dados reais de falhas, não apenas em regras humanas genéricas.
• Eficiência Econômica e Ambiental: Ao reduzir a deriva de contexto e substituir transcrições longas por uma "memória espinha" compacta, o método reduz drasticamente o custo de inferência e o uso de energia.
• Escalabilidade: Demonstra que a inteligência de longo prazo não precisa residir nos pesos do modelo, permitindo o uso de modelos menores e mais baratos em produção, desde que supervisionados por uma política externa robusta.

Em resumo, o Traversal-as-Policy oferece um caminho prático para agentes de IA que são simultaneamente mais inteligentes, mais seguros e mais baratos, ao tratar o comportamento como um artefato de software explícito e evolutivo.