Traversal-as-Policy: Log-Distilled Gated Behavior Trees as Externalized, Verifiable Policies for Safe, Robust, and Efficient Agents

Het artikel introduceert Traversal-as-Policy, een methode die OpenHands-uitvoeringslogs distilleert tot een uitvoerbaar, verifieerbaar Gated Behavior Tree-beleid dat autonome agents veiliger, robuuster en efficiënter maakt door het onbeperkte genereren te vervangen door gestructureerde boomtraversie met deterministische veiligheidscontroles.

De kern

Stel je voor dat je een zeer slimme, maar soms wat onvoorspelbare robot hebt die je wilt helpen met complexe taken, zoals het repareren van software, het navigeren door websites of het oplossen van moeilijke raadsels. Het probleem is dat deze robot (een AI-agent) vaak "droomt" terwijl hij werkt: hij bedenkt zijn eigen stappen onderweg, wat soms leidt tot fouten, veiligheidsrisico's of dat hij vastloopt in een cirkel van gedachten.

Dit artikel introduceert een nieuwe manier om deze robots te sturen, genaamd "Traversal-as-Policy" (of: "Het doorlopen van een pad als regie").

Hier is de uitleg in simpele taal, met behulp van analogieën:

1. Het Probleem: De "Dromer" vs. De "Gids"

Normaal gesproken laat je de AI vrij om te denken: "Oké, ik moet dit bestand vinden, dan dit bestand openen, dan dit commando draaien..." De AI bedenkt elke stap live. Dit werkt soms goed, maar vaak maakt hij fouten, vergeet hij dingen of doet hij iets gevaarlijks (zoals per ongeluk een belangrijk bestand wissen).

De oplossing van dit artikel:
In plaats van de AI vrij te laten dromen, bouwen we eerst een fysieke kaart (een "Gated Behavior Tree" of GBT) op basis van duizenden eerdere, succesvolle reizen die de AI heeft gemaakt.

• De Analogie: Stel je voor dat je een reiziger bent in een groot, donker bos.
  • De oude manier: De reiziger loopt blindelings en hoopt dat hij de weg vindt. Als hij een afgrond ziet, hoopt hij dat hij niet valt.
  • De nieuwe manier: We hebben een kaart getekend van alle veilige paden die anderen al hebben gelopen. De reiziger mag alleen lopen op de paden die op de kaart staan.

2. De Kaart: De "Gated Behavior Tree" (GBT)

Deze kaart is geen gewone lijst, maar een slimme boomstructuur.

• De Takken (Macros): In plaats van elke kleine stap (zoals "klik hier") te noteren, groeperen we stappen in logische blokken, zoals "Zoek het bestand" of "Repareer de fout". Dit zijn de takken op de boom.
• De Poorten (Gates): Dit is het veiligheidsmechanisme. Op elke tak van de boom zit een poortwachter.
  • De Analogie: Stel je voor dat je door een beveiligde fabriek loopt. Bij elke deur (tak) staat een bewaker. De bewaker kijkt niet naar wat je zegt (want je kunt liegen of verwarren), maar kijkt alleen naar de feitelijke gegevens (bijv. "Is dit bestand een systeembestand?" of "Is dit adres een bekend virus?").
  • Als de poortwachter ziet dat iets gevaarlijk is, gaat de deur dicht. De AI mag niet verder. Dit gebeurt voordat de actie wordt uitgevoerd.

3. Hoe het werkt: Van Chaos naar Orde

Het proces heeft drie hoofdfasen:

Fase A: Het Leren van de Geschiedenis (Offline)
De onderzoekers nemen duizenden logs (verslagen) van AI's die eerder succesvol werkten. Ze kijken naar wat er goed ging en maken daar de "takken" van de boom van.
Ze kijken ook naar wat er fout ging. Als een AI iets gevaarlijks deed, analyseren ze precies waarom en maken ze een nieuwe poortwachter (een regel) die dit specifieke gevaar in de toekomst blokkeert.

• Belangrijke regel: Als een poortwachter een situatie als "gevaarlijk" heeft gemarkeerd, mag die situatie nooit weer open gaan. Het is als een spookhuis: als je een keer een geest hebt gezien, blijft de deur naar die kamer voor altijd dicht.

Fase B: De Reis (Online)
Nu gaat de AI aan het werk.

1. De Router: De AI kijkt naar de taak en zegt: "Ah, dit lijkt op een software-reparatie." De kaart stuurt de AI naar de juiste tak van de boom.
2. Het Volgen van de Kaart: De AI mag niet zelf bedenken wat de volgende stap is. Hij moet kijken naar de kaart en zeggen: "Ik wil naar tak X."
3. De Poortwachters: Voordat de AI de stap zet, checken de poortwachters: "Is dit veilig?"
   • Ja? Dan mag de AI de stap zetten.
   • Nee? Dan wordt de stap geblokkeerd en moet de AI een andere, veilige route kiezen.
4. De Spine (Ruggengraat): In plaats van de hele conversatie te onthouden (wat veel ruimte kost en verwarrend is), onthoudt de AI alleen de "ruggengraat" van de reis: welke takken heeft hij al gelopen? Dit maakt hem veel sneller en efficiënter.

Fase C: Als het vastloopt (Herstel)
Als de AI vastloopt (bijvoorbeeld omdat een deur dichtzit), zoekt de kaart automatisch de kortste, veiligste route naar een succesvol einddoel. Het is alsof je een GPS hebt die zegt: "Je bent vastgelopen, maar er is een omweg die veilig is en je toch naar je bestemming brengt."

4. Waarom is dit zo cool?

• Veiligheid: De AI kan niet meer "dromen" over gevaarlijke dingen. De poortwachters blokkeren gevaar voordat het gebeurt.
• Betrouwbaarheid: Omdat de AI een vaste kaart volgt, doet hij minder rare dingen. Hij is minder "dwaas".
• Kosten: Omdat hij minder hoeft na te denken en minder tekst hoeft te onthouden, is het veel goedkoper en sneller.
• Kleine AI's kunnen grote taken: Het artikel toont aan dat zelfs een klein, simpel AI-model (zoals een 8-miljard parameter model) net zo goed kan presteren als een gigantisch model, zolang het maar deze slimme kaart gebruikt. De "slimheid" zit dan in de kaart, niet in de hersenen van de AI.

Samenvattend

Stel je voor dat je een kind leert fietsen.

• De oude manier: Je laat het kind vrij fietsen en hoopt dat het niet in de gracht valt.
• De nieuwe manier (Traversal-as-Policy): Je bouwt een fietspad met hoge hekken (de poorten) en duidelijke borden (de takken). Het kind mag alleen op het pad fietsen. Als het kind probeert het hek over te steken, stopt het hek hem. Als het kind vastloopt, wijst een bord de weg naar een veilige omweg.

Het resultaat? Het kind (de AI) komt veiliger, sneller en betrouwbaarder bij zijn bestemming aan, zonder dat je de hersenen van het kind zelf hoeft te herschrijven. Je hebt gewoon een betere kaart en betere hekken gebouwd.

Technische samenvatting

1. Het Probleem

Autonome agents op basis van Large Language Models (LLM's) worden steeds vaker ingezet voor complexe, langdurige taken (zoals software-patches, webnavigatie en toolgebruik). Echter, de huidige aanpak heeft drie fundamentele tekortkomingen:

• Impliciete Beleid: Het beleid van een agent zit "ingebakken" in de modelgewichten en de transcrieren (transcripts) van het gesprek. Dit maakt het beleid ondoorzichtig, moeilijk te debuggen en lastig te certificeren.
• Nabewerkte Veiligheid: Veiligheid wordt vaak pas achteraf toegevoegd (post-hoc) via "guardrails" of validators die handelen controleren nadat de agent een actie heeft voorgesteld. Dit is reactief en kan niet voorkomen dat de agent in gevaarlijke patronen terechtkomt.
• Drift en Kosten: Langdurige taken leiden vaak tot "policy drift" (de agent raakt de oorspronkelijke intentie kwijt) en hoge kosten door het herhalen van lange transcrieren in de context van het model.

2. Methodologie: Traversal-as-Policy

De auteurs stellen Traversal-as-Policy voor: een raamwerk dat uitvoeringslogs distilleert tot een extern, uitvoerbaar artefact genaamd een Gated Behavior Tree (GBT). In plaats van dat de LLM vrij genereert, wordt de agent bestuurd door doorlopen (traversal) van deze boom.

Het proces verloopt in drie fasen:

A. Offline Distillatie (Zonder Training)

1. Log-analyse: Uitvoeringslogs van gesandboxde agents (OpenHands) worden geanalyseerd.
2. Macro-extractie: Een "Behavior Path Extractor" splitst ruwe tool-aanroepen in Macros. Een macro is een samenhangende reeks van primitieve tool-aanroepen die een specifieke intentie uitvoert (bijv. "inspecteer de falende test en open het bestand").
3. Boomconstructie: Succesvolle paden worden samengevoegd tot één boomstructuur. Een strikte "merge-discipline" voorkomt semantische aliasing (verwarring tussen verschillende taken).
4. Veiligheidsgates: Onveilige logs worden teruggespeeld en verkleind tot minimale "onveilige vensters". Uit deze context worden deterministische pre-execution gates gegenereerd.
   • Deze gates werken op gestructureerde context (bijv. bestandspaden, proces-ID's, netwerkbestemmingen) en niet op vrije tekst.
   • Ze zijn monotoon: eenmaal als onveilig gemarkeerde context kan nooit meer worden toegelaten (geen "silent regression").

B. Online Deployement (Traverseren als Beleid)

Tijdens de uitvoering fungeert een lichte GBT-Traverser als wrapper rond de basis-LLM:

• Routing: De taak wordt toegewezen aan een tak in de boom (een "task family").
• Plan-Match-Advance: De LLM stelt een intentie voor. De traverser matcht deze met een kind-node in de boom.
  • Hoge zekerheid: Voer de macro uit.
  • Lage zekerheid: Abstain (stop met besturing) of voer veilige exploratie uit.
• Gated Executie: Voordat een primitieve tool-aanroep wordt uitgevoerd, wordt deze gecontroleerd door globale en node-lokale gates. Als een gate faalt, wordt de actie geblokkeerd en wordt de LLM heropgeroepen.
• Herstel (Recovery): Als de agent vastloopt (stall), zoekt de traverser via een risicobewuste kortste-paden-algoritme (Dijkstra) een alternatief pad naar een succesblad binnen de boom.
• Spine Memory: In plaats van het volledige transcript te onthouden, onthoudt de agent alleen het pad van bezochte macros (de "spine"). Dit vermindert de contextgrootte drastisch.

C. Zelf-evolutie (GBT-SE)

Het systeem kan zichzelf verbeteren op basis van fouten, maar strikt binnen veiligheidsinvarianten:

• Fouten worden geanalyseerd en vergeleken met analoge succesvolle paden.
• Nieuwe kinderen (successors) kunnen worden toegevoegd aan de boom.
• Cruciaal: Gates worden nooit verwijderd of versoepeld. Alle wijzigingen worden getest tegen historische onveilige data om te garanderen dat geen enkele eerder geblokkeerde context opnieuw wordt toegelaten.

3. Belangrijkste Bijdragen

1. Externe Beleid-artefacten: Het externaliseren van langdurig agent-beleid naar een inspecteerbare, uitvoerbare boom (GBT), losgekoppeld van de modelgewichten.
2. Ervaringsgebaseerde, Deterministische Veiligheid: Het compileren van onveilige logs naar pre-execution gates die puur op gestructureerde data draaien, waardoor prompt-hacking wordt voorkomen.
3. Unificatie van Veiligheid en Efficiëntie: Het systeem verbetert niet alleen de veiligheid, maar verhoogt ook het succespercentage en verlaagt de kosten (tokens/tekens) door drift te voorkomen en transcrieren te vervangen door compacte spines.
4. Ontkoppeling van Redenering en Uitvoering: Zware redenering vindt offline plaats om de boom te bouwen; online kunnen kleinere modellen (bijv. 8B parameters) de boom effectief traverseren met hoge prestaties.

4. Resultaten

Het systeem is geëvalueerd op meer dan 15 benchmarks, waaronder SWE-bench Verified (software engineering), WebArena (webnavigatie) en GPQA (redeneren).

• Succesverbetering:
  • Op SWE-bench Verified steeg het succespercentage van 34,6% (native agent) naar 73,6% (met GBT-SE).
  • Op WebArena steeg het succes van 19,7% naar 66,9%.
  • Op GPQA steeg de nauwkeurigheid van 58,7% naar 87,3%.
• Veiligheid:
  • Het aantal schendingen (violations) daalde drastisch: van 2,8% naar 0,2% op SWE-bench.
  • "Onveilig succes" (een taak voltooien maar met een schending) werd gereduceerd naar 0,0%.
• Efficiëntie:
  • Het gebruik van tokens en karakters werd met ongeveer 40-50% gereduceerd (bijv. van 208k tokens naar 126k tokens op SWE-bench) door het gebruik van Spine Memory en het vermijden van drift.
• Kleine Modellen:
  • Met dezelfde gedistilleerde boom konden 8B-modellen (zoals Llama-3-8B en Qwen3-VL-8B) hun prestaties verdubbelen of verdrievoudigen, wat aantoont dat de boom het "intelligentie"-deel van het beleid vervangt.

5. Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in de ontwikkeling van AI-agents:

• Van "Black Box" naar "Verifieerbaar": Agents worden niet langer gezien als ondoorzichtige generatoren, maar als systemen die werken volgens een expliciet, testbaar en debugbaar beleid.
• Operationele Veiligheid: Veiligheid wordt niet langer een aspiratie of een achteraf filter, maar een pre-executie contract. Dit maakt agents veel robuuster tegen manipulatie en fouten.
• Kosten en Toegankelijkheid: Door het beleid te externaliseren, kunnen kleinere, goedkopere modellen worden gebruikt voor complexe taken, zolang ze maar onder toezicht staan van een goed ontworpen GBT. Dit opent de deur voor veilige, schaalbare agenten in resource-beperkte omgevingen.

Kortom, Traversal-as-Policy bewijst dat het distilleren van ervaring in een gestructureerde, deterministische boom de betrouwbaarheid, veiligheid en efficiëntie van autonome agents fundamenteel kan verbeteren zonder de modelarchitectuur zelf te hoeven aanpassen.