Technische Samenvatting: Declaratieve Vaardigheden voor AI-agenten in Kennisgestuurde Tool-gebruik Workflows

Probleemstelling

Het artikel behandelt de orchestratie van AI-agenten in realistische, complexe klantenservice-workflows die steunen op ongestructureerde kennisbanken (KB's). Specifiek richten de auteurs zich op de $\tau$-Knowledge benchmark, een domein dat betrekking heeft op fintech-klantenservice waarbij agenten drie onderscheidende competenties moeten bezitten: conversationele interactie, procedurele taakuitvoering (volgordebeperkingen, verificaties) en redeneren over opgehaalde documenten.

De kernuitdaging is dat agenten de capaciteiten van tools en procedurele regels binnen een grote, ongestructureerde KB moeten ontdekken (bijv. ontdekken dat "bankrekening sluiten" een specifieke willekeurige suffix en preconditions vereist) voordat ze deze kunnen uitvoeren. De omgeving wordt gemodelleerd als een Decentralised Partially-Observable Markov Decision Process (Dec-POMDP), waarbij de agent een onvolledig beeld heeft van de database-status en moet vertrouwen op tool-outputs en gebruikersberichten om een doelstatus te bereiken. De auteurs stellen vast dat huidige agenten moeite hebben met:

1. Complexe afhankelijkheden die multi-hop redeneren vereisen.
2. Het niet respecteren van impliciete subtaakvolgordes (bijv. identiteit verifiëren vóór het wijzigen van gegevens).
3. Te veel vertrouwen op gebruikersbeweringen zonder tool-verificatie.
4. Inefficiënt zoeken en ongegronde aannames.

Methodologie

De studie vergelijkt drie verschillende beleidsklassen (orchestratieparadigma's) geïnstantieerd over vijf Large Language Models (LLM's) onder twee retrieval-regimes (Golden retrieval en Embedding-gebaseerde retrieval).

1. Baseline Agent ($\pi_B$)

Een standaard ongescaffolded LLM-agent die alleen wordt geconditioneerd op een statische systeemprompt en conversatiegeschiedenis. Deze heeft geen expliciete control flow of procedurele priors.

2. Declaratieve Agent ($\pi_D$)

Deze agent breidt de baseline uit door natuurlijke taal vaardigheidsbestanden (skill files) toe te voegen aan de systeemprompt. Deze bestanden fungeren als een procedurele prior en beschrijven:

• Bankprocedures: Pre-conditions, vereisten voor tool-ontdekking en volgordebeperkingen (bijv. "verhoging kredietlimiet vereist geen lopende geschillen").
• Klantinteractie: Een beschrijvende vierstaps-conversatiestructuur (Groet, Triage, Verificatie, Actie).
• Kennisontdekking: Strategieën voor het doorzoeken van de KB, waarbij de nadruk ligt op het feit dat tool-ontdekking een harde precondition is voor status-veranderende tools.
  De LLM leest deze bestanden tijdens runtime en beslist dynamisch over de workflow, tools en verificatiestrategie zonder een expliciete state machine.

3. Imperatieve Agent ($\pi_I$)

Deze agent implementeert een deterministische eindige toestandsmachine (geëxternaliseerde controle). Het dwingt een rigide fasegrafiek af: Groet $\to$ Triage $\to$ Verificatie $\to$ Planning $\to$ Executie $\to$ Bevestiging.

• Control Flow: Fase-transities worden berekend door code, niet door de LLM.
• Restricties: De actieruimte is beperkt in elke beurt ($A_{\phi_t} \subset A$). Bijvoorbeeld: status-muterende tools zijn alleen toegestaan in de Executie-fase, die wordt afgeschermd door een succesvolle Verificatie-flag.
• Mechanismen: Omvat expliciete taak-queues (Kahn's algoritme voor topologische sortering), per-tool retry-policies met deterministische escalatie naar een Escalatie-fase, en strikte handhaving van responstypen.

Theoretisch Kader

De auteurs formaliseren de agenten binnen het Dec-POMDP-raamwerk en stellen vier theoretische proposities voor:

• Prop 1: Vaardigheidsbestanden bieden een informatievoordeel (het verminderen van de conditionele entropie van acties) voor modellen met een procedurele competentiekloof.
• Prop 2: Imperatieve restrictie verkleint de beleidsklasse; succes hangt af van de vraag of de winst in naleving (compliance) de afname van modelcapaciteit kan compenseren.
• Prop 3: Imperatieve agenten zouden de kosten moeten verlagen door de trajectlengte te beperken via retry-limieten.
• Prop 4: Retrieval-ruis degradeert het observatiekanaal; als het kanaal te ruisachtig is, stort het voordeel van vaardigheidsbestanden in.

Belangrijkste Resultaten

1. Impact van Orchestratie op Prestaties

• Declaratief Voordeel: Onder Golden Retrieval (hoogwaardig bewijs) presteerde de DeclarativeAgent consistent beter dan de Baseline op vier van de vijf modellen, waarbij de winst schaalt met de procedurele competentiekloof van het model. Het verbeterde de Pass1 (taaksucces) en de Write-Argument Accuracy.
• Imperatieve Onderprestatie: De ImperativeAgent presteerde slechter dan de Baseline over alle modellen en retrieval-instellingen heen. De restrictie van de actieruimte verminderde de capaciteit van het model om taken op te lossen, zonder voldoende compliance-voordelen te bieden om het verlies aan modelcapaciteit te compenseren.
• Retrieval als Bottleneck: Onder Embedding Retrieval (ruisachtig) daalde de prestatie scherp voor alle agenten. Het voordeel van de DeclarativeAgent stortte in voor zwakkere modellen, wat bevestigt dat vaardigheidsbestanden fundamenteel onjuist of ontbrekend bewijs niet kunnen compenseren.

2. Compliance en Efficiëntie

In tegenstelling tot de hypothese dat deterministische poorten de veiligheid verbeteren:

• Ongeautoriseerde Writes: De ImperativeAgent verminderde de snelheid van ongeautoriseerde writes (schrijven vóór verificatie) niet ten opzichte van de Baseline. In sommige gevallen (embedding retrieval) had het zelfs een hogere snelheid van pre-verificatie writes.
• Broosheid: De ImperativeAgent vertoonde een significant hogere over-retry rate (4–7$\times$ hoger dan Baseline/Declarative) en langere trajectlengtes. Dit sugggeert dat rigide code-gebaseerde fase-transities broos zijn; als de LLM een fase verkeerd classificeert, kan het poorten omzeilen of in een loop terechtkomen, terwijl adaptieve LLM-gebaseerde agenten fouten eleganter afhandelen.
• Kosten: De ImperativeAgent realiseerde niet de voorspelde kostenbesparingen door toename in trajectlengtes en retry-loops.

Betekenis en Claims

Het artikel claimt de volgende bijdragen en inzichten:

1. Declaratieve Vaardigheden als Effectieve Priors: Natuurlijke taal vaardigheidsbestanden zijn een effectief orchestratieparadigma voor tool-gebruikende agenten, met name wanneer het onderliggende model een procedurele competentiekloof heeft. Ze verbeteren de nauwkeurigheid en verminderen orchestratiefouten zonder de broosheid van state machines.
2. Beperkingen van Imperatieve Orchestratie: De studie weerlegt empirisch de aanname dat deterministische state machines naleving garanderen in complexe, ongestructureerde omgevingen. De rigiditeit van code-gebaseerde controle kan leiden tot fase-misclassificatie en falen in herstel, en biedt in deze context geen veiligheidsvoordeel ten opzichte van adaptieve agenten.
3. Dominantie van Retrieval: De kwaliteit van retrieval is de dominante bottleneck voor AI-agenten. Geen enkele orchestratieparadigma (declaratief of imperatief) kan de prestaties herstellen wanneer het observatiekanaal (gehaald bewijs) ruisachtig of incompleet is.
4. Engineering Implicaties: Voor gereguleerde domeinen kan het vertrouwen op deterministische poorten voor compliance-garanties misleidend zijn. Prompt-augmentatie met vaardigheden biedt een onderhoudbare, goedkope methode om het gedrag van agenten te verbeteren, mits de kwaliteit van de retrieval hoog is.

De auteurs concluderen dat hoewel declaratieve orchestratie meetbare verbeteringen in nauwkeurigheid biedt, het vakgebied prioriteit moet geven aan vooruitgang in retrieval naast orchestratie om het commerciële potentieel van agentic systemen te ontsluiten.