💬 NLP

Bayesian-Agent: Posterior-Guided Skill Evolution for LLM Agent Harnesses

Het artikel introduceert Bayesian-Agent, een framework dat herbruikbare vaardigheden en SOP's behandelt als probabilistische hypothesen om hun evolutie te sturen via posterior-guided harness optimalisatie, wat de prestaties van LLM-agenten op benchmarks zoals SOP-Bench en Lifelong AgentBench aanzienlijk verbetert zonder de modelgewichten aan te passen.

Oorspronkelijke auteurs: Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Wenjie Zhang, Zhichao Shi, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar een tikkeltje eigenwijze robotassistent hebt. Deze assistent is geweldig in denken, maar leert niet van zijn fouten zoals een mens dat doet. Als je hem vraagt om een taart te bakken en hij laat de eerste aanbranden, zal hij niet automatisch weten waarom die is aangebrand, tenzij je het hem expliciet vertelt.

Normaal gesproken, wanneer we deze robots proberen te repareren, geven we ze gewoon een langere lijst met instructies of hopen we dat ze het zelf "uitzoeken" door naar hun eerdere successen en mislukkingen te kijken als een simpel scorebord (bijv. "Ik heb 3 keer succes gehad, 2 keer gefaald, dus ik ben voor 60% goed"). Het probleem is dat dat scorebord vaak misleidend is. Een mislukking kan een incidentele uitschieter zijn geweest, of een succes kan puur geluk geweest zijn.

Bayesian-Agent is een nieuw framework dat de manier waarop we deze robotassistenten beheren, verandert. In plaats van alleen maar winst en verlies te tellen, behandelt het elke instructie of "vaardigheid" die de robot gebruikt als een wetenschappelijke hypothese die getest en bijgewerkt moet worden met echte bewijslast.

Zo werkt het, gebruikmakend van eenvoudige analogieën:

1. De "Skill Library" als een Hypotheseboek

Stel je voor dat de robot een bibliotheek heeft met "vaardigheden" (zoals "hoe open ik een bestand" of "hoe controleer ik een banksaldo").

De Oude Manier: De robot voegt gewoon nieuwe tips toe aan de bibliotheek wanneer hij een fout maakt, in de hoop dat het de volgende keer beter gaat. Het is alsof je een nieuwe regel in een notitieboek schrijft op basis van een onderbuikgevoel.
De Bayesian-Agent Manier: Elke vaardigheid in de bibliotheek wordt behandeld als een hypothese. Het systeem vraagt: "Gezien de specifieke situatie waarin we ons bevinden, hoe waarschijnlijk is het dat deze vaardigheid werkt?" Het telt niet alleen "1 succes, 1 mislukking". Het bouwt een geloofsprofiel (belief profile) voor elke vaardigheid op, waarbij precies wordt bijgehouden wanneer en waarom deze wel of niet werkt.

2. De "Detective" Logica (De Posterior)

Het systeem gebruikt een methode genaamd Bayesiaanse inferentie. Denk hierbij aan een detective die zijn theorie bijwerkt zodra er nieuwe aanwijzingen binnenkomen.

De Aanwijzingen: Elke keer dat de robot een taak uitvoert, legt het systeem het "geverifieerde traject" (verified trajectory) vast. Dit betekent dat het systeem niet alleen luistert naar de zelfrapportage van de robot ("Ik denk dat ik het goed heb gedaan!"); het controleert het daadwerkelijke resultaat (bijv. "Is het bestand daadwerkelijk geopend?").
De Update: Als een vaardigheid twee keer achter elkaar faalt onder dezelfde omstandigheden, werkt de detective de "overtuiging" bij dat deze vaardigheid voor die specifieke situatie defect is. Als het drie keer werkt, groeit de overtuiging dat de vaardigheid betrouwbaar is.

3. De Vijf "Acties" (De Gereedschapskist van de Monteur)

Op basis van deze bijgewerkte overtuigingen grijpt het systeem niet zomaar willekeurig in om dingen te "repareren". Het heeft een specifieke set hulpmiddelen om de vaardighedenbibliotheek te beheren, vergelijkbaar met een monteur die auto-onderdelen beheert:

Explore (Verkennen): Als de robot een vaardigheid nog nooit eerder heeft geprobeerd, zegt het systeem: "Laten we het proberen en kijken wat er gebeurt."
Patch (Patchen/Repareren): Als de robot op dezelfde manier faalt (bijv. hij vergeet altijd het bestand op te slaan), voegt het systeem een specifieke "vangrail" of herinnering toe aan de instructies om die specifieke fout te voorkomen.
Split (Splitsen): Als een vaardigheid te breed is (bijv. "Behandel alle banktransacties") en in sommige gevallen faalt maar in andere werkt, splitst het systeem deze op in twee kleinere, specifiekere vaardigheden.
Compress (Comprimeren): Als een vaardigheid zeer betrouwbaar is en perfect werkt, verkort het systeem de instructies om ruimte te besparen, waardoor de robot sneller wordt.
Retire (Pensioen geven): Als een vaardigheid te vaak faalt en het bewijs aantoont dat deze onbetrouwbaar is, gooit het systeem de vaardigheid weg zodat de robot stopt met proberen deze te gebruiken.

4. De Resultaten: Het "Repareren van de Verbrande Taart"

De onderzoekers testten dit systeem op drie verschillende soorten taken:

SOP-Bench: Het volgen van complexe, stapsgewijze zakelijke procedures.
Lifelong AgentBench: Het uitvoeren van een lange reeks taken waarbij je moet onthouden wat er eerder is gebeurd.
RealFin-Bench: Het oplossen van financiële redeneervraagstukken waarbij mogelijk informatie ontbreekt.

Wat gebeurde er?

De "Repair" Modus: Ze namen een robot die al een aantal taken had gefaald, voerden de bewijslast in bij Bayesian-Agent, en lieten het de instructies "patchen".
- Op de test voor zakelijke procedures repareerde het de fouten en bereikte het een succespercentage van 95%.
- Op de test voor de lange reeks taken repareerde het de fouten en bereikte het een succitspercentage van 100%.
- Op de financiële test verbeterde het succes van 45% naar 65%.
De "From Scratch" Modus: Ze lieten de robot volledig vanaf nul leren met behoud van dit systeem. Het deed het goed, maar soms was het "leren terwijl men doet" een beetje rommelig, wat aantoont dat het soms beter is om eerst een solide basislijn te hebben en dan pas de "patches" toe te passen.

5. Waarom dit ertoe doet

Het artikel betoogt dat het bouwen van betere AI-agenten niet alleen gaat over het slimmer maken van de AI (het veranderen van de hersenen/gewichten). Het gaat over het optimaliseren van de omgeving waarin zij werken.

Denk hierbij aan het volgende: Als je een geweldige chauffeur hebt (het AI-model), maar de verkeersborden zijn verwarrend, de kaart is onjuist, of de auto heeft een los stuur (de "harness"), dan zal de chauffeur crashen. Bayesian-Agent probeert niet de hersenen van de chauffeur te hertrainen; het repareert de verkeersborden, werkt de kaart bij en draait het stuur strak op basis van geverifieerd bewijs van waar de auto de fout in ging.

Kortom: Bayesian-Agent verandert het rommelige proces van "proberen en hopen" in een gestructureerd, controleerbaar proces van "testen, geloven en repareren", waardoor de instructies van de robot evolueren op basis van feiten, niet alleen op basis van gissingen.

Technische Samenvatting: Bayesian-Agent: Posterior-Guided Skill Evolution voor LLM Agents

1. Probleemstelling

Large Language Model (LLM) agents vertrouwen steeds vaker op externe inferentie-omgevingen—bestaande uit prompts, tools, geheugen, Standard Operating Procedures (SOPs) en harness-feedback—in plaats van enkel op modelgewichten om taken op te lossen. Hoewel deze herbruikbare activa de uitvoering kunnen verbeteren zonder hertraining, vertrouwen huidige methoden voor het bijwerken hiervan vaak op heuristische reflectie of eenvoudige frequentietellingen van succes en falen.

Het artikel identificeert twee primaire beperkingen in bestaande benaderingen:

Niet-gekalibreerde updates: Het behandelen van schaarse agent-trajecten als onafhankelijke, identiek verdeelde (i.i.d.) waarnemingen leidt tot ruizige aanpassingen. Een vaardigheid kan in één context betrouwbaar zijn, maar in een andere schadelijk; eenvoudige tellingen slagen er niet in deze nuance te vatten.
Geëxternaliseerde fouten: Wanneer capaciteiten worden geëxternaliseerd in vaardigheden en SOP's, worden fouten ook geëxternaliseerd. Als een agent activa bijwerkt op basis van louter natuurlijke taal zelfkritiek, kan het een huidig falen herstellen terwijl het aanpassingen introduceert die de prestaties op toekomstige taken verslechteren. Omgekeerd, als de harness de vaardigheden nooit herziet, blijven herhaalde fouten buiten de leerloop van het model.

De kernuitdaging is hoe de externe beslissingsomgeving (de "harness") te onderhouden, zodat herbruikbare vaardigheden en SOP's evolueren op basis van geverifieerd bewijs in plaats van ongekalibreerde trial-and-error.

2. Methodologie: Bayesian-Agent

De auteurs introduceren Bayesian-Agent, een framework dat herbruikbare vaardigheden en SOP's behandelt als bewijsdragende hypothesen. In plaats van een LLM te vragen of een vaardigheid "goed" is, stelt het framework een Bayesiaanse vraag: Gegeven een bevroren model en een specifieke inferentie-omgeving, wat moeten we geloven over deze vaardigheid na het combineren van voorafgaande aannames met geverifieerd bewijs?

2.1 Probleemformulering

Het framework fixeert de modelgewichten ( $M_\theta$ ) en behandelt de evolutie van de harness als een optimalisatie over de inferentiecondities ( $C_t$ ). De betrouwbaarheid van een vaardigheid $h_k$ wordt gedefinieerd als de waarschijnlijkheid van succes gegeven het model, de context en geobserveerde kenmerken:
$p_{k,t} = P(y_t = 1 \mid M_\theta, C_t, h_k, z_t)$
waarbij $z_t$ een discrete feature-vector is geëxtraheerd uit een geverifieerd traject (bijv. token-aantallen, turn-aantallen, foutmodi).

2.2 Traject-bewijs

Bayesian-Agent werkt overtuigingen bij alleen op basis van geverifieerde trajecten ( $e_t$ ) gegenereerd door een executie-harness. Deze trajecten bevatten:

Taakcontext en uitkomst ( $y_t \in \{0, 1\}$ ) bepaald door een externe verifier of benchmark-grader, niet door de zelfbeoordeling van het model.
Runtime-signalen (token-kosten, latentie, turn-aantal) gediscretiseerd in vaste bakken om schaarse online datasets te verwerken.
Foutmodi afgeleid van de verifier.

2.3 Bayesiaans Bewijsmodel

Het systeem onderhoudt een feature-geconditioneerd categorisch Bayesiaans bewijsmodel voor elke vaardigheid:

Priors: Gebruikt Laplace-smoothing om conservatieve schattingen te bieden wanneer waarnemingen schaars zijn.
Likelihood: Berekent de waarschijnlijkheid van succes/falen geconditioneerd op specifieke feature-waarden (bijv. "foutmodus X treedt op in context Y").
Posterior: Berekent een succeswaarschijnlijkheid ( $s_{k,t}$ ) die wordt gebruikt voor ranking en besluitvorming.
Samenvatting: Onderhoudt een geconjugeerde Beta-Bernoulli samenvatting ( $\alpha, \beta$ ) voor audit en controle op dominantie van fouten.

2.4 Posterior-gestuurde Vaardigheidsacties

De posterior-toestand stuurt een conservatief herschrijfbeleid aan dat overtuigingen mapt naar vijf inspecteerbare acties:

Explore (Verkennen): Geactiveerd wanneer er geen waarnemingen bestaan of de posterior onzeker is.
Patch (Patchen): Geactiveerd wanneer dezelfde foutmodus ten minste twee keer voorkomt (het omzetten van herhaalde fouten in guardrails).
Split (Splitsen): Geactiveerd wanneer een brede vaardigheid heterogene gevallen dekt (3+ contexten, 4+ waarnemingen).
Compress (Comprimeren): Geactiveerd wanneer een vaardigheid betrouwbaar is (succes $\ge$ 0.72) om de context compact te houden.
Retire (Uitfaseren): Geactiveerd wanneer foutbewijs domineert (lage succeswaarschijnlijkheid, hoge $\beta$ ).

Cruciaal is dat het framework posterior-auditinformatie (opgeslagen voor debugging) scheidt van model-gerichte instructies. De LLM ontvangt uitvoerbare guardrails en foutmodus-patches, geen ruwe waarschijnlijkheidscijfers.

2.5 Executiemodi

Full Mode: De registry evolueert online vanaf nul tijdens een benchmark-run.
Incremental Mode: Het systeem importeert geverifieerde traces van een voltooide baseline-run, werkt de registry bij en voert alleen de gefaalde taken opnieuw uit met posterior-gestuurde patches.

3. Belangrijkste Bijdragen

Formulering van Vaardigheden als Hypothesen: Verschuift zelfevolutie van empirische prompt-accumulatie naar geverifieerde, posterior-gestuurde optimalisatie onder onzekerheid.
Verenigd Framework: Biedt een verenigd Bayesiaans perspectief voor prompt-, context- en harness-engineering, geïmplementeerd met een efficiënt categorisch bewijsmodel en een posterior-gestuurd herschrijfbeleid.
Native en Cross-Harness Ondersteuning: Introduceert een minimale native backend terwijl het een adapter-grens definieert die externe harnesses (GenericAgent, mini-swe-agent, Claude Code) in staat stelt dezelfde traject-bewijsloop te gebruiken.
Empirische Validatie: Voert uitgebreide studies uit op SOP-Bench, Lifelong AgentBench en RealFin-Bench met DeepSeek-modellen, waarbij baseline, full Bayesian en incremental repair varianten worden vergeleken.

4. Experimentele Resultaten

Het paper evalueert Bayesian-Agent over drie benchmarks en meerdere backends (Native, GenericAgent, mini-swe-agent, Claude Code) met behulp van DeepSeek-v4-flash en DeepSeek-v4-pro.

4.1 Prestatiewinst

Incremental Repair: De incrementele modus (het repareren van alleen gefaalde taken) toonde significante verbeteringen:
- SOP-Bench: Verbeterde van 80% (GA) naar 95%.
- Lifelong AgentBench: Verbeterde van 90% (GA) naar 100%.
- RealFin-Bench: Verbeterde van 45% (GA) naar 65%.
Token-efficiëntie: De incrementele aanpak was zeer token-efficiënt en gebruikte slechts 153k tokens om SOP-Bench-fouten te repareren vergeleken met de volledige baseline-run.
Backend-agnosticisme: Het framework verbeterde de prestaties succesvol over verschillende backends (Native, GenericAgent, mini-swe-agent, Claude Code), wat bevestigt dat het voordeel voortkomt uit de bewijsloop en niet uit een specifieke runtime.

4.2 Geobserveerde Beperkingen

Instabiliteit in Full Mode: In de Lifelong AgentBench-setting met DeepSeek-v4-flash presteerde de Full Bayesian mode (85%) slechter dan de baseline GA (90%). Dit suggereert dat online vaardigheidsevolutie negatieve ordeningseffecten of kosten kan introduceren wanneer het bewijs nog schaars is.
Verzadiging: In settings waar het baseline-model al 100% nauwkeurigheid bereikte (bijv. SOP-Bench met DeepSeek-v4-pro), had de Bayesian-laag geen fouten om te repareren, waardoor de incrementele modus inactief bleef.

5. Betekenis en Claims

Het paper claimt dat agent-vaardigheidsevolutie het beste kan worden gezien als posterior-gestuurde harness-optimalisatie in plaats van ongekalibreerde prompt-accumulatie.

Auditbaarheid: Door vaardigheden te behandelen als hypothesen met expliciete posterior-toestanden, maakt het framework het evolutieproces inspecteerbaar. Gebruikers kunnen zien waarom een vaardigheid werd gepatcht, gesplitst of uitgefaseerd op basis van specifieke foutmodi.
Onzekerheidskalibratie: De aanpak gaat expliciet om met de schaarste en contextafhankelijkheid van agent-trajecten, waardoor de valkuilen worden vermeden van het behandelen van schaarse data als betrouwbare frequentietellingen.
Praktische Reparatie: De incrementele reparatie-setting laat zien dat een harness extra inferentie-resources specifiek op gefaalde gevallen kan besteden om geobserveerde foutmodi om te zetten in herbruikbare context, wat de uiteindelijke nauwkeurigheid aanzienlijk verhoogt zonder de volledige benchmark opnieuw uit te voeren.

De auteurs concluderen dat hoewel de aanpak geen panacee is voor eenmalige taken of niet-stationaire omgevingen, het een robuust, door bewijs gekalibreerd mechanisme biedt voor het verbeteren van herbruikbare agent-vaardigheden in omgevingen met verifiers en terugkerende foutmodi.