Technische Samenvatting: ANNEAL – Aanpassing van LLM-agenten via Gereguleerde Symbolische Patchlearning

1. Probleemstelling

Agenten op basis van Large Language Models (LLM) hebben het vermogen om zich te herstellen van uitvoeringsfouten binnen één taakepisode (bijvoorbeeld door een mislukte actie te herhalen). Ze falen echter regelmatig in het elimineren van terugkerende fouten wanneer de onderliggende proceskennis – specifiek operator-schema's, precondities en beperkingen – ongewijzigd blijft. Bestaande zelf-evoluerende benaderingen proberen dit aan te pakken door prompts, geheugenbuffers of fundamentele modelgewichten bij te werken. Deze methoden lijden aan twee primaire beperkingen:

1. Gebrek aan Structurele Reparaties: Ze passen aan wat de agent onthoudt of hoe hij prompt, maar repareren niet direct de getypeerde symbolische structuren die de uitvoeringslogica van taken coderen. Bijgevolg kan dezelfde structurele fout zich herhalen bij nieuwe taken.
2. Tekortkomingen in Governance: Weinig systemen bieden de nodige garanties (herkomst, veiligheidsmarges, terugdraaiing) die vereist zijn voor veilige implementatie in open-wereldomgevingen waar normen en API's evolueren.

Het artikel stelt dat het omzetten van terugkerende storingen in duurzame structurele oplossingen centraal staat in expertise, een vermogen dat huidige LLM-agenten missen.

2. Methodologie: ANNEAL

ANNEAL is een neuro-symbolische agent die deze kloof overbrugt door terugkerende mislukkingen om te zetten in gereguleerde symbolische bewerkingen van een Proceskennisgrafiek (PKG), zonder de gewichten van het fundamentele model aan te passen. Het systeem werkt volgens een gesloten-lusarchitectuur die bestaat uit een HTN-planner, een getypeerde symbolische staat, een uitvoerder, een metacognitieve controller en een ervaringspool.

Kernmechanisme: Foutgedreven Kennisverwerving (FDKA)

FDKA is de centrale pijplijn die uitvoeringsfouten omzet in geverifieerde structurele patches. Het behandelt de LLM strikt als een beperkte codegenerator onder een gesloten getypeerd schema, zodat alle acceptatielogica symbolisch en controleerbaar blijft. De pijplijn bestaat uit zes fasen:

1. Lokalisatie: Gegeven een fouttrace scoort het systeem operators om de verantwoordelijke te identificeren (bijvoorbeeld een specifieke boekings-tool) op basis van symbolische delta's, tool-loggelijkenis en parservertrouwen.
2. Beperkte Generatie: De LLM synthetiseert een patch (bijvoorbeeld het toevoegen van een preconditie) via een proces in drie fasen: serialiseren van de trace naar JSON, genereren van bewerkingen beperkt tot een gesloten schema (toevoegingen van precondities, verfijningen van effecten, updates van tool-schema's), en deterministisch parseren van de output.
3. Meerdimensionale Scoren: Voorgestelde bewerkingen worden geaggregeerd via een scorefunctie die weegt:
   • Waarschijnlijkheid: Uitlijning met de geleerde verdeling van de LLM.
   • Consistentie: Logische integriteit geverifieerd via symbolische heuristieken of Z3 SMT-oplossers.
   • Nuttigheid: Geschatte foutpreventie via contrafactuele replay over opgehaalde traces.
   • Risico: Waarde-overtredingswaarschijnlijkheid en explosieradius.
4. Validatie van Veiligheidsmarges: Twee harde veto-poorten werken onafhankelijk van de score:
   • Waarde-marge: Controleert deontische regels (Verplicht/Verboden/Toegestaan) om ervoor te zorgen dat de bewerking geen ethische of beleidsbeperkingen schendt.
   • Causale marge: Zorgt ervoor dat de bewerking voldoende identificeerbaarheid heeft en geen overmatige impact verspreidt.
5. Staging en Kanoetests: Bewerkingen die scoren en veiligheidsmarges doorstaan, ondergaan geteste tests in een zandbak (tot 8 runs). Als de patch een test faalt, wordt deze afgewezen.
6. Commit en Terugdraaiing: Geaccepteerde patches worden vastgelegd met volledige herkomst (bron, invoer, redenering) en een deterministische terugdraaizet. Vertrouwensscores worden geïnitieerd via Beta-Bernoulli-priors; patches met een laag vertrouwen bij daaropvolgende taken triggeren automatische terugdraaiing.

Metacognitieve Controle

Een fasebewuste controlelus arbitreert tussen drie paden op basis van onzekerheid ($u$) en overtredingswaarschijnlijkheid ($p_{viol}$):

• S1 (Snell Pad): Standaard uitvoering.
• S2 (Deliberatief Pad): Geactiveerd onder hoge onzekerheid voor uitgebreide planning.
• VERIFY (Verifiëren-voor-Actie): Geactiveerd wanneer overtredingsrisico hoog is om precondities te controleren voor uitvoering, wat lokale reparaties kan triggeren of de planning kan blokkeren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Gereguleerde Foutgedreven Kennisverwerving (FDKA): Een pijplijn die getypeerde symbolische bewerkingen synthetiseert onder een gesloten JSON-schema en deze valideert via meerdimensionale scoring, waarde/causale veiligheidsmarges en kanoet-deployments. In gerapporteerde runs werd hiermee 100% patchacceptatie bereikt zonder waargenomen terugdraaiingen.
2. Metacognitieve Arbitrage: Een controlelus die aanpassingspaden reguleert op basis van onzekerheid en overtredingssignalen. Ablatiestudies tonen aan dat het verwijderen van deze arbitrage de successpercentages met 4,7 procentpunten verlaagt in stochastische omgevingen waar samengestelde beleidsverschuivingen ketens van meerdere overtredingen creëren.
3. Uitgebreide Governance-omhulling: Elke vastgelegde bewerking bevat herkomst, vertrouwensscoring, mens-in-de-lus-poorten en deterministische terugdraaiing. Een specifieke stressbenchmark bevestigde 100% beslissingsnauwkeurigheid bij het escaleren van auth-gevoelige schema-bewerkingen voorafgaand aan commit.
4. Empirisch Bewijs van Structurele Reparatie: Over vier domeinen (Reizen, E-commerce, ITSM) en 27 runs met meerdere zaden is ANNEAL het enige geëvalueerde systeem dat persistente structurele reparaties vastlegt. Waar baselines zoals ReAct en Reflexion hoge episodische herstelpercentages behalen, behouden ze vasthoudende faalpercentages van 72–100% bij terugkerende fouten. ANNEAL reduceert deze tot 0%.

4. Resultaten

• Eliminatie van Terugkerende Fouten: In stress-tests met terugkerende API-driften en beleidsovertredingen verlaagden de vastgelegde patches van ANNEAL de vasthoudende faalpercentages tot 0%. Daarentegen behielden ReAct en Reflexion, ondanks hoog episodisch succes, vasthoudende faalpercentages van 72–100% omdat ze de onderliggende operatordefinities niet repareerden.
• Successpercentages: ANNEAL behaalde 94,7–100% taaksucces over domeinen. In het e-commerce-domein legde het gemiddeld 2,7 patches per run vast, verspreid over drie bewerkingscategorieën (schema-updates, toevoegingen van precondities, verfijningen van effecten).
• Ablatiestudies:
  • Het verwijderen van FDKA elimineerde alle structurele reparaties en verlaagde het e-commerce succespercentage met 26,7 procentpunten.
  • Het verwijderen van de metacognitieve arbitrage verlaagde de successpercentages met 4,7 procentpunten in stochastische reisscenario's.
  • Het verwijderen van governance (in een specifieke stresssuite) stond toe dat onveilige schema-bewerkingen werden vastgelegd, wat de noodzaak van veiligheidsmarges voor veiligheidskritieke domeinen aantoont.
• Efficiëntie: De volledige aanpassingscyclus (van fout tot succesvolle herplanning) duurt minder dan 2 minuten en vereist geen modelhertraining.

5. Betekenis en Claims

Het artikel stelt dat gereguleerde symbolische reparatie een complementair paradigma biedt ten opzichte van aanpassing op gewichts- en promptniveau voor het elimineren van persistente fouten.

• Smalle maar Concreet Bijdrage: De auteurs stellen expliciet dat hun bijdrage "opzettelijk smal" is. Ze claimen geen brede algemene superioriteit boven alle zelf-evoluerende agenten. In plaats daarvan tonen ze aan dat hoog episodisch herstel (bijvoorbeeld Reflexion's 97,6% succes) niet impliceert dat persistente fouten worden geëlimineerd.
• Controleerbare Aanpassing: Door expliciete symbolische proceskennis buiten het fundamentele model te bewerken, maakt ANNEAL veranderingen direct controleerbaar, omkeerbaar en compatibel met governance-beperkingen, waardoor het "black box"-karakter van op gewichten gebaseerde fine-tuning wordt aangepakt.
• Operator-gerichte Overdracht: De resultaten ondersteunen de claim dat ANNEAL operator-gerichte fouten kan repareren en deze reparaties kan overdragen tussen taken binnen dezelfde ontologie, maar het artikel erkent dat autonomie in willekeurige domeinen en bredere generalisatie open uitdagingen blijven.

Het werk suggereert dat voor veilige implementatie in productiesettingen waar controleerbaarheid een vereiste is, het omzetten van terugkerende fouten in gereguleerde symbolische bewerkingen een haalbaar en noodzakelijk alternatief is voor modelhertraining.