Technische Samenvatting: Prompting-beleidslijnen voor meerstapsredenering en tool-gebruik in black-box LLM's met iteratieve distillatie van ervaring

1. Probleemstelling

Het artikel behandelt de "fine-tuning-flesnek" die inherent is aan het moderne landschap van Large Language Models (LLM's). Naarmate de industrie verschuift naar propriëtaire, "black-box" modellen (bijv. Gemini-Pro, GPT-5) die uitsluitend via API toegankelijk zijn, worden traditionele transferleertechnieken zoals volledige parameterupdates of Parameter-Efficient Fine-Tuning (PEFT) zoals LoRA onmogelijk gemaakt door het ontbreken van toegang tot modelgewichten, gradiënten of interne berekeningsgrafieken.

Daarom is taakanpassing afhankelijk van In-Context Learning (ICL) en prompt-engineering. Handmatige prompt-engineering is echter heuristisch en fragiel; LLM's zijn zeer gevoelig voor "semantische ruis", waarbij kleine verstoringen in formulering of volgorde van voorbeelden aanzienlijke schommelingen in prestaties kunnen veroorzaken. Hoewel methoden voor Geautomatiseerde Prompt-Optimalisatie (APO) bestaan, vertrouwen veel daarvan op evolutionaire algoritmen of door LLM's gegenereerde reflecties die optimalisatie behandelen als heuristische generatie in plaats van een gestructureerd beleid. Deze methoden hebben vaak moeite met complexe, meerstapsredeneertrajecten en missen de steekproeffeeficëntie die nodig is voor robuuste implementatie.

2. Methodologie

De auteurs stellen een Reinforcement Learning (RL)-kader voor dat een geleerd "Prompter-beleid" traint om prompts te optimaliseren voor een groter, bevroren "Worker"-LLM. De kerninnovatie ligt in het ontkoppelen van de besturingslogica (de prompter) van de uitvoeringslogica (de worker) en het gebruik van een Iteratieve Distillatie van Ervaring.

2.1 Dual-Agent Architectuur

• Prompter Agent ($\pi_\theta$): Een kleinere, efficiënte LLM (bijv. 2–10 miljard parameters) die fungeert als het trainbare beleid. Het genereert taakinstructies (prompts) op basis van de taakcontext en een geschiedenis van eerdere ervaringen. Gradiënten worden uitsluitend berekend voor dit model.
• Bevroren Worker Agent ($\pi_{LLM}$): Een grote, bevroren redeneermotor (bijv. 1 biljoen parameters) die de instructies uitvoert die door de Prompter zijn gegenereerd. Het fungeert als omgeving en levert de output.

2.2 Het Doel

Het doel is om parameters $\theta$ te leren voor het prompter-beleid $\pi_\theta$ die de verwachte beloning $R(p, x, y)$ maximaliseren over een dataset $D$, terwijl de afwijking van een referentiebeleid $\pi_{ref}$ wordt geminimaliseerd via een KL-divergentie-boete:
$$J(\theta) = \mathbb{E}_{(x,y) \sim D, p \sim \pi_\theta(\cdot|c,H)} [R(p, x, y) - \alpha D_{KL}(\pi_\theta \parallel \pi_{ref})]$$
Het kader ondersteunt zowel Vaste Prompt-Optimalisatie (leren van een enkele statische prompt) als Dynamische Prompt-Optimalisatie (leren van een meta-beleid dat zich aanpast aan specifieke taakcontexten).

2.3 Contrastieve Ervaringsbuffer

Om de schaarsheid van scalair beloningen (correct/fout) en de rekenkosten van meer-omwentelings zelfreflectie aan te pakken, introduceren de auteurs een Contrastieve Ervaringsbuffer.

• Mechanisme: De buffer slaat trajecten op van $(prompt, kritiek, beloning)$. Kritieken zijn dichte tekstuele beschrijvingen van discrepanties tussen de output van de Worker en de grondwaarheid, gegenereerd door een extern feedbackmodel.
• Amortisatie: In plaats van meer-omwentelings reflectie uit te voeren tijdens inferentie, wordt de prompter tijdens training geconditioneerd op een bemonsterde geschiedenis $H$ uit de buffer. Dit stelt het beleid in staat om complexe, meer-omwentelings redeneer- en correctiepatronen te "distilleren" in zijn gewichten.
• Updatestrategie: Prompts worden aan de buffer toegevoegd als hun beloning een drempelwaarde bereikt ten opzichte van het batchmaximum ($r \ge r_{max} - \epsilon$), waardoor een diverse maar hoogpresterende geschiedenis wordt gewaarborgd.

3. Belangrijkste Bijdragen

1. Dual-Agent Distillatie met Geheugen: Een kader waarbij strategische sturing wordt gedistilleerd in een efficiënt, geheugenuitgebreid Prompter-beleid. Dit stelt het model in staat om te leren van ervaring, waardoor complexe redeneertrajecten effectief worden gecomprimeerd tot een gestroomlijnd beleid.
2. Contrastieve Ervaringsbuffer: Een feedbackmechanisme met hoge bandbreedte dat scalair beloningen koppelt aan dichte tekstuele kritieken. De auteurs bieden een formele karakterisering die aantoont hoe dit meer-omwentelings zelfreflectielussen amortiseert tot single-shot beleidsgewichten, wat resulteert in tot 2,4× snellere convergentie in vergelijking met scalar-only baselines.
3. Ontdekking van Algorithmische Heuristieken: Kwalitatieve analyse onthult dat het geleerde beleid evolueert tot het ontdekken van gespecialiseerde strategieën, zoals "Ground Truth Ankeren" (het wantrouwen van verstrekte sporen ten gunste van ruwe input) en "Atomaire Sequencing" voor tooloproepen, in plaats van te vertrouwen op abstracte begeleiding.
4. Empirische Validatie: De aanpak is gevalideerd op de Big Bench Extra Hard (BBEH)-suite voor logisch intensieve redenering en de $\tau$-bench voor agentiek tool-gebruik workflows.

4. Experimentele Resultaten

De experimenten gebruiken Gemini 2.5 Flash als bevroren Worker en Gemini 2.5 Flash-lite als trainbare Prompter.

4.1 Redeneertaken (BBEH)

Het Prompter-beleid met Ervaringsbuffer presteerde aanzienlijk beter dan zowel zero-shot baselines als de state-of-the-art evolutionaire baseline, GEPA.

• Dyck-talen: Verbetering van 63,33% (Baseline) naar 91,25% (Prompter-beleid), een winst van +27,92% ten opzichte van GEPA.
• Web of Lies: Verbetering van 52,50% (Baseline) naar 90,12%, een winst van +37,62% ten opzichte van GEPA.
• Disambiguatie QA: Verbetering van 57,08% naar 65,41%.

4.2 Tool-gebruikstaken ($\tau$-Bench)

Het beleid toonde aanzienlijke winsten in meerstaps tool-gebruiksscenario's (Retail en Luchtvaart domeinen).

• Retail: Bereikte een 91,30% slagingspercentage (tegenover 73,91% baseline).
• Luchtvaart: Bereikte een 83,33% slagingspercentage (tegenover 65,27% baseline).
• De met RL getune prompts presteerden beter dan GEPA door abstracte begeleiding te vervangen door concrete, procedurele workflows (bijv. expliciete batching van tooloproepen, strikte statusverificatie).

4.3 Cross-model Generalisatie

Het beleid getraind op het Flash-model toonde voorwaartse compatibiliteit, waarbij het het grotere Gemini Pro-model succesvol stuurde naar een slagingspercentage van 80% op Dyck-talen (een +7,5% winst ten opzichte van zijn zero-shot baseline). Omgekeerd overbrugde het de kloof tussen modellen, waardoor het middelgrote Flash-model (91% met geoptimaliseerde prompt) het grotere Pro-model (72,5% met zero-shot prompting) kon overtreffen.

5. Betekenis en Claims

Het artikel stelt dat het voorgestelde RL-kader met iteratieve distillatie van ervaring een aanzienlijke vooruitgang vertegenwoordigt in het interageren met black-box LLM's. Door promptgeneratie te behandelen als een Markov-beslissingsproces en een contrastieve ervaringsbuffer te gebruiken, benadert de aanpak:

• De Fine-tuning-flesnek: Het maakt optimalisatie van taakspecifieke strategieën mogelijk zonder toegang tot modelgewichten.
• Verbeterde Steekproeffeeficëntie: De integratie van dichte tekstuele kritieken in het beloningssignaal zorgt voor snellere convergentie en betere prestaties dan evolutionaire baselines of scalar-only RL.
• Structuur-evolutie mogelijk: Het beleid vindt niet alleen een "beter" prompt; het ontdekt gespecialiseerde algorithmische heuristieken (bijv. onafhankelijke stack-simulatie, anker-en-ketting deductie) die fundamenteel veranderen hoe het worker-model de taak benadert.
• Kosten-batenvoordelen: Het kader stelt kleinere, goedkopere modellen in staat prestatieniveaus te bereiken die vergelijkbaar zijn met of groter zijn dan die van grotere, zero-shot modellen, door middel van geleerde instructiesturing.

De auteurs erkennen beperkingen, met name dat het beleid is getraind op een beperkte set taken en dat de capaciteit voor zero-shot overdracht naar volledig onbekende taken zonder bufferinitialisatie een uitdaging blijft voor toekomstig onderzoek. Zij suggereren ook toekomstig werk in geavanceerd bufferbeheer en gepersonaliseerde promptgeneratie op basis van gebruikersstatusrepresentaties.