Technische Samenvatting: PEARL (Plan Exploration and Adaptive Reinforcement Learning for Multihop Tool Use)

Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijk potentieel hebben getoond wanneer ze worden uitgebreid met externe tools, worden ze geconfronteerd met substantiële hindernissen in complexe, multi-turn tool-invocatie scenario's. Huidige benaderingen lijden vaak aan:

• Zwakke Planning: Agenten nemen vaak myope, eenstapsstrategieën aan, waarbij ze er niet in slagen om een coherente, langetermijnplanning te formuleren of zich eraan te houden.
• Executiefouten: Modellen vertonen "tool hallucinaties" (het oproepen van niet-bestaande tools), genereren foutieve parameters en hebben moeite met het beheren van afhankelijkheden tussen opeenvolgende tool-aanroepen.
• Slechte Aanpasbaarheid: Wanneer er executiefouten optreden, slagen agenten er vaak niet in het probleem te diagnosticeren of de strategie dynamisch aan te passen, wat leidt tot repetitieve foutloops.

Bestaande methoden, die grotendeels vertrouwen op supervised fine-tuning (SFT) of imitation learning, zijn fragiel wanneer ze worden geconfronteerd met nieuwe scenario's of complexe foutherstel vereisen. Er is een kritieke behoefte aan een framework dat robuuste executie ontkoppelt van strategische planning en adaptief leren gebruikt om beide te optimaliseren.

Methodologie: Het PEARL Framework

PEARL (Plan Exploration and Adaptive Reinforcement Learning) pakt deze uitdagingen aan via een geprincipeerde, twee-fasen architectuur die Strategische Plangeneratie scheidt van Geïnformeerde Executie.

1. Taakformulering

Het doel van de agent is om een complexe query $q$ op te lossen met behulp van een set tools $\mathcal{T}$ door een geordende sequentie van sub-taken (een plan) $P = ((s_1, \tau_1), \dots, (s_n, \tau_n)$ te genereren, waarbij $s_i$ een natuurlijke taal-doel is en $\tau_i$ de geselecteerde tool.

2. Fase 1: Strategische Plangeneratie (Online RL)

Een toegewezen Planner-model ($\pi_\theta$) wordt getraind om het volledige multi-step plan te genereren voordat de executie begint.

• Optimalisatiealgoritme: De Planner wordt geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO), een variant van Proximal Policy Optimization (PPO). GRPO verbetert de trainingsstabiliteit door de advantage-schattingen te normaliseren over een groep kandidaat-plannen die voor dezelfde input zijn gegenereerd.
• Beloningsontwerp: Een nieuw, planning-gecentreerd beloningsmechanisme wordt toegepast om dichte, stap-voor-stap feedback te geven.
  • De beloning vergelijkt het gegenereerde plan met een ground-truth plan.
  • Het wijst een genormaliseerde beloning ($1/m$) toe voor elke correct geselecteerde tool bij stap $i$, waarbij $m$ het aantal stappen in het optimale plan is.
  • Dit ontwerp optimaliseert direct de structurele en semantische correctheid van de tool-keten, wat het credit assignment-probleem in langetermijnplanning oplost.

3. Fase 2: Geïnformeerde Executie (Offline + Online)

Een Executor-model ($\pi_\phi$) is verantwoordelijk voor het uitvoeren van het door de Planner gegenereerde plan.

• Offline Tool Exploratie: Voordat enige taakuitvoering plaatsvindt, gaat de agent een proactieve trial-and-error fase aan met elke beschikbare tool. Het probeert systematisch verschillende parameterconfiguraties om geldige gebruikspatronen, argumentbeperkingen en foutcondities te leren. Dit bouwt een "geleerde gebruikershandleiding" die de executor in de realiteit verankert, wat hallucinaties en parameterfouten drastisch vermindert.
• Online Stap-voor-stap Executie: De Executor ontvangt de output van de Planner en voert deze iteratief uit. Het maakt gebruik van de kennis die tijdens de offline fase is verworven om geldige tool-aanroepen met correcte parameters te construeren, waarbij de geschiedenis van eerdere executieresultaten wordt gebruikt om opeenvolgende stappen te informeren.

Belangrijkste Bijdragen

1. Nieuw Framework: PEARL integreert offline tool-exploratie voor robuuste executie met online reinforcement learning voor adaptieve, strategische planning, waardoor de twee complexe problemen effectief worden ontkoppeld.
2. Planning-gecentreerd Beloningsmechanisme: De auteurs ontwerpen een specifiek beloningsmechanisme dat de directe optimalisatie van multi-step tool-plannen via RL mogelijk maakt. Dit stuurt de agent naar optimale strategieën door dichte feedback te geven over de kwaliteit van het plan in plaats van enkel te vertrouwen op schaarse signalen van succes aan het einde van de taak.
3. State-of-the-Art Prestaties: Het framework vestigt nieuwe prestatiebenchmarks en demonstreert dat gespecialiseerd architecturaal ontwerp beter kan presteren dan eenvoudige model-scaling.

Experimentele Resultaten

De auteurs evalueerden PEARL op twee benchmarks: ToolHop (multi-hop tool reasoning) en T-Eval (tool utilization capabilities).

• ToolHop Prestaties: PEARL-7B bereikte een Success Rate (SR) van 56,5%, wat de specifiek getunede Qwen2.5-7B-SFT baseline (46,2%) en grotere propriëtaire modellen zoals GPT-4o (49,0%) aanzienlijk overtreft. Cruciaal was dat het een lage Invocation Error Rate (IER) van 3,8% behield, wat de effectiviteit van de offline exploratiefase valideert.
• T-Eval Generalisatie: Op de generalisatie-benchmark behaalde PEARL-7B een SR van 77,0%, waarmee het leidende propriëtaire modellen (GPT-4o op 76,0%, Claude 3.5 Sonnet op 71,0%) en open-source modellen overtrof. De IER daalde naar 1,0%, wat duidt op een hoge betrouwbaarheid bij ongeziene taken.
• Planner Generalisatie: Experimenten toonden aan dat plannen gegenereerd door de PEARL-Planner de prestaties van andere krachtige modellen (bijv. GPT-4o en Qwen2.5-72B) als executors aanzienlijk verbeterden, wat de overdraagbaarheid van de geleerde planningsstrategieën bevestigt.
• Ablatie studies:
  • Het verwijderen van de planning-gecentreerde beloning zorgde ervoor dat de SR kelderde van 56,5% naar 23,4%, wat de cruciale rol ervan in credit assignment benadrukt.
  • Het verwijderen van offline exploratie zorgde ervoor dat de IER steeg van 3,8% naar 24,1%, wat bewijst dat preventief tool-leren essentieel is voor betrouwbare executie.

Betekenis en Claims

Het artikel beweert dat PEARL een belangrijke vooruitgang vormt bij het aanpakken van de complexe planning-uitdagingen van toolgebruik. Door het leren van de tool-mechanica (offline) systematisch te scheiden van het leren van de strategische orchestratie (online RL), produceert het framework agenten die zowel robuust (lage foutpercentages) als strategisch (hoge succespercentages in multi-step taken) zijn.

De auteurs stellen dat hun werk bijdraagt aan de ontwikkeling van meer betrouwbare en autonome LLM-gebaseerde agenten. De resultaten suggereren dat gespecialiseerde trainingsarchitecturen voor planning en executie effectiever zijn voor complexe tool-gebruikstaken dan simpelweg het opschalen van modelparameters of het vertrouwen op standaard supervised fine-tuning. De hoge generalisatiecapaciteit van de PEARL-Planner valideert verder de kwaliteit van de geleerde strategieën, wat wijst op een pad naar agenten die in staat zijn steeds complexere, real-world digitale interacties aan te gaan.