Technische Samenvatting: Leren om Agente AI-systemen te Configureren (ARC)

Probleemstelling

Het configureren van agent-systemen op basis van Large Language Models (LLM) houdt in dat er gekozen moet worden uit een enorm combinatorisch ontwerpruimte bestaande uit workflows, tools, token-budgetten en prompts. Huidige benaderingen vertrouwen op statische heuristieken of "kitchen sink"-strategieën die een vaste configuratie toepassen, ongeacht de moeilijkheidsgraad van de query. Deze "one-size-fits-all"-aanpak leidt tot twee primaire problemen:

1. Prestatiedegradatie: Lange contexten lijden vaak onder het "lost-in-the-middle"-fenomeen, waarbij modellen falen in het aandachtig bestuderen van relevante informatie.
2. Inefficiëntie: Statistische systemen verspillen rekenkracht door zware, iteratieve workflows (bijvoorbeeld multi-hop redenering met webzoekopdrachten) toe te passen op triviale queries, wat leidt tot onnodige latentie en kosten.

De kernuitdaging is dat het ontwerpruimte te groot is voor brute-force zoekopdrachten of handmatige afstelling. Een bescheiden systeem met enkele workflowpatronen, tools en budgetniveaus kan bijvoorbeeld tienduizenden structurele configuraties opleveren, wat uitdijt tot meer dan $10^5$ wanneer promptvariaties worden meegenomen. Bovendien zijn agent-workflows geen atomaire acties; het zijn tijdelijk uitgebreide processen met variabele duur en kosten, waardoor standaard Markov Decision Process (MDP)-formuleringen ontoereikend zijn.

Methodologie: ARC (Agentic Resource & Configuration learner)

De auteurs stellen ARC voor, een hiërarchisch versterkingsleerframework dat agentconfiguratie formuleert als een Semi-Markov Decision Process (SMDP). In deze formulering fungeert elke configuratie als een tijdelijk uitgebreide "optie" die bepaalt hoe een agentsysteem een query verwerkt.

1. SMDP-formulering

In tegenstelling tot standaard MDP's, waarbij acties vaste duur hebben, modelleert ARC configuraties als opties met variabele uitvoertijden (aantal LLM-aanroepen) en kosten.

• Toestand ($S$): Een concatenatie van semantische embeddings van de query en handgemaakte kenmerken (bijvoorbeeld querylengte, numerieke dichtheid).
• Opties ($O$): Elke optie vertegenwoordigt een volledige configuratie $(\omega, t, b, p)$, waarbij $\omega$ de workflow is, $t$ de tools, $b$ het token-budget en $p$ de prompt.
• Beloning: Een nuttigheidsfunctie die correctheid afweegt tegen kosten: $U(q, c) = I[\hat{a} = a] - \lambda C_{cost}(c)$. De beloning omvat straffen voor tokengebruik, runtime en duur (aantal LLM-aanroepen).

2. Hiërarchische beleidsdecompositie

Om de combinatorische complexiteit te beheersen, wordt het beleid $\pi_{arc}$ opgesplitst in twee niveaus:

• Structuurbeleid ($\pi_{struct}$): Selecteert de workflowtopologie, tooltoewijzing en budgetniveaus.
• Promptbeleid ($\pi_{prompt}$): Stelt autoregressief specifieke promptinstructies samen uit een bibliotheek met semantische fragmenten op basis van de structurele keuze.
• Actiemasking: Om structurele ongeldigheid te verwerken (bijvoorbeeld het toewijzen van tools aan een "Direct"-workflow voor één agent), past het systeem actiemasking toe om ongeldige configuraties tijdens het trainen te verwijderen.

3. Trainingspijplijn

Het trainingsproces combineert Versterkingsleer (RL) met Supervised Fine-Tuning (SFT):

1. RL-fase: Gebruikt Proximal Policy Optimization (PPO) met gevormde beloningen om het ontwerpruimte te verkennen. De beloningsfunctie wordt ontbonden in termen voor correctheid, stapstraffen, tokenstraffen en toolvorming om de discrepantie tussen tooltoewijzing en daadwerkelijk gebruik aan te pakken.
2. SFT-verfijning: Nadat RL convergeert, filtert het systeem de replay-buffer op "elite"-trajecten (correcte antwoorden met hoge beloningen). Een fase van supervised fine-tuning distilleert deze succesvolle strategieën vervolgens in de beleidsnetwerken. Deze stap stabiliseert het leren, vermindert variantie en biedt een prestatievloer.

4. Theoretische garanties

Het artikel stelt twee theoretische resultaten vast:

• Convergentie: De SMDP-formulering staat een unieke optimale waardenfunctie $Q^*$ toe, waardoor het RL-doel goed gedefinieerd is.
• Beleidconcentratie: De SFT-fase garandeert dat het uiteindelijke beleid zich concentreert op configuraties met hoge beloningen, waardoor een minimumprestatiedrempel wordt gewaarborgd.

Belangrijkste bijdragen

1. SMDP-formulering: De auteurs presenteren agentconfiguratie als een SMDP-probleem, waarbij workflows worden behandeld als tijdelijk uitgebreide opties om variabele rekenkundige voetafdrukken op natuurlijke wijze te verwerken.
2. ARC-framework: Introductie van een lichtgewicht, hiërarchisch beleid dat dynamisch queryspecifieke configuraties (workflow, tools, budget, prompts) selecteert zonder de achterliggende LLM bij te werken.
3. Hybride training: Een pijplijn die gemaskerde PPO combineert met SFT op elite-trajecten om het leren te stabiliseren onder schaarse beloningen en consistentie te verbeteren.
4. Empirische validatie: Uitgebreide experimenten die aantonen dat het leren van per-query configuraties een superieur alternatief is voor statische ontwerpen.

Experimentele resultaten

De auteurs hebben ARC geëvalueerd op redeneer-, tool-gebruik- en agent-benchmarks met behulp van Qwen 2.5 7B en Gemini 2.5 Flash Lite.

• Redeneertaken: ARC verbeterde de gemiddelde redeneernauwkeurigheid met 31,3% ten opzichte van tool-verrijkte LLM's die qua budget waren afgestemd. Op GSM8k behaalde ARC een nauwkeurigheid van 88,6%, waarmee het sterke baselines zoals GEPA (83,6%) en RL Episodes (85,2%) overtrof.
• Tool-gebruikstaken: ARC verhoogde de nauwkeurigheid van toolgebruik met 13,95%. Op HotpotQA kwam het overeen met AutoGen (34,1%) en overtrof het de sterkste RL-baseline met 6,3%.
• Agent-taken: Op $\tau$-Bench (Airline) verdubbelde ARC de Pass$^1$-succescijfer van 9,0% naar 18,0%, terwijl vaste promptoptimalisatie (DSPy) de prestaties verlaagde.
• Efficiëntie: ARC bezet Pareto-optimale gebieden in de nauwkeurigheid-kostenafweging, waarbij het hogere nauwkeurigheid bereikt tegen lagere kosten in vergelijking met vaste of zoekopdracht-gebaseerde baselines.
• Generalisatie: De geleerde beleidslijnen toonden matige overdraagbaarheid tussen redeneertaken (bijvoorbeeld van GSM8k naar DROP) en zero-shot schaling over modelgroottes (van 7B naar 72B), wat aangeeft dat structurele priors grotendeels invariant zijn voor schaal.

Betekenis en claims

Het artikel beweert dat het leren van per-query agentconfiguraties een krachtig alternatief is voor "one-size-fits-all"-ontwerpen. De betekenis van dit werk ligt in het aantonen dat:

• Aanpasbaarheid: Een agentsysteem zijn rekenkundige voetafdruk dynamisch kan aanpassen aan de taakmoeilijkheid, waarbij nauwkeurigheid en efficiëntie in evenwicht worden gebracht.
• Schaalbaarheid: Een lichtgewicht controller een enorme combinatorische ontwerpruimte effectief kan beheren zonder de onderliggende LLM opnieuw te trainen.
• Praktijktoepasbaarheid: De combinatie van RL-verkenning en SFT-verfijning een hanteerbare methode biedt voor het navigeren door complexe agentarchitecturen, en biedt een praktische richting voor het bouwen van flexibele en rekenkracht-efficiënte agentsystemen op basis van LLM.

De auteurs benadrukken dat hoewel promptsemantiek kan domineren in domeinen met veel kennis, de structurele optimalisatie die door ARC wordt geboden essentieel blijft voor resource-toewijzing en het verwerken van complexe, meerstapsinteracties.