Technische Samenvatting: Multi2 – Hiërarchische Multi-Agent Besluitvorming met LLM-gebaseerde Agents

1. Probleemstelling

De centrale uitdaging die door dit werk wordt aangepakt, is de fragiliteit van Large Language Model (LLM) agents in langdurige interactieve omgevingen. Hoewel recente LLM-gebaseerde agents sterke contextuele redenering vertonen, hebben ze moeite met aanhoudende interactie, waarbij ze primair lijden onder doeldrift (objective drift). Naarmate interacties zich uitstrekken over meerdere beurten, wijken agents vaak af van hun oorspronkelijke doelen door de accumulatie van kleine uitvoeringsfouten en de mismatch tussen hun interne staat en de initiële intentie.

Bovendien vertrouwen bestaande benaderingen vaak op steeds groeiende interactiegeschiedenissen om context te behouden, wat leidt tot token-inefficiëntie. Hoewel hiërarchische decompositie (het opdelen van taken in subdoelen) is voorgesteld om planningsfouten te verminderen, slagen huidige methoden er vaak niet in om stabiele uitvoering te garanderen. Specifiek is de "executor"-component in veel hiërarchische systemen niet expliciet getraind om cumulatieve fouten tijdens interactie te corrigeren, waardoor het systeem kwetsbaar blijft voor loops, schendingen van restricties en prestatievermindering naarmate de taaldoorlooptijd (task horizons) langer wordt.

2. Methodologie: Het Multi2-framework

De auteurs stellen Multi2 voor, een hiërarchisch multi-agent besluitvormingsframework dat taakdecompositie (planning) expliciet ontkoppelt van actie-uitvoering door middel van rolspecialisatie. Het framework opereert op twee onderscheidende systemen:

• Systeem 1 (High-Level Agent): Richt zich op contextbewuste subdoelgeneratie. Het neemt een taakbeschrijving en de huidige observatie als input en geeft een subdoel als output. Dit systeem wordt getraind via Supervised Fine-Tuning (SFT) om consistente, gestructureerde semantische planning te waarborgen.
• Systeem 2 (Low-Level Agent): Is verantwoordelijk voor het uitvoeren van atomaire acties in de dynamische omgeving om het door Systeem 1 verstrekte subdoel te bereiken. Dit systeem wordt getraind via een Offline-to-Online Reinforcement Learning (RL) pipeline.

Trainingspipeline

Het trainingsproces is verdeeld in drie stadia om stabiliteit en continue verbetering te waarborgen:

1. Offline Training (Systeem 1): Systeem 1 wordt gefinetuned met behulp van behavior cloning (SFT) op een high-level dataset ($D_{sys1}$) die taakbeschrijvingen en sequenties van observatie-subdoel paren bevat. Het doel is om de cross-entropy loss te minimaliseren om expert-subdoelen te imiteren.
2. Offline Training (Systeem 2): Systeem 2 wordt geïnitialiseerd met behulp van offline RL op een low-level dataset ($D_{sys2}$) die transities (observatie, actie, beloning, volgende observatie) bevat, geconditioneerd op subdoelen. De auteurs maken gebruik van een actor-critic structuur met een innovatieve loss-ontwerpen:
   • Critic Training: Minimaliseert de Temporal-Difference (TD) error met behulp van in-distribution (ID) waarde-leren om de training te stabiliseren.
   • Actor Training: Gebruikt een policy-anchored advantage term. Deze combineert imitatie van offline acties met een gewogen advantage term die acties aanmoedigt die naar verwachting hogere returns opleveren, wat overmatige imitatie en getextureerde (templated) gedragingen tegengaat.
3. Online Training (Systeem 2 Zelfverbetering): Om continue adaptatie mogelijk te maken, ondergaat Systeem 2 online RL-verfijning. Een nieuwe policy ($\pi_{on}$) wordt bijgewerkt met behulp van een replay buffer die offline data en nieuwe online trajecten mengt. De loss-functie bevat:
   • Een gewogen log-likelihood term die acties met een hoge advantage versterkt.
   • Een Kullback-Leibler (KL) regularisatie term die de online policy beperkt om dicht bij de offline-getrainde policy ($\pi_{off}$) te blijven. Dit voorkomt mode collapse en scherpe policy-verschuivingen, wat stabiele zelfverbetering garandeert.

Architectuur

Multi2 maakt gebruik van een gedeelde pretrained LLM backbone (bijv. Qwen-2.5, Mistral, Llama-3.1) met Low-Rank Adaptation (LoRA). Cruciaal is dat Systeem 1 en Systeem 2 aparte LoRA-adapters gebruiken, waardoor rolspecifieke parametrisering mogelijk is zonder de volledige backbone bij te werken.

3. Belangrijkste Bijdragen

1. Multi2 Framework: Een rolgespecialiseerd hiërarchisch framework dat subdoelplanning (Systeem 1) en actie-uitvoering (Systeem 2) ontkoppelt als afzonderlijke optimalisatieproblemen, wat de instabiliteit van langdurige interactie aanpakt.
2. Geprincipeerde Offline-to-Online RL-doelstelling: Een nieuwe trainingspipeline voor de executor (Systeem 2) die policy-anchored offline leren combineert met KL-geregulariseerde online verfijning. Dit ontwerp sluit expliciet aan bij de rol van de executor om stabiele, sample-efficiënte zelfverbetering mogelijk te maken.
3. Hiërarchische Benchmark Datasets: De release van drie goed gestructureerde hiërarchische datasets voor het trainen en evalueren van interactieve LLM-agents in meerdere omgevingen (ScienceWorld, ALFWorld, TextCraft), wat een gat vult in de beschikbaarheid van consistente hiërarchische data.
4. Empirische Validatie: Demonstratie dat Multi2 consequent beter presteert dan sterke baselines op het gebied van prestaties, token-efficiëntie en robuustheid tegen doeldrift.

4. Experimentele Resultaten

Het framework werd geëvalueerd op ScienceWorld, ALFWorld en TextCraft met verschillende backbone modellen (Qwen-2.5 3B, Mistral 7B, Llama-3.1 8B).

• Prestaties: Multi2 behaalde de hoogste succesratio's over de meeste backbones en evaluatiesplits (In-Distribution en Out-of-Distribution). Bijvoorbeeld, op de ScienceWorld ID split met Llama-3.1 8B behaalde Multi2 een succesratio van 67,61%, vergeleken met 60,48% voor de hiërarchische baseline Glider en 23,23% voor de prompt-gebaseerde ReAct.
• Robuustheid tegen Doeldrift: Multi2 toonde superieure prestaties op moeilijkere taken die langere horizons vereisen. Terwijl prompt-gebaseerde agents scherp degradeerden bij toenemende taakcomplexiteit, en andere gefinetunede baselines dalingen lieten zien van medium naar harde taken, behield Multi2 een consistente prestatie, wat duidt op effectieve mitigatie van doeldrift.
• Token-efficiëntie: Multi2 was aanzienlijk meer token-efficiënt dan de baselines. Door gebruik te maken van hiërarchische, on-demand aanroeping en RL-getunede actiegeneratie, behaalde het een hogere prestatie met minder inference-time tokens vergeleken met prompt-gebaseerde methoden die vertrouwen op lange context windows en in-context demonstraties.
• Ablatie-studies:
  • Rolspecialisatie: Het verwisselen van trainingsparadigma's (het trainen van Systeem 1 met RL en Systeem 2 met SFT) resulteerde in de slechtste prestaties, wat de noodzaak bevestigt van SFT voor planning en RL voor uitvoering.
  • Architectuur: De hiërarchische structuur met rol-specifieke adapters presteerde beter dan single-model en shared-adapter baselines.
  • Loss-ontwerp: De voorgestelde policy-anchored offline loss en de KL-geregulariseerde online loss waren cruciaal voor het verminderen van variantie en het voorkomen van lage-prestatie falen vergeleken met vanilla IQL of AWAC varianten.

5. Betekenis en Claims

Het artikel claimt dat Multi2 een betrouwbare en efficiënte oplossing biedt voor het bouwen van interactieve LLM-gebaseerde agents die in staat zijn langdurige taken op te lossen. De betekenis ligt in:

• Aanpakken van Fundamentele Beperkingen: Het gaat verder dan eenvoudige hiërarchische decompositie door expliciet de executielaag te trainen om cumulatieve fouten te corrigeren, een gat dat is geïdentificeerd in eerdere werken zoals Glider.
• Stabiliteit in Interactie: De combinatie van SFT voor intentiebehoud en KL-geregulariseerde RL voor uitvoering-verfijning biedt een geprincipeerd mechanisme voor stabiele coördinatie over uitgebreide interacties.
• Resource-efficiëntie: Het framework bereikt state-of-the-art prestaties terwijl het tokenverbruik vermindert, wat het praktischer maakt voor real-world deployment.
• Community Resource: Door hiërarchische datasets en code vrij te geven, beogen de auteurs een bredere adoptie en eerlijke vergelijking te faciliteren in de ontwikkeling van hiërarchische besluitvorming voor LLM-agents.

De auteurs positioneren dit werk als een stap naar agentic AI die in staat is om intentie te behouden en effectief aan te passen in dynamische omgevingen, en dragen daarmee bij aan effectievere leeralgoritmen voor interactieve systemen.