Technische Samenvatting: CrossHA – Eén model trainen om cross-level agentische acties te beheersen via Reinforcement Learning

1. Probleemstelling

Het paradigma van agentische AI verschuift van geengineerde workflows rondom voorgetrainde Large Language Models (LLMs) en Vision-Language Models (VLMs) naar native agentische modellen die ontwikkeld zijn via post-training. Echter, bestaande agenten zijn doorgaans beperkt tot statische, vooraf gedefinieerde actieruimtes (bijv. exclusief het gebruik van API's, GUI-events of robotische commando's). Deze starheid creëert twee fundamentele beperkingen:

1. Broosheid: Specifieke actiebeleid of translatielagen falen vaak in dynamische omgevingen (bijv. API-functies die geblokkeerd worden door CAPTCHA's, of robotische beleid die precisie mist).
2. Onflexibiliteit: Handmatige toewijzing van actieruimtes aan taken beperkt de aanpassingsmogelijkheden. Cruciaal is dat de optimale actieruimte niet alleen varieert over verschillende taken, maar ook binnen een enkele taak op stapniveau. Een "Deep Research"-agent kan bijvoorbeeld efficiënt zoek-API's gebruiken voor informatieverzameling, maar vereist vervolgens precieze GUI-niveau manipulatie om een CAPTCHA te omzeilen.

Huidige benaderingen vertrouwen vaak op complexe, brosse pipelines om transities tussen uiteenlopende actieruimtes te orkestreren of heterogene trajecten samen te voegen zonder het selectiemechanisme expliciet te optimaliseren. Er is een gebrek aan verenigde modellen die autonoom de meest effectieve interface (variërend van high-level API's tot low-level primitieven) kunnen selecteren voor elke stap van een traject op basis van de context.

2. Methodologie: Het CrossHA-framework

Om deze beperkingen aan te pakken, stellen de auteurs CrossHA voor, een verenigd agentisch model dat getraind is om meerdere heterogene actieruimtes te beheersen en autonoom de passende interface te selecteren voor elke stap. Het model wordt getraind via een uitgebreide driefasige pipeline die cold-start supervised fine-tuning (SFT) integreert met een Multi-Turn Group Relative Policy Optimization (GRPO) algoritme.

2.1. Probleemformulering

De taak wordt gemodelleerd als een Markov Decision Process (MDP) met een samengestelde actieruimte $\mathcal{A} = \bigcup_{x=1}^{N} \mathcal{A}_x$, waarbij elke deelruimte $\mathcal{A}_x$ overeenkomt met een afzonderlijke klasse van acties (bijv. low-level motorische controles versus high-level bewegingsprimitieven). Het doel is om de verwachte beloning te maximaliseren terwijl de computationele of operationele kosten verbonden aan verschillende actie-granulariteiten worden bestraft:
$$J = \mathbb{E}\left[\sum_{t} (r_t - \lambda_x \text{cost}(a_t))\right]$$

2.2. Trainingspipeline

Het trainingsproces bestaat uit drie progressieve fasen:

• Fase 1: Mixed-Space Supervised Fine-Tuning (SFT)
  Het model wordt geïnitialiseerd op een gebalanceerde dataset bestaande uit trajecten uit meerdere actie-subruimtes. Het doel is om een robuust basismodel ($M_{mix}$) te construwen dat in staat is om geldige acties over diverse modaliteiten te decoderen en te genereren zonder modale interferentie. In deze fase leert het model syntaxis en semantiek, maar selecteert het nog niet autonoom de optimale actieruimte.

• Fase 2: Single-Turn Reinforcement Learning (STRL)
  Deze fase stelt het model in staat om autonoom de passende actieruimte te selecteren voor directe taakcontexten.

  • Warm-up: Een diversiteit-versterkende SFT-fase genereert kandidaat-acties over alle ruimtes en filtert op succesvolle executies om ground-truth annotaties te creëren.
  • Optimalisatie: Het model wordt gefinetuned met behulp van Group Relative Policy Optimization (GRPO). In tegenstelling tot PPO schat GRPO het voordeel op basis van de relatieve prestaties van een groep gesamplede outputs in plaats van een geleerde waarde-functie. De beloning is actieruimte-agnostisch: krediet wordt toegekend als de geparseerde ruwe actie overeenkomt met de ground truth, ongeacht de gebruikte oppervlaktevorm. Dit moedigt het model aan om de meest betrouwbare actieruimte voor een gegeven input te selecteren.

• Fase 3: Multi-Turn Reinforcement Learning (MTRL)
  Om te optimaliseren voor langdurige redenering (long-horizon reasoning) en traject-efficiëntie, ondergaat het model MTRL.

  • Initialisatie: Een zelf-trainingsstap herlabelt de dataset op basis van de voorkeuren van het STRL-model, wat een sterke prior creëert voor passende actieruimte-selectie ($M_{cs2}$).
  • Trajectoptimalisatie: Het model wordt gefinetuned op een gecureerde taakset met behulp van een binaire episodische beloning (succes/falen) gecombineerd met een straf voor tokenlengte. Dit moedigt de agent aan om een balans te vinden tussen taaksucces en executie-efficiëntie, waarbij bij voorkeur beknopte high-level acties worden gebruikt wanneer mogelijk en wordt overgeschakeld naar fijnmazige atomaire acties wanneer nodig.

3. Belangrijkste Bijdragen

1. CrossHA Model: Een verenigd agentisch model dat in staat is om heterogene actieruimtes te beheersen en autonoom de context-gepaste interface te selecteren zonder afhankelijk te zijn van menselijk gedefinieerde heuristieken.
2. Uitgebreid RL-pipeline: De introductie van een trainingsframework dat gebruikmaakt van Multi-Turn GRPO, waardoor de agent leert om adaptief tussen actieruimtes te schakelen binnen een enkel traject om zowel taaksucces als executie-efficiëntie te maximaliseren.
3. State-of-the-Art Prestaties: Demonstratie van superieure generalisatie en robuustheid in langdurige redeneringstaken vergeleken met statische baselines.

4. Experimentele Resultaten

De auteurs evalueerden CrossHA in de open wereld Minecraft (versie 1.16.5), gebruikmakend van de OpenHA benchmark suite die meer dan 800 handmatig ontworpen taken bevat, gecategoriseerd in:

• Mine Blocks: Navigatie en fysieke interactie.
• Craft Items: Complexe GUI-interacties.
• Kill Entities: Overleving en combat.

Belangrijkste bevindingen:

• Prestaties: CrossHA behaalde state-of-the-art prestaties in alle categorieën. Opvallend genoeg bereikte het een 94,7% Finished Tasks (FT) ratio in "Mine Blocks" en 83,3% in "Craft Items", wat de fixed-action baselines aanzienlijk overtreft.
• Generalisatie: Ondanks dat het getraind is op slechts 30 taken (10 uit elke categorie), slaagde CrossHA erin te generaliseren naar meer dan 800 evaluatietaken.
• Ablatie-studies:
  • Mixed Action Spaces: CrossHA convergeerde sneller en bereikte hogere asymptotische prestaties dan single-space baselines (bijv. GroundingHA, MotionHA) tijdens MTRL, wat wijst op verbeterde data-efficiëntie.
  • Noodzaak van STRL: Het opnemen van de STRL-fase verbeterde de trainingsefficiëntie en de uiteindelijke prestaties aanzienlijk, met name bij Out-of-Distribution (OOD) taken.
  • Robuustheid: Terwijl single-space agenten een hoge prestatie lieten zien op In-Distribution (ID) taken maar scherp daalden op OOD-taken, behield CrossHA een kleinere generalisatiekloof, wat suggereert dat dynamische actieruimte-selectie overfitting vermindert.

5. Betekenis en Claims

Het artikel claimt dat CrossHA een belangrijke stap vormt richting werkelijk generalistische agenten. Door actieruimte-selectie te behandelen als een leerbaar component dat geoptimaliseerd wordt via reinforcement learning, overwint het model de starheid van statische ontwerpen. De resultaten tonen aan dat adaptieve actieruimte-selectie leidt tot superieure generalisatie en robuustheid vergeleken met statische baselines.

De auteurs benadrukken dat het model leert om trade-offs dynamisch te balanceren: prioriteit geven aan high-level acties voor efficiëntie wanneer van toepassing, terwijl fijnmazige atomaire acties worden ingezet voor precieze controle wanneer dat nodig is. Deze capaciteit stelt de agent in staat om complexe scenario's die multi-modale interacties vereisen te afhandelen zonder handmatige interventie.

Toekomstig werk, zoals opgemerkt door de auteurs, omvat het verbeteren van de efficiëntie van multi-turn RL en het uitbreiden van het framework naar real-world robotica-instellingen, waar uitdagingen zoals veiligheid en latentie spelen.