Technische Samenvatting: Wanneer Hercommitteren: Temporele Abstractie-ontdekking voor Lange-Horizon Visueel-Taalredenering

Probleemdefinitie

Redeneertaken met een lange horizon (bijvoorbeeld het oplossen van complexe puzzels, navigeren in rommelige omgevingen) vereisen dat agenten herhaaldelijk beslissingen nemen over acties, deze uitvoeren, uitkomsten observeren en opnieuw plannen. Een kritieke ontwerpkies in deze systemen is de commitmentdiepte ($h$): het aantal primitieve acties dat een agent open-loop uitvoert (zonder de omgeving opnieuw waar te nemen) tussen opnieuw planningsstappen.

Huidige systemen stellen $h$ doorgaans vast als een handmatig afgestelde scalair hyperparameter. Dit creëert een fundamenteel afwegingsprobleem:

• Kleine $h$: Frequent opnieuw plannen vermindert cumulerende uitvoeringsfouten, maar brengt hoge computerkosten (meer forward passes) en besluitlatentie met zich mee.
• Grote $h$: Vermindert de overhead van opnieuw plannen, maar verhoogt het risico op cumulerende fouten naarmate de verbeelde staat afwijkt van de gerealiseerde staat.

Het artikel betoogt dat een vaste $h$ suboptimaal is, omdat de lokaal optimale commitmentdiepte varieert afhankelijk van de huidige staat, taakdynamiek en beschikbaar beslissingsbudget. Het kernprobleem wordt geformuleerd als een budget-beperkte optimalisatie: het maximaliseren van taaksucces (het oplossen van de puzzel) onderworpen aan een cap ($K$) op het aantal beslispunten (herplanningen) per episode, waarbij het beleid zowel de commitmentdiepte $h_k$ als de actiesequentie $a_k$ op elke beslissingsstap $k$ gezamenlijk moet selecteren.

Methodologie

De auteurs stellen een geïntegreerd, model-intrinsiek Visueel-Taalmodel (VLM)-beleid voor dat leert de commitmentdiepte adaptief te bepalen.

1. Architectuur

Het beleid is gebouwd op een gedeelde backbone (Qwen2.5-VL-7B) met twee onderscheiden koppen:

• Dieptekop ($\pi_h$): Een categorische kop die de commitmentdiepte $h_k \in \{1, 2, 4, 8\}$ voorspelt op basis van de huidige staatsrepresentatie.
• Actiekop ($\pi_a$): Een autoregressieve decoder die een sequentie van primitieve acties van lengte $h_k$ genereert, geconditioneerd op de staat en de voorspelde diepte.
• Open-loop uitvoering: Zodra $h_k$ en $a_k$ zijn voorspeld, voert de agent de sequentie uit zonder het VLM opnieuw te bevragen of tussenliggende staten opnieuw te coderen.

2. Trainingspijplijn

Het model wordt getraind via een tweestapsproces:

• Fase 1: Supervised Fine-Tuning (SFT): De actiekop wordt getraind op "counterfactuele macro-actie"-data. Voor elke staat op een experttraject wordt het model getraind om actieprefixen van alle toelaatbare lengtes ($h \in \{1, 2, 4, 8\}$) te voorspellen. Cruciaal wordt de dieptekop niet getraind tijdens deze fase; deze blijft ongetraind (vlakke prior) om te voorkomen dat het beleid voorafgaand aan versterkingsleer naar een specifieke diepte wordt bevooroordeeld.
• Fase 2: Reinforcement Learning (RL): Beide koppen worden gezamenlijk fijnge tuned met GRPO (Group Relative Policy Optimization). De beloningsfunctie combineert een binair succes-signaal (opgelost/niet opgelost) met een dichte beloning gebaseerd op de reductie in de optimale oplossingsafstand (afgeleid van een exacte solver, uitsluitend gebruikt voor training). Het doel moedigt het beleid aan om de diepte te selecteren die het succes maximaliseert terwijl verspilde acties worden geminimaliseerd.

3. Theoretische Grondslag

Het artikel biedt een theoretisch model dat aantoont dat als de lokaal optimale commitmentdiepte $h^*(s)$ varieert over staten (wat empirisch is geverifieerd via een orakelverdeling), een staat-geconditioneerd adaptief beleid strikt domineert boven elke vaste-diepte-strategie wat betreft de verwachte log-succes. Dit geldt mits de fout op commitmementniveau sublineair groeit met de diepte.

Belangrijkste Bijdragen

1. Probleemformulering: De auteurs formaliseren "wanneer hercommitteren" als een budget-beperkt optimalisatieprobleem en bewijzen theoretisch dat vaste-dieptestrategieën suboptimaal zijn zolang de optimale diepte varieert over staten.
2. Geïntegreerd Adaptief Beleid: Zij introduceren een enkele VLM-architectuur met een leerbare dieptekop en actiekop, getraind end-to-end zonder hulpplanners of aparte dieptepredictoren.
3. Infrastructuur: Zij publiceren een visueel-taal puzzelomgeving met een door een solver onderbouwde data-generatiepijplijn voor Sliding Puzzle en Sokoban, waardoor een gecontroleerde meting van lange-horizon redenering mogelijk wordt.

Experimentele Resultaten

De methode werd geëvalueerd op Sliding Puzzle en Sokoban, twee taken met bekende dynamiek maar variërende foutkarakteristieken (herhaalbaar versus niet-herhaalbaar).

• Pareto-dominantie: Het adaptieve beleid domineert strikt in de Pareto-zin elke niet-degenererende vaste-diepte-baseline ($h \in \{1, 2, 4, 8\}$). Het bereikt hogere oplospercentages met minder primitieve acties per episode.
  • Sliding Puzzle: 56,3% oplospercentage (tegenover 43,8% voor de beste vaste) met ongeveer 25% minder acties.
  • Sokoban: 35,9% oplospercentage (tegenover 32,8% voor de beste vaste) met ongeveer 25% minder acties.
• Vergelijking met Frontier-modellen: Ondanks het gebruik van een 7B-parameter backbone, presteert het fijngetuned adaptieve beleid beter dan frontier gesloten-bronmodellen (GPT-5.5, Claude Sonnet, Gemini 3.1 Pro) en significant beter dan alle geteste open-gewicht VLM's (8B–78B), die in zero-shot settings 0% scoorden.
• Mechanisme-analyse:
  • Staatsconditionering: Het beleid leert kortere commitments te gebruiken ($h \approx 1-4$) in "ruisige" of ver-van-doel staten waar vooruitgang onzeker is, en langere commitments ($h \approx 6-8$) in "schone" staten nabij het doel.
  • Efficiëntie: De verbetering komt voort uit het oplossen van dezelfde gevallen via rechtstreekse trajecten (minder verspilde of achterwaartse acties), niet door het oplossen van eenvoudigere gevallen.
  • Robuustheid: De prestatiewinsten blijven bestaan over verschillende random seeds en trainingsbudgetten, en de diepteverdeling stort niet in tot een enkele vaste waarde.

Betekenis en Claims

Het artikel claimt dat temporele abstractie moet worden behandeld als een dynamische, staat-geconditioneerde controlevariabele in plaats van een vaste architecturale hyperparameter.

• Suboptimaliteit van Vaste Diepte: Het werk demonstreert dat handmatig afstemmen van een enkele commitmentdiepte ontoereikend is voor lange-horizontaken waar staatonzekerheid en foutpropagatie aanzienlijk variëren.
• Leerbaar Abstractie: Door de beslissing "wanneer opnieuw te plannen" als onderdeel van het beleid zelf te behandelen, leert het model de kosten van opnieuw plannen af te wegen tegen het risico van cumulerende fouten, waardoor superieure efficiëntie en oplospercentages worden bereikt.
• Generaliseerbaarheid: De auteurs suggereren dat deze aanpak toepasbaar is op bredere domeinen van lange-horizon redenering, zoals webagenten (bepalen hoeveel stappen te zetten voordat een pagina opnieuw wordt gelezen) of code-agenten (bepalen hoeveel bewerkingen te maken voordat de buffer opnieuw wordt geëvalueerd), hoewel hun empirische validatie momenteel beperkt is tot puzzeldomeinen.

Het artikel concludeert dat het vermogen te leren hoe lang te committeren even kritiek is als het leren waarop te committeren, en een weg biedt naar efficiëntere en robuustere autonome agenten in complexe omgevingen.