Technische Samenvatting: PANDO – Efficiënte Multimodale AI-agenten via Online Vaardigheidsdistillatie

Probleemstelling

Recente vooruitgang in multimodale webagenten heeft grotendeels vertrouwd op een "token-economie", waarbij verbeterde prestaties worden gekocht tegen verhoogde inferentiekosten. Dit omvat strategieën zoals het uitbreiden van rollout-zoekopdrachten (bijv. Best-of-N), het toevoegen van verificatiepasses, het uitvoeren van offline tool-ontdekking, of het stapelen van specialistische modellen. Hoewel dit effectief is voor benchmarkscores, creëert deze aanpak een lineair of superlineair verband tussen tokenverbruik en succes, wat leidt tot hoge latentie, energieverbruik en verborgen kosten die gepaard gaan met pre-evaluatie-ontdekking.

De auteurs identificeren drie specifieke mechanische inefficiënties in huidige agenttrajecten op de VisualWebArena (VWA)-benchmark:

1. Herhalingsactielussen: Agenten blijven vaak vastzitten in lussen van herhaalde acties (34–42% van de met afbeeldingen geannoteerde fouten).
2. Verborgen ontdekkingskosten: Systemen zoals WALT maken aanzienlijke offline verkenningskosten, die vaak worden uitgesloten van gerapporteerde per-taken-metrics.
3. Prompt-architectuur inefficiëntie: Tekst/caption-methoden vertonen een lage prompt-cachebenutting (<11%), waardoor ze geen gebruik maken van stabiele prefixes naarmate de agent ervaring opdoet.

De centrale vraag is of een agent efficiënter kan worden naarmate het ervaring opdoet, in plaats van een vaste "redeneerbelasting" te betalen voor elke taak.

Methodologie: Het PANDO-raamwerk

PANDO (vernoemd naar het Pando-espenbos, een enkel wortelsysteem dat vele stammen ondersteunt) is een single-rollout, online vaardigheidsdistillatie-raamwerk. Het werkt volgens een Plan → Act → Reflect → Learn-lus, ontworpen om een gestructureerde Vaardigheidsbibliotheek te laten groeien tijdens evaluatie zonder dat een pre-evaluatie-ontdekkingsbudget vereist is.

Kerncomponenten

1. Gestructureerde Vaardigheidsbibliotheek ($S_t$):

   • De bibliotheek is een disjuncte vereniging van Regels (deterministische, patroongetriggerde veiligheidsmaatregelen) en Routines (geparametriseerde, uitvoerbare programma-als-actie-vaardigheden).
   • Retrieval: In tegenstelling tot op embedding gebaseerde retrieval, maakt PANDO gebruik van letterlijke trefwoordbevatting voor deterministische, controleerbare en cache-vriendelijke retrieval.
   • Levenscyclusbeheer: De bibliotheek is niet statisch; deze groeit online. Succesvolle subtrajecten worden omgezet in routines, terwijl gefaalde trajecten worden bijgehouden.

2. Leren en Distillatie:

   • Inductie: Na een succesvol traject haalt een Leermodule kandidaat-vaardigheden op als deze een herbruikbaar subdoeltemplate en geverifieerde selectormpatronen bezitten.
   • Polariteitspaar-samenvoeging: Om bibliotheek-opblazing te voorkomen, worden routines die alleen verschillen in richting (bijv. "goedkoopste" versus "duurst") samengevoegd tot één geparametriseerde routine $f_{\pm}(x, d)$.
   • Op vertrouwen gebaseerde degradatie: Vaardigheden houden lopende schattingen van vertrouwen bij ($c_s = \alpha_s / (\alpha_s + \beta_s)$). Als een vaardigheid herhaaldelijk faalt, wordt deze verplaatst naar een degradatie-blacklist, waardoor de agent wordt voorkomen dat het kwetsbare routines opnieuw ontdekt en opnieuw faalt.

3. Executie-economie:

   • Hiërarchische routing: Een sterk model (Planner) wordt spaarzaam gebruikt voor decompositie en reflectie. Een goedkoper model (Actor) zorgt voor hoge-frequentie grounding.
   • Visuele compressie: Vermindert de tokenlast van de dominante Actor-term door visuele invoer te comprimeren.
   • Cache-bewuste prompting: De prompt-indeling is gestructureerd om stabiele instructies en vaardigheidssamenvattingen vóór vluchtige observaties te plaatsen, waardoor de KV-cache-benutting wordt gemaximaliseerd naarmate de bibliotheek groeit.

4. Kosten-decompositie:
   Het artikel formaliseert de agentkosten in vier additieve termen:
   $$C(\pi; B) = \frac{C_{pre}}{|B|} + N_{rollout} C_{exec} + C_{verify} + C_{induce}$$
   PANDO streeft naar $C_{pre}=0$ (geen offline ontdekking), $N_{rollout}=1$ (single rollout), en een kleine $C_{induce}$ die strikt binnen de taakstroom wordt betaald, terwijl $C_{exec}$ wordt geminimaliseerd door hergebruik van vaardigheden.

Belangrijkste Bijdragen

1. Token-economische framing: De auteurs formaliseren een kostenidentiteit die pre-evaluatie-ontdekking, rollout-schaling, verificatie en online inductie scheidt, en betogen dat huidige benchmarks deze verschillende kostenvaluta's vaak verdoezelen.
2. Gestructureerd vaardigheidsleer-raamwerk: PANDO integreert op patronen geïndexeerde regels, geparametriseerde routines, online distillatie, polariteitspaar-samenvoeging, op vertrouwen gebaseerde degradatie en cache-bewuste prompting in één enkele agent.
3. Intrinsieke efficiëntiemetrics: Naast Succesratio (SR) introduceert het artikel Actieherhalingsratio (ARR), Stap-overheadratio (SOR) en Prompt-cachebenutting om inefficiënties op trajectniveau te diagnosticeren.
4. State-of-the-art resultaten: PANDO bereikt een nieuwe Pareto-grens op VWA, met hogere succespercentages en aanzienlijk minder tokens dan alle geëvalueerde baselines.

Experimentele Resultaten

Geëvalueerd op alle 910 taken van de VisualWebArena-benchmark:

• Succesratio (SR): PANDO bereikt 58,3%, wat hoger is dan SGV (54,0%) en een reproductie van WALT (45,2%).
• Token-efficiëntie: PANDO gebruikt gemiddeld 115K tokens per taak. Dit is 58% minder dan SGV (275K) en 61% minder dan WALT (294K).
• Intrinsieke metrics:
  • ARR: 9,1% (laagste onder geautomatiseerde methoden), wat effectieve lusvermijding aangeeft.
  • SOR: 1,8× (laagste), wat aangeeft dat gefaalde taken geen buitensporige stapstraffen opleveren.
  • Cache-benutting: 72,4% (hoogste), wat de effectiviteit van stabiele prompt-prefixen aantoont.
• Ablatiestudies (VWA-300):
  • Vaardigheidscomponenten: Regels, routines en online distillatie leverden het merendeel van de SR-stijging (van 38,6% naar 57,3%).
  • Efficiëntiecomponenten: Hiërarchische routing, visuele compressie en cache-bewuste prompting droegen minimaal bij aan SR, maar waren verantwoordelijk voor het merendeel van de tokenreductie (van 147K naar 117K) en verhoogde cache-benutting.
• Leerdynamiek: Het systeem vertoont een "cold-start"-fase met hoge stapenaantallen (~30 stappen/taak) die stabiliseert naar ~8,5 stappen/taak naarmate de bibliotheek rijpt. De vaardigheidsbibliotheek groeide van 12 zaadroutines naar 47 geïnduceerde routines (32 actief na degradatie) over de stroom.

Betekenis en Claims

Het artikel stelt dat PANDO aantoont dat vooruitgang in webagenten niet uitsluitend hoeft te worden gekocht via verhoogde rollouts, verborgen ontdekkingsbudgetten of per-stap specialist-stapeling.

• Hergebruikbaarheid als kapitaal: De kerninzicht is dat eerdere tokenuitgaven herbruikbaar kapitaal moeten worden. Door ervaring te distilleren in een gestructureerde, controleerbare bibliotheek, verlaagt de agent zijn marginale inferentielast na verloop van tijd.
• Transparantie: In tegenstelling tot black-box vectoropslag of offline ontdekkingsfasen, is de vaardigheidsbibliotheek van PANDO inspecteerbaar, deterministisch en stabiel onder prompt-caching.
• Benchmarkrapportage: De auteurs betogen dat computer-gebruiksbenchmarks SR moeten rapporteren naast ruwe tokens, aandeel in gecachete tokens, verborgen ontdekkingsuitgaven en latentie om een volledig beeld van agent-efficiëntie te bieden.

Het artikel concludeert dat PANDO een nieuw Pareto-optimale punt bereikt: hogere nauwkeurigheid met lagere marginale kosten, wat suggereert dat "efficiëntie niet wordt bereikt door minder te doen, maar door te zorgen dat wat wordt gedaan, ergens naartoe gaat."