Technische Samenvatting: PRISM – Perception Reasoning Interleaved for Sequential Decision Making

1. Probleemstelling

De integratie van Large Language Models (LLMs) en Vision-Language Models (VLMs) in belichaamde agenten voor sequentiële besluitvorming staat voor een kritieke "perceptie–redenering–besluitvorming"-kloof. Hoewel LLM's uitblinken in logische redenering en VLMs visuele inputs kunnen verwerken, zijn de huidige benaderingen vaak ontkoppeld. In standaardpipelines genereert een VLM passief een generieke scènebeschrijving, die vervolgens aan een LLM wordt gevoed voor besluitvorming. Deze losse koppeling leidt tot twee primaire problemen:

1. Informatieverlies: VLMs missen vaak taalkritische, fijnmazige visuele details omdat ze de specifieke context van het huidige doel van de agent missen.
2. Hallucinatie en Ruis: Het louter conditioneren van de VLM op het doel kan hallucinaties induceren (het beschrijven van niet-bestaande objecten), terwijl het naïef concateneren van vraag-antwoordparen (QA) met scènebeschrijvingen resulteert in lange, ruisgevoelige prompts die de downstream redenering hinderen.

Bovendien vertrouwen bestaande interactieve methoden vaak op vooraf gedefinieerde vragen of oracle-annotaties, wat hun autonomie en toepasbaarheid in real-world settings beperkt waar dergelijke voorkennis niet beschikbaar is.

2. Methodologie: Het PRISM-framework

PRISM (Perception Reasoning Interleaved for Sequential Decision Making) pakt deze uitdagingen aan door een nauwe, dynamische koppeling tussen perceptie en besluitvorming te vestigen via een Dynamic Question-Answering (DQA) pipeline. Het framework opereert in twee geïnterleefde fasen binnen een doel-geconditioneerde Partially Observable Markov Decision Process (POMDP):

A. Interactieve Doelgerichte Perceptie

In plaats van een eenmalige beschrijving gebruikt PRISM een iteratieve communicatielus tussen een VLM (perceptiemodule, $V_p$) en een LLM (redeneermodule, $R$):

1. Initiële Beschrijving: De VLM genereert een initiële, doel-agnostische beschrijving ($d^t_i$) van de visuele observatie ($o_t$).
2. Identificatie van Gaten & Vraaggeneratie: De LLM analyseert $d^t_i$ ten opzichte van het taaldoel ($g$) om ontbrekende informatie te identificeren. Het genereert een reeks specifieke, doel-relevante vragen ($Q_t$) om de VLM te bevragen.
3. Gerichte Querying: De VLM beantwoordt elke vraag in $Q_t$ op basis van de huidige visuele observatie, wat een reeks antwoorden ($\Lambda_t$) oplevert.
4. Semantische Synthese: Cruciaal is dat de LLM niet simpelweg de ruwe QA-paren concateneert. In plaats daarvan synthetiseert het de initiële beschrijving, vragen en antwoorden tot een compacte, verfijnde definitieve beschrijving ($d^t_f$). Deze stap filtert irrelevante details en hallucinaties weg, terwijl taalkritische elementen worden benadrukt.

B. Sequentiële Besluitvorming

De verfijnde beschrijving ($d^t_f$), samen met het doel en de interactiegeschiedenis, wordt gevoed aan het LLM-beleid ($\pi_\theta$) om de volgende actie ($a_t$) te genereren. Het beleid wordt versterkt met LoRA (Low-Rank Adaptation) adapters die specifiek zijn getraind voor actiegeneratie, terwijl het basis-LLM zijn vooraf getrainde redeneervermogens behoudt.

C. Trainingsstrategie

PRISM maakt gebruik van een tweestaps trainingspipeline uitsluitend binnen de visuele omgeving, waarbij geen gebruik wordt gemaakt van geprivilegieerde tekstuele supervisie:

1. Behavioral Cloning (BC): Het beleid wordt voorgetraind om expert-demonstraties na te bootsen (omgezet naar tekst via de PRISM-perceptiepipeline).
2. Online Reinforcement Learning (RL): Het beleid wordt verder gefinetuned met behulp van Proximal Policy Optimization (PPO). Opvallend genoeg blijft de DQA-perceptielus actief tijdens de RL, waardoor de agent kan leren van online interacties.

3. Belangrijkste Bijdragen

• Dynamic Question-Answering (DQA): Een volledig automatisch mechanisme dat perceptie en besluitvorming nauw aan elkaar koppelt. In tegenstelling tot eerdere werken vereist het geen handmatig ontworpen vragen of oracle-annotaties, aangezien de LLM dynamisch doelgerichte queries genereert.
• Semantische Synthese: Een nieuwe merge-strategie waarbij de LLM QA-interacties synthetiseert tot een beknopte, taakgestuurde beschrijving, waardoor de ruis en verbositeit van naïeve concatenatie wordt vermeden.
• Efficiënte Architectuur: Het framework scheidt perceptie (VLM) van besluitvorming (LLM met LoRA), wat het mogelijk maakt om gevestigde tekstgebaseerde RL-recepten te gebruiken terwijl beslissingen worden gegrond in visuele omgevingen.
• Automatische Pipeline: Het systeem elimineert de noodzaak voor menselijke interventie bij verduidelijking of vooraf gedefinieerde vragensets, wat de autonomie vergroot.

4. Experimentele Resultaten

De auteurs hebben PRISM geëvalueerd op twee benchmarks: ALFWorld (huishoudelijke taken) en Room-to-Room (R2R) (navigatie).

ALFWorld Resultaten

• Prestaties: PRISM presteert aanzienlijk beter dan state-of-the-art beeldgebaseerde modellen. De PRISM BC+RL variant behaalde een gemiddelde Success Rate (SR) van 80%, waarmee het de Idefics2 8B baseline met 12 punten en de VIPERBC+RL baseline met 5 punten versloeg.
• Vergelijking met Oracle: PRISM verkleinde de prestatiekloof met methoden die gebruikmaken van geprivilegieerde tekstuele supervisie (bijv. EMMA, EMAC+) tot een verwaarloosbare marge, en behaalde vergelijkbare prestaties ondanks het gebrek aan toegang tot object-ID's en geoccludeerde staten.
• Ablatie-studies:
  • Architectuur: PRISM presteerde gemiddeld 6–8% beter dan monolithische VLMs en statische modulaire VLM-LLM architecturen ("Raw perception").
  • Merging Strategie: De LLM-synthesebenadering presteerde beter dan zowel de "QA-Only" als de "CONCAT" (naïeve concatenatie) strategieën, wat bevestigt dat het synthetiseren van globale context met taalspecifieke details superieur is aan eenvoudige aggregatie.
  • Vraagkwaliteit: De door PRISM dynamisch gegenereerde vragen bereikten een prestatie binnen 2% van de door mensen geannoteerde oracle-vragen, wat aantoont dat de LLM effectief de informatiebehoeften kan identificeren zonder vooraf gedefinieerde voorkennis.
  • Perceptienauwkeurigheid: Interactieve doelgerichte perceptie verbeterde de nauwkeurigheid van scènebeschrijvingen (gemeten via RougeL, METEOR, BERTScore en LLM-als-judge) aanzienlijk vergeleken met zowel rauwe perceptie als doelbewuste perceptie (die leed onder hallucinaties).

R2R Resultaten

• PRISM behaalde de hoogste Success Rate (46.08%) en Success weighted by Path Length (SPL 43.14) van alle geteste methoden, inclusclusief re-implementaties van DiscussNav en LangNav.
• Het framework demonstreerde een superieure navigatie-efficiëntie, waarbij de Navigation Error (NE) met meer dan 1.4 punten werd verminderd ten opzichte van de gere-implementeerde baselines, wat de bekwaamheid onderstreept om ruis te filteren en relevante taalkundige aanwijzingen te benutten voor ruimtelijke redenering.

5. Betekenis en Claims

Het artikel beweert dat PRISM een belangrijke stap zet richting autonome belichaamde agenten door effectief de kloof tussen perceptie en redenering te overbruggen. De auteurs stellen dat:

• Interleaved Redenering Essentieel is: De nauwe koppeling van perceptie en besluitvorming via DQA compenseert voor de perceptuele beperkingen van standalone VLMs.
• Autonomie boven Voorkennis: Het framework bewijst dat high-performance belichaamde agenten gebouwd kunnen worden zonder afhankelijk te zijn van onrealistische, handmatig ontworpen vragen of geprivilegieerde tekstuele omgevingen.
• Robuustheid: De methode is robuust over verschillende VLM-backbones (Idefics2, Qwen3-VL) en taakdomeinen (manipulatie en navigatie).

De auteurs concluderen dat hoewel hun aanpak de interpreteerbaarheid en autonomie verbetert, het ook de biases van grootschalige pre-trained modellen overneemt. Toekomstig werk wordt geïdentificeerd als het integreren van deze interleaved capaciteiten met lagere-niveau controle-systemen, zoals robotica, om de kloof tussen besluitvorming en fysieke actie te overbruggen.