Technische Samenvatting: Uni-Plan – Plannen met Unified Multimodal Models

Probleemstelling

Recente vooruitgang in Large Language Models (LLMs) en Vision-Language Models (VLMs) heeft de belangstelling gewekt om deze te gebruiken voor besluitvorming en planning. De huidige benaderingen vertrouwen echter voornamelijk op tekstgebaseerde redenering, waarbij visuele inputs vaak alleen in de beginfase worden verwerkt. Deze unimodale beperking belemmert het vermogen van het model om de huidige staat accuraat te representeren en te redeneren over ruimtelijke of visuele dynamiek gedurende het planningsproces. Hoewel sommige werken proberen afbeeldingen te integreren door externe tools aan te roepen (bijv. code-executie voor het plotten of aparte visiemodellen voor segmentatie), missen deze methoden adaptiviteit en generalisatie. Bovendien hebben Unified Multimodal Models (UMMs), die van nature zowel multimodale inputs als outputs ondersteunen, veelbelovende resultaten getoond, maar lijden ze aan een "curse of the horizon". Specifiek hebben ze moeite om als getrouwe dynamische modellen te fungeren, waarbij ze vaak er niet in slagen nauwkeurige volgende observaties te voorspellen, met name in stochastische omgevingen of wanneer precieze causale effecten vereist zijn.

Methodologie

De auteurs stellen Uni-Plan voor, een planningsframework dat een enkel Unified Multimodal Model (UMM) gebruikt om gelijktijdig vier verschillende rollen te vervullen: (i) een policy, (ii) een dynamisch model, (iii) een zelf-discriminator en (iv) een waardefunctie. Het framework is gebouwd op het BAGEL-model, een state-of-the-art open-source UMM.

Kerncomponenten

1. UMM als Dynamisch Model: Het systeem vereist dat het model de volgende visuele observatie ($o_{h+1}$) voorspelt, geconditioneerd op de huidige observatie ($o_h$) en een tekstuele actie ($a_h$). Hoewel standaard UMM's basis beeldbewerking kunnen uitvoeren, falen ze vaak in het handhaven van causale consistentie in complexe of stochastische scenario's (bijv. objectherordening met meerdere geldige uitkomsten).
2. Self-Discriminated Filtering: Om de onnauwkeurigheid van dynamische voorspellingen aan te pakken, introduceren de auteurs een nieuw filtermechanisme. De UMM wordt gezamenlijk getraind voor inverse dynamische inferentie ($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$). Tijdens het plannen genereert het model meerdere kandidaat-volgende observaties. Het opereert vervolgens in de inverse dynamische modus om de actie af te leiden die zou leiden van de huidige staat naar elke kandidaat. Kandidaten worden alleen behouden als de afgeleide actie overeenkomt met de daadwerkelijk uitgevoerde actie. Dit proces, gecombineerd met object-aantal consistentiecontroles, filtert effectief gehallucineerde of ongeldige transities eruit.
3. Planningsalgoritmen:
   • Open-Loop Planning: Gebruikt voor volledig observeerbare omgevingen. De policy (een geprompte UMM) stelt kandidaat-acties voor, en het dynamische model voert deze uit. Een beam search wordt uitgevoerd in de verbeelde staatruimte, waarbij opvolgende staten worden gefilterd via self-discriminated filtering en worden gescoord door een waardefunctie (een gefinetuned UMM die de resterende stappen naar het doel voorspelt).
   • Closed-Loop Planning: Gebruikt voor gedeeltelijk observeerbare omgevingen. Geïnspireerd door het "voorstel-, simulatie- en revisieparadigma", genereert de policy meerdere kandidaat-actiesequenties. Het dynamische model simuleert deze sequenties tot hun horizon, en de waardefunctie selecteert de meest veelbelovende sequentie. De agent voert alleen de eerste $L$ acties uit, observeert de nieuwe staat en plant opnieuw, wat zorgt voor continue feedbackcorrectie.

Trainingsstrategie

In tegen tegenstelling tot veel VLM-gebaseerde planners die fine-tuning met expert-demonstraties vereisen, wordt Uni-Plan getraind op non-expert trajecten. De forward en inverse dynamische modellen worden gefinetuned op transitiedata, terwijl de policy-component geen fine-tuning vereist. De waardefunctie wordt getraind op gelabelde data om het aantal stappen naar een doel te schatten.

Belangrijkste Bijdragen

1. Self-Discriminated Filtering: Een nieuwe techniek waarbij het generatieve model fungeert als zijn eigen discriminator om ongeldige dynamische voorspellingen te filteren, wat de betrouwbaarheid van het dynamische model aanzienlijk verbetert zonder externe verificatietools te vereisen.
2. Unified Planning Framework (Uni-Plan): Een systeem waarbij een enkel UMM de rollen van policy, dynamisch model, zelf-discriminator en waardefunctie integreert, wat geïntegreerde planning mogelijk maakt door gegenereerde visuele inhoud.
3. Superieure Prestaties en Schaalbaarheid: Het framework vertoont substantiële verbeteringen ten opzichte van VLM-gebaseerde methoden in belichaamde besluitvormingstaken. Het bereikt hoge succespercentages zonder expert-demonstraties en vertoont sterke dataschaalbaarheid, waarbij het VLMs overtreft zelfs wanneer ze op dezelfde hoeveelheid non-expert data zijn getraind.

Experimentele Resultaten

De auteurs evalueerden Uni-Plan op zes belichaamde besluitvormingstaken variërend van 2D-navigatie, manipulatie en 3D-navigatie (inclusief FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition en Image-Goal Navigation).

• Prestaties: Uni-Plan behaalde bijna 30% hogere succespercentages vergeleken met open-source VLM-gebaseerde planningsmethoden (inclusief CoT-varianten) over alle taken. Het kwam ook overeen met de prestaties van het krachtige, gesloten GPT-5-Thinking model.
• Ablatieonderzoeken:
  • Dynamisch Model: Gefinetuned BAGEL diende als een zeer generaliseerbaar dynamisch model, wat aanzienlijk beter presteerde dan modellen die vanaf nul zijn getraind op Out-of-Distribution (OOD) lay-outs.
  • Filtering: Self-discriminated filtering bleek cruciaal; het verwijderen ervan leidde tot een significante daling in de planningssuccesratio's, wat bevestigt dat betere zoekalgoritmen een slechte transitie-modellering niet kunnen compenseren.
  • Data-efficiëntie: Uni-Plan bereikte sterke prestaties met slechts 500 trajecten, terwijl VLM-baselines zelfs met vier keer zoveel data geen concurrerende resultaten behaalden.
• Efficiëntie: Door een enkel model te gebruiken om afbeeldingen te genereren in plaats van video's (zoals bij Video Language Planning), bereikte Uni-Plan een ongeveer 10× versnelling in de inferentietijd vergeleken met video-gebaseerde planningsbaselines.

Betekenis en Claims

Het artikel stelt dat Uni-Plan een verschuiving vertegenwoordigt van het gebruik van gegenereerde afbeeldingen louter voor de visualisatie van redeneersporen naar het gebruik ervan als intermediaire stappen voor contrafactisch redeneren. Door meerdere mogelijke toekomsten onder verschillende acties te simuleren, evalueert het model actief alternatieve trajecten in plaats van enkel zijn denkproces te exposeren.

De auteurs beweren dat dit werk een fundament legt voor toekomstig onderzoek naar redeneren en besluitvorming met UMM's. Ze benadrukken dat het vermogen om policy, dynamiek en waardefuncties binnen één model te verenigen, versterkt door self-discriminated filtering, een robuustere en datamentefficiëntere benadering biedt voor embodied AI dan de huidige tekstgecentreerde of tool-afhankelijke paradigma's. Het werk suggereert dat de inherente multimodale generatiecapaciteiten van UMM's, wanneer ze correct worden ingezet, de visuele redeneer- en planningsprestaties aanzienlijk kunnen versterken.