Technische Samenvatting: CLOSER-VLN

Probleemstelling

Vision-Language Navigation (VLN) heeft aanzienlijk vooruitgang geboekt door de integratie van Large Language Models (LLM's) en Multimodale Large Language Models (MLLM's), wat agenten in staat stelt om natuurlijke taalinstructies in ongeziene omgevingen te volgen zonder taakspecifieke training. Echter, bestaande zero-shot VLN-methoden vertrouwen voornamelijk op een open-loop beslissings-uitvoeringsaanpak. In dit paradigma genereren agenten een kandidaat-actie op basis van instructies en observaties en voeren deze onmiddellijk uit, zonder expliciete verificatie voorafgaand aan de uitvoering.

Deze open-loop strategie is bijzonder fragiel in Aerial VLN (bijv. UAV-navigatie in stedelijke omgevingen). In tegenstelling tot scenario's op de grond, omvat luchtvaartnavigatie langere vliegafstanden, een breder operationeel bereik en striktere betrouwbaarheidseisen. Kleine fouten in tussenliggende acties kunnen snel accumuleren, wat leidt tot significante trajectafwijkingen en uiteindelijk het verlies van het doelwit. Bovendien is Retrieval-Augmented Generation (RAG) toegepast op belichaamde agenten om kennis aan te vullen, maar bestaande methoden gebruiken retrieval doorgaans als een algemene contextversterker vóór of tijdens het redeneren. Ze koppelen retrieval zelden aan actieverificatie om te bepalen wanneer een actie onbetrouwbaar is of hoe deze gecorrigeerd moet worden. Bijgevolg missen huidige methoden een mechanisme om fouten te detecteren en te corrigeren voordat ze de status van de agent beïnvloeden.

Methodologie: CLOSER en CLOSER-VLN

Om deze beperkingen aan te pakken, stellen de auteurs Closed-loop Self-verified Retrieval-augmented Reasoning (CLOSER) voor, een training-policy-vrije methode die navigatie transformeert naar een begrens, iteratief closed-loop proces. Op basis hiervan instantiëren zij CLOSER-VLN, een framework dat specifal is ontworpen voor aerial VLN-taken.

Kernworkflow

In plaats van de eerste voorspelde actie uit te voeren, voert CLOSER-VLN een sequentie van Actie Redeneren $\rightarrow$ Betrouwbaarheidsverificatie $\rightarrow$ Gerichte Retrieval $\rightarrow$ Actie Correctie uit vóór elke omgevingsstap. Deze loop gaat door totdat een actie wordt geaccepteerd of een maximale iteratielimiet ($K_{max}$) is bereikt.

Het framework bestaat uit drie gespecialiseerde componenten:

1. Hiërarchische Reasoner:

   • Dient als de actiegeneratiemodule.
   • Neemt stage-level sub-instructies, omgevingsbeschrijvingen, visuele inputs (Schematic Cognitive Maps voor navigatie/zoeken; ruwe observaties voor lokalisatie) en opgehaalde kennis als input.
   • Genereert een kandidaat-actie en een rationale.
   • Werkt over drie taalfases: Navigatie (naderen van doelgebieden), Zoeken (identificeren van doelknopen) en Lokalisatie (fijnmazige coördinaatvoorspelling).

2. Multidimensionale Actieverifier:

   • Dient als de closed-loop poortwachter om de betrouwbaarheid van acties te beoordelen.
   • Voor Navigatie en Zoeken: Gebruikt een gefinetuned Qwen3-VL-8B model om drie dimensies te evalueren:
     • Instructieconsistentie: Komt de actie overeen met het taalkundige commando?
     • Visuele consistentie: Is de actie gegrond in de semantische cognitieve kaart?
     • Padhaalbaarheid: Vermijdt de actie achteruit vliegen of het buiten de grenzen vliegen?
   • Voor Lokalisatie: Gebruikt een heuristische geometrische controle om te waarborgen dat de voorspelde doelcoördinaat binnen een geldige afstandsdrempel ($\tau_{dist} = 50m$) van de huidige positie valt.
   • Trainingsstrategie: De verifier wordt getraind via een tweestapsproces: Supervised Fine-Tuning (SFT) om basislogica te leren, gevolgd door Group Relative Policy Optimization (GRPO) met een asymmetrische beloningsfunctie. Deze beloningsstructuur straft False Positives (het accepteren van foute acties) zwaar af om een conservatieve afwijzing van onbetrouwbare beslissingen te garanderen.

3. Verificatie-getriggerde Multimodale Retriever:

   • In tegenstelling tot conventionele RAG, wordt retrieval niet onvoorwaardelijk uitgevoerd. Het wordt getriggerd alleen wanneer de verifier een kandidaat-actie afwijst.
   • Bij afwijzing analyseert het systeem de fout (bijv. specifieke falende dimensies) om een gerichte query te genereren.
   • Het haalt relevante exemplaren op uit een stage-aligned externe kennisbank (geconstrueerd uit succesvolle beslissingsfragmenten uit de CityNav trainingsset).
   • Het opgehaalde exemplaar, gecombineerd met de foutanalyse, wordt teruggevoerd naar de reasoner om de beslissing in de volgende iteratie te verfijnen.

Begrensde Inferentie

Om oneindige loops te voorkomen, stelt het systeem een maximale iteratiecount in ($K_{max} = 3$). Als er binnen deze limiet geen actie wordt geaccepteerd, wordt de laatste kandidaat uit de laatste iteratie als fallback uitgevoerd.

Belangrijkste Bijdragen

1. CLOSER Framework: Stelt een closed-loop beslissingscorrectiemethode voor voor VLN die betrouwbaarheidsverificatie introduceert vóór uitvoering en gerichte retrieval triggert enkel bij verificatiefalen, waarmee het probleem van foutdetectie in open-loop systemen wordt aangepakt.
2. CLOSER-VLN Implementatie: Past de CLOSER-methode aan voor aerial VLN, waarbij een begrensd closed-loop proces wordt geïntroduceerd om de betrouwbaarheid in ongeziene stedelijke scenario's te verbeteren.
3. Gespecialiseerde Componenten: Ontwerpt een Multidimensionale Actieverifier (getraind met GRPO voor hoge afwijkingsprecisie) en een Verificatie-getriggerde Multimodale Retriever. Deze componenten werken samen om onbetrouwbare acties te identificeren en correcties uit te voeren met behulp van stage-aligned externe exemplaren.
4. Empirische Validatie: Demonstreert significante prestatieverbeteringen op de CityNav benchmark, waarmee de effectiviteit van closed-loop redeneren over open-loop baselines wordt gevalideerd.

Experimentele Resultaten

Experimenten werden uitgevoerd op de CityNav benchmark (Test Unseen, Validation Unseen, en Validation Seen splits).

• Prestatiewinsten: Op de Test Unseen split behaalde CLOSER-VLN een Success Rate (SR) van 32,01% en een Success weighted by Path Length (SPL) van 21,28%.
  • Dit vertegenwoordigt een relatieve verbetering van 23,6% in SR en een relatieve verbetering van 32,8% in SPL vergeleken met de best presterende zero-shot baseline, GeoNav.
  • Het presteerde ook beter dan supervised baselines (bijv. FlightGPT) en andere zero-shot methoden (bijv. GPT-4o, Greedy).
• Moeilijkheidsgraden: De methode vertoonde consistente verbeteringen over Easy, Medium en Hard moeilijkheidsgraden, waarbij de meest significante winsten (53,3% relatieve SR-verbetering) werden waargenomen bij Harde taken, die lange-afstandsplanning en precieze landmark-grounding vereisen.
• Ablatie-studies:
  • Het verwijderen van de verifier verminderde de SR naar 29,24%.
  • Het gebruik van "Always Simple Retrieval" (retrieval uitvoeren bij elke stap ongeacht verificatie) verslechterde de prestaties zelfs (SR 26,96%) door ruis van irrelevante informatie.
  • Het volledige systeem (Verifier + Adaptive Retrieval) was nodig om optimale resultaten te bereiken, wat de synergetische werking van verificatie en gerichte kennis-supplementatie bevestigt.
• Iteratie-analyse: Prestaties piekten bij $K_{max}=3$. Het verhogen van iteraties naar 4 leidde tot een daling van de prestaties door de introductie van ruis van foutieve retrieval-queries.

Betekenis en Claims

Het paper claimt dat CLOSER-VLN effectief de kritieke beperking van foutaccumulatie in open-loop aerial navigatie aanpakt. Door over te stappen van een "predict-and-execute" paradigma naar een "reason-verify-retrieve-correct" loop, kan het systeem:

• Onbetrouwbare acties detecteren en corrigeren voordat ze de status van de agent wijzigen.
• Ontbrekende kennis dynamisch aanvullen wanneer dat nodig is, waardoor de ruis van ondoordachte retrieval wordt vermeden.
• Robuuste generalisatie bereiken in ongeziene stedelijke omgevingen zonder een taakspecifieke navigatiepolicy te trainen.

De auteurs benadrukken dat de multidimensionale verifier cruciaal is voor veiligheidskritische toepassingen, omdat het voorkomt dat de agent blindelings hallucinerende of geometrisch ongeldige acties uitvoert. De resultaten suggereren dat closed-loop redeneren de betrouwbaarheid van belichaamde agenten in complexe, long-horizon taken aanzienlijk verhoogt, waarbij fouten in één enkele stap catastrofaal kunnen zijn.

Noot: Het paper erkent beperkingen, zoals het incidentele falen van de verifier om complexe geometrische grenzen te detecteren (wat leidt tot false positives in acceptatie), en suggereert toekomstig werk in het optimaliseren van de verifier via incrementele fine-tuning en het verkennen van Group Sequence Policy Optimization (GSPO).