VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

Titel: VLN-NF: Feasibility-Aware Vision-and-Language Navigation with False-Premise Instructions

1. Het Probleem

Traditionele benchmarks voor Vision-and-Language Navigation (VLN) gaan er standaard van uit dat instructies haalbaar zijn en dat het genoemde doelobject altijd aanwezig is in de gespecificeerde omgeving. In de echte wereld maken mensen echter vaak fouten bij het geven van instructies aan robots (bijvoorbeeld: "pik het bord op dat op de tafel in de keuken ligt", terwijl het bord ergens anders staat).

De huidige VLN-agenten zijn hier niet op voorbereid:

• Ze gaan er vaak van uit dat het doel bestaat en zoeken tot in het oneindige of hallucineren ze een object dat er niet is.
• Ze hebben geen mechanisme om expliciet te melden dat een doel niet gevonden kan worden (NOT-FOUND) op basis van voldoende bewijs.
• Bestaande methoden lijden vaak onder "premature abstention" (te vroeg stoppen met zoeken) of falen in het verzamelen van bewijs in gedeeltelijk waarneembare 3D-omgevingen.

Er is een behoefte aan een benchmark en een methode die agenten in staat stelt om instructies met een valse premisse (false-premise) te herkennen, de ruimte grondig te verkennen om afwezigheid te bewijzen, en daarop te reageren met een expliciete NOT-FOUND-uitvoer.

2. Methodologie

De auteurs introduceren drie hoofdcomponenten om dit probleem aan te pakken:

A. VLN-NF Dataset en Constructie

• Basis: De dataset is gebaseerd op het bestaande REVERIE-dataset (op Matterport3D-omgevingen).
• Generatiepijplijn: Een schaalbare pipeline wordt gebruikt om haalbare instructies om te zetten in onhaalbare (false-premise) instructies:
  1. Rewriter (LLM): Een Large Language Model (LLM) vervangt het oorspronkelijke doelobject door een plausibel alternatief dat niet in de specifieke kamer aanwezig is, terwijl de context van de instructie behouden blijft.
  2. Verifier (VLM): Een Vision-Language Model (VLM) controleert via open-vocabulary detectie of het nieuwe doelobject daadwerkelijk afwezig is in alle beelden van de doelkamer.
• Resultaat: Een dataset met gepaarde instructies: één haalbaar (FOUND) en één onhaalbaar (NOT-FOUND), met dezelfde navigatiecontext.
• Referentie-exploratie: Omdat exploratiepaden onderbepaald zijn, definiëren de auteurs een referentieprotocol voor exploratie (lokaal zoeken bij sterke aanwijzingen, of een grotere kamer-sweep zonder aanwijzingen) om de efficiëntie van de zoektocht te evalueren.

B. Evaluatiemeta: REV-SPL

De traditionele Success Rate en Success weighted by Path Length (SPL) zijn onvoldoende voor deze taak. De auteurs introduceren REV-SPL (Reach–Explore–Verify SPL), die drie aspecten combineert:

1. Reach: Het bereiken van de juiste kamer.
2. Explore: Het verzamelen van voldoende bewijs (objectdekking) binnen de kamer.
3. Verify: Het nemen van de juiste beslissing (FOUND of NOT-FOUND).
   Deze metric straft te vroeg stoppen af en beloont grondige exploratie voordat een NOT-FOUND-beslissing wordt genomen.

C. ROAM Framework (Room-Object Aware Movement)

Om de uitdagingen aan te pakken, stellen de auteurs een hybride tweestaps-framework voor:

1. Room-Level Navigator (Supervised): Een model (gebaseerd op DUET) dat trainingsdata gebruikt op kamer-niveau om het agent robuust naar de doelkamer te navigeren. Dit lost het probleem op van lange-horizon navigatie in gedeeltelijk waarneembare omgevingen.
2. In-room Explorer (LLM/VLM-driven): Zodra de kamer is bereikt, neemt een LLM/VLM-gebaseerde agent de controle over om het object te zoeken.
   • FREE (Free-space Raycasting Estimation Engine): Om de zwakke ruimtelijke redenering van LLM's te compenseren, wordt een module toegevoegd die raycasting gebruikt om de "vrije ruimte" (clearance) in elke richting te schatten. Dit geeft de LLM een geometrisch signaal om te sturen naar grotere, ongezochte gebieden, wat de exploratie-efficiëntie verbetert.
   • De agent stopt alleen met zoeken en geeft NOT-FOUND als er voldoende bewijs is verzameld (hoge objectdekking) zonder het doel te vinden, of als de zoektocht is uitgeput.

3. Belangrijkste Bijdragen

1. VLN-NF Benchmark: Een nieuwe taak en dataset voor het evalueren van agenten op het omgaan met onhaalbare instructies, gegenereerd via een LLM/VLM-pijplijn met een menselijke foutmarge van <2%.
2. REV-SPL Metric: Een nieuwe evaluatiemeta die de trade-off tussen efficiëntie en grondigheid in de exploratie kwantificeert en de agenten stimuleert om niet te vroeg af te haken.
3. ROAM Framework: Een hybride architectuur die supervisie op kamer-niveau combineert met LLM/VLM-gedreven exploratie, versterkt door een geometrische "free-space" prior (FREE).
4. Empirische Validatie: Uitgebreide experimenten die tonen dat bestaande methoden (zowel supervised als LLM-based) falen in dit scenario, terwijl ROAM aanzienlijke verbeteringen boekt.

4. Resultaten

De experimenten werden uitgevoerd op de val_unseen split van VLN-NF:

• Prestaties: ROAM bereikte een REV-SPL van 6.1, wat een verbetering is van 45% ten opzichte van de beste supervised baseline (DUET, 4.2).
• Vergelijking met LLM-baselines: Pure LLM-baselines zoals NavGPT (1.0 REV-SPL) en SoM-Gemini (1.5 REV-SPL) presteerden slecht, voornamelijk omdat ze moeite hadden met het bereiken van de juiste kamer onder gedeeltelijke observatie.
• Ablatie-studie:
  • Het toevoegen van de Room-Level Navigator verbeterde de "Reach Success Rate" drastisch (van 7.8% naar 59.4%).
  • De toevoeging van de FREE-module verbeterde de objectdekking en de uiteindelijke REV-SPL verder (van 5.6 naar 6.1), wat aantoont dat geometrische cues essentieel zijn voor effectieve exploratie.
• Transfer: ROAM presteerde ook beter op het oorspronkelijke REVERIE-dataset (haalbare instructies), wat aantoont dat de methode robuust is.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de focus verschuift van het simpelweg volgen van instructies naar het kritisch evalueren van de haalbaarheid van instructies in fysieke omgevingen.

• Realisme: Het introduceert een cruciaal aspect van mens-robot interactie: het vermogen om te zeggen "ik kan dit niet vinden" op basis van bewijs, in plaats van te hallucineren.
• Robuustheid: Het toont aan dat hybride systemen (supervised navigatie + LLM redenering + geometrische priors) superieur zijn aan pure benaderingen voor complexe, gedeeltelijk waarneembare taken.
• Toekomst: De auteurs wijzen op de noodzaak van "recovery policies" (bijv. vragen om verduidelijking als een instructie onmogelijk lijkt) en het uitbreiden van de benchmark naar andere vormen van instructiefouten.

Samenvattend biedt VLN-NF een noodzakelijke stap voorwaarts voor het ontwikkelen van betrouwbare robotagenten die niet blindelings instructies volgen, maar contextueel begrijpen en bewijsgericht handelen.