Technische Samenvatting: GroundControl – Het anticiperen op navigatiefouten in Vision-Language Agents via traject-consistente onzekerheidsschattingen

1. Probleemstelling

Vision-Language Navigation (VLN) agents hebben competitieve prestaties bereikt op benchmarks door taalbegrip te combineren met visuele gronding. Benchmark-succesmetrieken (bijv. Success Rate, Success weighted by Path Length of SPL) worden echter pas geëvalueerd nadat een episode is afgerond. Ze bieden geen mechanisme om faaldynamiek terwijl deze zich ontvouwt te detecteren.

In de praktijk ontstaan navigatiefouten vaak geleidelijk door karakteristieke breuken op trajectniveau, zoals:

• Oscillatie: Herhaaldelijk heen en weer bewegen tussen conflicterende acties.
• Stagnatie: Stilstaan nabij afleiders zonder geometrische progressie.
• Inefficiënte omwegen: Het accumuleren van padlengte zonder proportionele reductie in de afstand tot het doel.

Bestaande onzekerheidsproxies (bijv. predictieve entropie over actieverdelingen, token-niveau vertrouwen) vatten ambiguïteit in instantane beslissingen, maar weerspiegelen niet of het resulterende traject consistent blijft met geometrische progressie naar het doel. Een agent kan een hoge stap-gewijze vertrouwen behouden terwijl hij een sequentie van acties uitvoert die tot falen leidt. Het artikel stelt dat onzekerheid in belichaamde navigatie in plaats daarvan de traject-niveau consistentie van doelgerichte dynamiek moet weerspiegelen.

2. Methodologie

A. GroundControl: Traject-consistente onzekerheidsschatter

GroundControl is een interpreteerbare estimator die de evolutie van het afstand-tot-doel signaal ($d_t$) modelleert als een stochastisch dynamisch proces. Het gaat ervan uit dat succesvolle navigatie lokaal consistente geometrische progressie vertoont, terwijl faalmodi statistisch detecteerbare inconsistenties produceren.

1. Constant-Velocity Kalman Filter (KF):
De kern van GroundControl modelleert de afstand-tot-doel als een dynamisch signaal met behulp van een toestandsvector $x_t = [d_t, \dot{d}_t]^\top$, waarbij $\dot{d}_t$ de instantane veranderingssnelheid is.

• Dynamica: $x_{t+1} = Fx_t + w_t$ (Lineair-Gaussische dynamica met een constante snelheid aanname).
• Observatie: $d_t = Hx_t + v_t$.
• Innovatie: De filter berekent de innovatie $\nu_t = d_t - H\hat{x}_{t|t-1}$, die de discrepantie vertegenwoordigt tussen de geobserveerde en voorspelde afstand.
• Statistische Test: De genormaliseerde geïnnoveerde kwadraten ($\nu_t^2 / S_t$) volgen een $\chi^2$-verdeling onder nominale omstandigheden. Persistent grote waarden duiden op een significante afwijking van de verwachte doelgerichte beweging.

2. Per-stap Onzekerheidsscore ($H_t$):
GroundControl aggregeert drie complementaire indicatoren van traject-inconsistentie in een per-stap score:
$$H_t \triangleq \lambda_1 \log \det(\Sigma_{t|t} + \epsilon I) + \lambda_2 H(\alpha_t) + \lambda_3 \frac{\nu_t^2}{S_t}$$

• Posterior Belief Dispersion: $\log \det(\Sigma_{t|t})$ meet de onzekerheid in de schatting van de filtertoestand.
• Actie-niveau Instabiliteit: $H(\alpha_t)$ is de Bernoulli-entropie van het vertrouwen van het beleid in de uitgevoerde actie.
• Statistische Afwijking: De genormaliseerde geïnnoveerde kwadraten term.

3. Episode-niveau Onzekerheidsscore ($U_i$):
Om een enkele score voor een episode te verkrijgen, fuseert GroundControl de piek van de dynamische inconsistentie met vier globale traject-kenmerken:

• Piek Dynamische Inconsistentie: $\tilde{s}_{skf}^i = \sigma(\max_t H_t)$, vangt korte maar significante afwijkingen op.
• Genormaliseerde Progressie ($f_{prog}$): Meet onvoldoende netto reductie in de afstand-tot-doel.
• Monotoniciteit ($f_{mono}$): Bestraft frequente toenames in afstand (niet-monotone evolutie).
• Pad-efficiëntie ($f_{eff}$): Detecteert inefficiënte omwegen relatief aan de cumulatieve beweging.
• Oscillatoir Gedrag ($f_{osc}$): Vangt herhaalde actie-omkeringen op.

De uiteindelijke score is een vaste lineaire fusie:
$$U_i \triangleq w_{skf}\tilde{s}_{skf}^i + w_{prog}f_{prog}^i + w_{mono}f_{mono}^i + w_{eff}f_{eff}^i + w_{osc}f_{osc}^i$$
Lagere waarden van $U_i$ duiden op hogere vertrouwen (consistent traject).

B. Evaluatieprotocol: Selective Risk–Coverage Navigation (SRCN)

Om de kwaliteit van de onzekerheid onafhankelijk van de ruwe taaksucces te evalueren, formaliseren de auteurs Selective Risk–Coverage Navigation (SRCN). Dit protocol meet hoe effectief een onzekerheidsscore episodes rangschikt op basis van falen of inefficiëntie.

• Mechanisme: Episodes worden gesorteerd op oplopende onzekerheid ($U_i$). Naarmate een drempelwaarde $\tau$ toeneemt, worden episodes met een hoge onzekerheid progressief uitgesloten (onthouding/abstention), en wordt de prestatie geëvalueerd op de behouden subset.
• Metrieken:
  • Selectief Risico: De empirische faalratio (of inefficiëntieratio) binnen de behouden episodes.
  • Risk–Coverage Curve: Plot risico tegen de fractie van behouden episodes (coverage).
  • AURC (Area Under the Risk-Coverage Curve): Vat de trade-off samen; lager is beter.
  • E-AURC (Excess AURC): Genormaliseerd ten opzichte van de oracle lower bound (sorteren op ware loss). $E\text{-}AURC = 0$ impliceert perfecte ordening.
• Definities van Loss:
  • Success-based: $\ell_i = 1 - \text{Success}_i$.
  • SPL-based: $\ell_i = 1 - \text{SPL}_i$ (bestraft inefficiënte succesvolle trajecten).

3. Belangrijkste Bijdragen

1. Formalisering van Traject-consistentie: Het artikel vestigt de traject-niveau consistentie van afstand-tot-doel dynamica als een fundament voor onzekerheidsschatting in VLN, bewegend voorbij instantane actie-entropie.
2. GroundControl Framework: Introductie van een lichtgewicht, interpreteerbare estimator die statistisch significante afwijkingen van nominale doelgerichte beweging detecteert met behulp van een Kalman filter en traject-descriptors.
3. SRCN Protocol: Een nieuw evaluatieframework dat de kwaliteit van de onzekerheidsrangschikking isoleert zonder de onderliggende navigatiepolicy te wijzigen, wat een eerlijke vergelijking tussen heterogene onzekerheidsschatters mogelijk maakt.
4. Empirische Validatie: Demonstratie dat het modelleren van afwijking van doelgerichte dynamica een robuust signaal biedt voor het anticiperen op falen, waarbij het superieur is aan entropie, conformal en heuristische baselines.

4. Experimentele Resultaten

De methode werd geëvalueerd op vijf EB-Navigation splits (Base, Common Sense, Complex Instructions, Visual Appearance, Long Horizon) met $N=300$ totale episodes over drie LLM backbones (GPT-4o, GPT-5-mini, Gemini-1.5-Flash).

• Success-Based Ranking (SRCN):

  • GroundControl bereikte een bijna-oracle ordening onder success-based selective risk.
  • Gewogen gemiddelde E-AURC$_{SR}$ = 0.0024 voor het GPT-4o model, wat aanzienlijk beter is dan de entropie, conformal en heuristische baselines.
  • Het voordeel was het meest uitgesproken in Long Horizon taken (waar de succesratio's daalden naar ~16,7%), waar entropie en conformal signalen genaderden naar een willekeurige ordening, terwijl GroundControl dicht bij de oracle bleef. Dit suggereert dat geometrische progressie-dynamica het dominante signaal is voor het detecteren van falen in diepe temporele horizonten.

• SPL-Based Ranking:

  • GroundControl behaalde consequent de laagste AURC en E-AURC over alle modellen en splits bij het evalueren van navigatie-efficiëntie (inefficiëntie).
  • Het identificeerde succesvol trajecten die leidden tot inefficiënte paden (bijv. dwalen, oscillatie) voordat er een terminaal falen optrad.

• Diagnostische Analyse:

  • Distributional Separation: GroundControl produceerde een duidelijke opwaartse verschuiving in onzekerheidsscores voor falende trajecten met beperkte overlap met succesvolle trajecten, terwijl baselines substantiële overlap vertoonden.
  • Risk-Coverage Curves: De methode volgde de oracle boundary nauwgezet, waarbij een lage faalratio behouden bleef, zelfs bij hoge coverage levels.
  • Correlatie: Er werd een sterke negatieve correlatie waargenomen tussen onzekerheidsscores en episode-efficiëntie (SPL), wat aangeeft dat de estimator de degraderende executiekwaliteit effectief vangt.

5. Betekenis en Claims

Het artikel claimt dat traject-consistente onzekerheid een superieur signaal is voor het anticiperen op navigatiefouten vergeleken met instantane beslissingsambiguïteit. Door de afwijking van de verwachte doelgerichte dynamiek te modelleren (met behulp van een constant-velocity Kalman filter), biedt GroundControl een interpreteerbaar en robuust signaal dat:

• Faalmodi (oscillatie, stagnatie, divergentie) detecteert terwijl ze zich ontvouwen.
• Runtime introspectie mogelijk maakt, wat potentieel ruimte biedt voor actieve herstelacties of het stoppen voordat catastrofaal falen optreedt.
• Generaliseert over verschillende VLM backbones en navigatie-splits, inclusief uitdagende long-horizon scenario's waar cumulerende fouten optreden.

De auteurs benadrukken dat deze aanpak de kwaliteit van de onzekerheidsrangschikking isoleert van de onderliggende policy, waarmee wordt bewezen dat geometrische observeerbare grootheden (evolutie van afstand-tot-doel) een model-agnostisch fundament bieden voor betrouwbare inzet van belichaamde agenten.