ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

Technische Samenvatting: Episode-Genormaliseerde Conformal Prediction (ENCP) voor Vision-and-Language Navigation

1. Probleemstelling

Vision-and-Language Navigation (VLN) stelt belichaamde agenten (embodied agents) in staat om door fysieke omgevingen te navigeren met behulp van natuurlijke taalinstructies. Een kritieke uitdaging bij het veilig inzetten van deze agenten is de onzekerheidschatting. Sequentiële navigatie is gevoelig voor cumulatieve fouten; één onjuiste actie verandert de staat van de agent en de daaropvolgende observaties, wat potentieel leidt tot taalfalen of fysieke botsingen.

Hoewel moderne VLN-policies hoge succespercentages behalen, zijn standaard betrouwbaarheidsmetrieken (bijv. softmax-waarschijnlijkheden) vaak niet gekalibreerd en overmoedig, vooral wanneer de inzetomgevingen verschillen van de trainingsdata. Bestaande mechanismen voor zelfmonitoring vertrouwen op empirische heuristieken in plaats van formele garanties.

Conformal Prediction (CP) biedt een statistisch kader om voorspellingssets te genereren met gegarandeerde dekking (dat wil zeggen, de set bevat de grondwaarheid-actie met een waarschijnlijkheid van $1-\alpha$). De standaard CP gaat echter uit van uitwisselbare (exchangeable) datapunten. In VLN faalt deze aanname omdat:

1. Stapafhankelijkheid: Acties binnen een enkele episode zijn statistisch afhankelijk vanwege gedeelde historie en causale invloed op toekomstige observaties.
2. Variabele Lengte: Episodes hebben verschillende lengtes.
3. Falen van Stap-gepoolde Kalibratie: Het toepassen van standaard CP op individuele stappen (gepoold over episodes) slaagt er niet in een garantie te bieden dat de correcte actie bij elke stap van een route wordt opgenomen. Dit leidt vaak tot onderdekking, wat betekent dat de werkelijke foutmarge de beoogde risiconiveaus $\alpha$ overschrijdt.

2. Methodologie: Episode-Genormaliseerde Conformal Prediction (ENCP)

De auteurs stellen ENCP voor, een post-training framework dat de onderliggende navigatiepolicy ongewijzigd laat. ENCP adresseert de afhankelijkheids- en variabele lengteproblemen door de kalibratie-eenheid te verschuiven van individuele stappen naar volledige episodes.

Kernmechanismen:

1. Episode-niveau Kalibratie: In plaats van te kalibreren op een pool van individuele stappen, aggregeert ENCP de non-conformiteitsscores van alle stappen binnen een enkele episode tot een enkele scalaire waarde. Specifiek berekent het de maximale genormaliseerde non-conformiteitsscore over de gehele episode. Deze enkele waarde vertegenwoordigt de "worst-case" afwijking voor die trajectorie.
2. Betrouwbaarheids-gecorrigeerde Score Normalisatie: Om de variërende beleid-betrouwbaarheid over stappen heen te behandelen, schaalt ENCP de basis non-conformiteitsscore ($s_{base}$) om met de residuele betrouwheid van de policy.
   • Parameter-vrije variant: Gebruikt een vaste weging $w(x_t) = 1 - p_{max}(x_t)$, waarbij $p_{max}$ de hoogste door de policy toegewezen waarschijnlijkheid is. De genormaliseerde score is:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • Leren-gebaseerde variant: Gebruikt een neuraal netwerk om gewichten te voorspellen op basis van kenmerken zoals entropie, waarschijnlijkheidsverschillen en de index van de stap, getraind om stappen te identificeren waar de policy weliswaar zelfverzekerd is, maar onjuist.
3. Generatie van Voorspellingssets:
   • Een conformal drempelwaarde $\hat{q}(\alpha)$ wordt berekend uit de distributie van de episode-niveau maximale scores op een kalibratieset.
   • Tijdens de testfase bevat de voorspellingsset $C_\alpha(x_t)$ voor elke stap $t$ alle acties $a$ waarvoor geldt dat $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • Act-of-Ask Regel: Als de grootte van de voorspellingsset $|C_\alpha(x_t)|$ een door de gebruiker gedefinieerd budget $\tau$ overschrijdt, verzoekt de agent menselijke assistentie (of draagt de taak over aan een simulator). Zo niet, dan gaat de agent autonoom verder.

Theoretische Garantie:
Onder de aanname dat de kalibratie- en testepisodes uitwisselbaar zijn (bijv. getrokken uit dezelfde distributie), garandeert ENCP dat de grondwaarheid-actie bij elke stap van een testepisode wordt opgenomen met een waarschijnlijkheid van ten minste $1-\alpha$. Dit biedt gelijktijdige trajectdekking, een sterkere garantie dan stap-gewijze dekking.

3. Belangrijkste Bijdragen

1. Identificatie van Standaard CP Falen: Het artikel toont aan dat standaard stap-gepoolde Conformal Prediction faalt om dekking te garanderen in VLN vanwege intra-episode afhankelijkheden, wat vaak resulteert in ernstige onderdekking.
2. Ontwikkeling van ENCP: De auteurs introduceren een episode-niveau kalibratiemethode die scores herschaalt door beleidsbetrouwbaarheid en ze aggregeert via een maximum-operator. Deze constructie verzekert gelijktijdige dekking over het gehele traject.
3. Empirische Validatie: De methode wordt geëvalueerd op vier VLN-policies (DUET, HAMT, R-prev, R-osc) over twee datasets (R2R en REVERIE). De studie omvat:
   • Verificatie van stap-dekkingstargets op seen-to-unseen splits.
   • Vergelijking tussen parameter-vrije en leer-gebaseerde wegingsschema's.
   • Een gesimuleerd hulp-zoekexperiment dat demonstreert hoe de grootte van de voorspellingsset kan triggeren tot menselijke interventie om succespercentages te verbeteren.

4. Resultaten

• Dekkingstargets: Over alle geteste policies en non-conformiteitsscores (THR, APS, RAPS) op de R2R en REVERIE val-unseen splits, slaagde ENCP erin de empirische stap-dekkingstargets te halen (bijv. $\ge 90\%$ dekking bereiken voor $\alpha=0.10$) onder uitwisselbare splits. In tegen tegenstelling hiertoe vertoonde standaard split CP consequent onderdekking.
• Distributieverschuiving: Het artikel merkt expliciet op dat hoewel ENCP de targets haalt onder uitwisselbare splits, de dekking daalt in de "seen-to-unseen" setting (waarbij kalibratie plaatsvindt op bekende gebouwen en testen op onbekende gebouwen). In dit scenario wordt geen aanname gedaan over episode-uitwisselbaarheid, en de formele dekking-garantie geldt strikt genomen niet, hoewel ENCP nog steeds beter presteert dan standaard CP.
• Wegingsvarianten: Het parameter-vrije wegingsschema (gebruikmakend van $1-p_{max}$) behaalde een vergelijkbare dekking als de leer-gebaseerde variant, maar resulteerde in kleinere voorspellingssets en vereiste geen aanvullende model-fitting.
• Nut van Hulpvragen: In een simulatie waarbij de agent de controle overdraagt aan een grondwaarheid-"oracle" wanneer de voorspellingsset-grootte een drempel $\tau$ overschrijdt, verbeterde het succespercentage aanzienlijk. Bijvoorbeeld, op het DUET-model verhoogde het verlagen van de drempel om meer queries te triggeren het succespercentage van 71,2% (geen hulp) naar 98,8% (vragen bij elke non-singleton set), zij het met een hogere "vraag-ratio".

5. Betekenis en Claims

Het artikel claimt dat ENCP een model-agnostische methode biedt voor onzekerheidskwantificering in VLN die formele, eindige-steekproef dekking-garanties biedt over afhankelijke, variabel-lengte trajecten.

• Veiligheid en Betrouwbaarheid: Door een statistisch geldige voorspellingsset te bieden, stelt ENCP agenten in staat om onbetrouwbare stappen te identificeren en hulp van mensen te vragen voordat fouten zich opstapelen, wat een kritiek veiligheidstekort aanpakt in autonome navigatie.
• Praktische Implementatie: De grootte van de voorspellingsset dient als een praktisch signaal voor interventie. De auteurs stellen dat dit een regelbare afweging mogelijk maakt tussen autonomie en veiligheid, waardoor agenten "kunnen weten wanneer ze het niet weten".
• Beperkingen: De auteurs merken bescheiden op dat de closed-loop evaluatie steunt op een gesimuleerd oracle in plaats van menselijke operators. Bovendien gaat de methode uit van een eindige actieruimte, en de dekking-garantie is marginaal over de episode-distributie, wat betekent dat het niet perfect standhoudt onder significante distributieverschuivingen (bijv. onbekende gebouwen) zonder herkalibratie, zoals blijkt uit de geobserveerde daling in dekking in de seen-to-unseen setting.

Samenvattend overbrugt ENCP de kloof tussen theoretische onzekerheidsgaranties en de praktische, sequentiële aard van VLN, en biedt het een robuust mechanisme voor veilige inzet van agenten.