Local Conformal Calibration of Dynamics Uncertainty from Semantic Images

Technische Samenvatting: Lokale Conformale Kalibratie van Dynamische Onzekerheid vanuit Semantische Afbeeldingen

Probleemstelling
Robotische systemen die opereren in real-world omgevingen staan voor aanzienlijke uitdagingen bij de kwantificering van onzekerheid, veroorzaakt door niet-gemodelleerde verstoringen (aleatoire onzekerheid) en modelmismatch (epistemische onzekerheid). Hoewel Conformale Predictie (CP) een distributievrij kader biedt voor het verschaffen van probabilistische garanties op predictieregio's, lijden bestaande CP-methoden in de robotica onder twee kritieke beperkingen:

1. Gebrek aan Discriminatievermogen: Standaard CP levert gemiddelde (marginale) dekkingst garanties over een dataset, maar faalt erin om te onderscheiden tussen state-action regio's met hoge versus lage modelmismatch. Dit verhindert planners om het systeem te sturen naar staten met lagere onzekerheid.
2. Omgevingsspecifieke Datavereiste: Huidige benaderingen vereisen doorgaans kalibratiedata verzameld uit de exacte test-tijd omgeving om geldigheid te waarborgen. Dit is onpraktisch en riskant, aangezien het vereist dat men nieuwe, potentieel gevaarlijke omgevingen (bijvoorbeeld ijzige wegen) doorkruist uitsluitend om het dynamischemodel te kalibreren.

De auteurs adresseren de behoefte aan een algoritme dat bewezen, eindige-steekproef onzekerheidsgaranties kan bieden voor ongezette test-tijd omgevingen door perceptie-informatie te benutten uit visueel vergelijkbare, maar onderscheiden, omgevingen.

Methodologie: OCULAR
Het paper introduceert Observation-aware Conformal Uncertainty Local-Calibration (OCULAR), een methode die een lineair Gaussisch dynamischemodel ($\tilde{f}$) kalibreert met behulp van robot-frame perceptiedata. De kerninnovatie bestaat uit het vervangen van world-frame posities (die omgevingsspecifieke data vereisen) door een geleerde representatie van semantische observaties.

De methodologie verloopt in twee fasen:

1. Offline Kalibratie:

   • Observatieverwerking: Ruwe diepte- en semantische afbeeldingen worden geprojecteerd naar een robot-frame "planar semantic footprint" ($o'_t$). Deze representatie vangt de omgeving voor de robot in terwijl irrelevante world-frame coördinaten worden verworpen.
   • Latente Encodering: Een Convolutional Autoencoder (CAE) wordt getraind op data uit een set kalibratie-omgevingen om de planaire footprints te comprimeren tot een laag-dimensionale latente vector ($\phi_t$).
   • Lokale Partitionering: De inputruimte wordt gedefinieerd als $X = (v_t, a_t, \phi_t)$, waarbij snelheid, actie en de latente observatie worden gecombineerd. Een Decision Tree (DTree) wordt getraind om deze ruimte te partitioneren in regio's ($X_k$) waarbij de nonconformity scores (onovereenstemming tussen $\tilde{f}$ en ground truth) ongeveer constant zijn. Dit wordt bereikt met het LOCART-algoritme om de scorevariantie binnen partitioneringen te minimaliseren.
   • Lokale Kalibratie: Voor elke partition $X_k$ wordt een Split Conformal Prediction (SplitCP) procedure uitgevoerd op een hold-out subset van de kalibratiedata. Dit levert een partition-specifieke schalingsfactor ($\hat{q}_k$) op die de covariantie van de Gaussische predicties aanpast.

2. Online Implementatie:

   • Tijdens operatie in een nieuwe, ongeziene omgeving verwerkt de robot zijn huidige observatie naar de latente ruimte en voert deze door de vooringeschoolde DTree om de huidige partition $X_k$ te identificeren.
   • De voorspelde covariantie van het dynamischemodel wordt geschaald met de corresponderende factor $\xi_k$ afgeleid van $\hat{q}_k$.
   • Deze gekalibreerde onzekerheidsschatting wordt ingevoerd in een Model Predictive Control (MPC) planner. De planner construeert een predictieregio die gegarandeerd de ware volgende staat bevat met waarschijnlijkheid $(1-\alpha)$ en optimaliseert trajecten om regio's te vermijden waar de gekalibreerde onzekerheid hoog is of die obstakels kruisen.

Belangrijkste Bijdragen
De auteurs leveren drie primaire bijdragen:

1. Algoritmevoorstel: Zij stellen OCULAR voor, een algoritme dat bewezen eindige-steekproef garanties biedt op dynamische onzekerheid in een nieuwe, ongeziene omgeving, uitsluitend gebruikmakend van data uit visueel vergelijkbare omgevingen.
2. Theoretische Validiteit: Zij bewijzen dat de pijplijn van het projecteren van observaties, het coderen ervan via een CAE, en het partitioneren via een Decision Tree de uitwisselbaarheid behoudt die vereist is voor Conformale Predictie. Dit maakt lokale (conditionele) dekkingst garanties mogelijk in plaats van slechts globale marginale garanties.
3. Empirische Validatie: Zij valideren de aanpak op een dubbel-integrator systeem onderhevig aan willekeurige verstoringen en aanzienlijke modelmismatch (simulerend gladde oppervlakken). Experimenten maken gebruik van zowel vereenvoudigde planaire sensoren als realistische Isaac Sim-camera's.

Resultaten
Experimenten werden uitgevoerd op vier planaire kaarten en drie Isaac Sim wegscenario's, waarbij OCULAR werd vergeleken met:

• NoCP: Niet-gekalibreerd model (faalt op out-of-distribution (OOD) data).
• SplitCP: Globale kalibratie met behulp van test-omgevingsdata (te conservatief in-distribution, te weinig beschermend OOD).
• LUCCa: Lokale kalibratie met behulp van test-omgevingsdata (vereist omgevingsspecifieke data).

Belangrijkste bevindingen zijn:

• Dekking: OCULAR bereikt de door de gebruiker ingestelde dekkingst waarschijnlijkheid (90%) in zowel in-distribution als OOD regio's (bijvoorbeeld ijzige wegen) zonder enige data uit de test-omgeving te gebruiken. Daarentegen onderschrijft NoCP OOD-regio's ernstig, en SplitCP faalt in het aanpassen aan lokale onzekerheidsvariaties.
• Volumeefficiëntie: OCULAR construeert predictieregio's die slechts 12–15% groter zijn dan een "orakel" optimale regio, wat een hoge volumeefficiëntie aantoont die vergelijkbaar is met methoden die toegang hebben tot test-omgevingsdata (zoals LUCCa).
• Veilig Plannen: In trajectoptimalisatietaken navigeert OCULAR succesvol door regio's met hoge onzekerheid door te vertragen en botsingen te vermijden, met 100% succespercentages in alle geteste kaarten. Methoden zonder kalibratie (NoCP) of met globale kalibratie (SplitCP) resulteerden frequent in botsingen door respectievelijk overoptimisme of excessief conservatisme.

Betekenis en Claims
Het paper claimt dat OCULAR de kloof overbrugt tussen theoretische onzekerheidsgaranties en praktische robotische implementatie. Door perceptie-informatie te benutten om te generaliseren over omgevingen, elimineert de methode de noodzaak voor riskante, omgevingsspecifieke kalibratiedatacollectie. De auteurs benadrukken dat hun garanties niet-asymptotisch en distributievrij zijn, zonder sterke aannames te vereisen over de onbekende real-world systeemdynamica.

De auteurs merken bescheiden op dat hoewel zij één-stap veiligheidsgaranties en heuristische multi-stap planning demonstreren, zij geen rigoureuze theoretische garanties claimen voor multi-stap veiligheid vanwege de niet-uitwisselbaarheid van kaartgegenereerde observaties tijdens uitvoering. Bovendien erkennen zij gevoeligheid voor hyperparameters in de CAE en Decision Tree, en dat het huidige leren van latente representaties ontkoppeld is van de onzekerheidspredictie-utility, wat een richting aangeeft voor toekomstig werk.