ELLIPSE: Evidential Learning for Robust Waypoints and Uncertainties

Dit paper introduceert ELLIPSE, een methode die op basis van diep evidentiële regressie robuuste waypoints en betrouwbare onzekerheidsmetingen genereert voor mobiele robots in kritieke omgevingen, door middel van domeinverrijking en post-hoc recalibratie om oververtrouwen bij distributieveranderingen te voorkomen.

De kern

Stel je voor dat je een robot wilt leren om trappen op te lopen. Dit is geen gemakkelijke taak: trappen zijn krap, hebben smalle overgangen en de randen zijn vaak onzichtbaar. Als de robot een klein beetje de verkeerde kant op kijkt of een stap verkeerd zet, kan hij vallen of vastlopen.

De meeste robots leren dit door naar een mens te kijken die het al heeft gedaan (dit noemen we "Imitatie Learning"). Maar hier zit een groot probleem: de robot is vaak te zelfverzekerd. Als hij in een situatie komt die hij niet kent (bijvoorbeeld een andere trap dan die hij heeft geoefend), denkt hij nog steeds dat hij het perfect kan, terwijl hij eigenlijk compleet de mist in gaat.

De onderzoekers van dit paper hebben een oplossing bedacht die ELLIPSE heet. Hier is hoe het werkt, vertaald in een simpel verhaal:

1. De "Gokker" vs. De "Waarschuwingslamp"

Stel je voor dat de robot een gokker is die probeert de volgende stap te voorspellen.

• De oude manier: De robot zegt: "Ik ga hierheen!" en dat is het. Hij geeft geen aanwijzing of hij twijfelt.
• De ELLIPSE-methode: De robot zegt: "Ik ga hierheen, maar ik heb een onzekerheidscirkel (een ellips) om die plek getekend."
  • Als de cirkel klein is, weet de robot zeker waar hij moet gaan.
  • Als de cirkel groot is, zegt de robot eigenlijk: "Ik denk dat ik hier moet zijn, maar ik ben niet zeker, dus wees voorzichtig."

2. De "Vliegbrug" (Domain Augmentation)

Het grootste probleem is dat de robot alleen heeft geoefend op de exacte route die de mens heeft gelopen. Als de robot een beetje afwijkt (bijvoorbeeld door een trilling), komt hij in een situatie waar hij nooit voor heeft geoefend. Dan wordt hij weer te zelfverzekerd.

De oplossing: In plaats van duizenden nieuwe mensen te vragen om trappen op te lopen, fotografeert de computer de bestaande foto's op een slimme manier.

• Het is alsof je een foto van een trap neemt en die in Photoshop een beetje scheef trekt, of van een andere hoek bekijkt.
• De robot krijgt deze "vervalste" foto's te zien tijdens het leren. Hierdoor leert hij: "Oh, zelfs als ik een beetje schuin sta of de trap er anders uitziet, moet ik nog steeds oppassen."
• Dit maakt de robot veel robuuster tegen onverwachte situaties.

3. De "Kalibratie" (Isotonic Recalibration)

Soms is de robot nog steeds niet eerlijk over zijn twijfel. Hij denkt misschien dat hij 90% zekerheid heeft, terwijl hij in werkelijkheid maar 50% zekerheid heeft. Dit is gevaarlijk.

De oplossing: De onderzoekers hebben een soort "rekenmachine" toegevoegd die na het trainen de cijfers van de robot corrigeert.

• Stel je voor dat de robot een thermometer is die altijd 2 graden te warm aangeeft. Je zou een sticker op de thermometer plakken die zegt: "Trek 2 graden af."
• ELLIPSE doet dit met zijn onzekerheid. Hij kijkt naar zijn eigen fouten en past zijn "onzekerheids-cirkels" aan zodat ze in de echte wereld kloppen. Als hij zegt "ik ben onzeker", dan is hij het ook echt.

4. De "Slimme Bestuurder" (MPPI Planner)

Nu heeft de robot een kaart met plekken waar hij moet zijn, en cirkels die aangeven hoe zeker hij is. Maar hoe rijdt hij daar naartoe?

De oplossing: De robot heeft een slimme bestuurder nodig die niet blindelings volgt.

• Als de robot zegt: "Ik ben zeker van deze stap", dan rijdt de bestuurder er snel en strak naartoe.
• Als de robot zegt: "Ik ben onzeker over deze stap (grote cirkel)", dan zegt de bestuurder: "Oké, dan ga ik niet te strak om die cirkel heen, maar ik houd wat meer afstand en ik vertrouw ook nog even op de vorige stappen die ik wél zeker was."
• Dit voorkomt dat de robot in paniek raakt of tegen de leuning botst als hij even twijfelt.

Waarom is dit belangrijk?

In de echte wereld (zoals op bouwplaatsen of in huizen) zijn trappen vaak lastig. Robots moeten veilig zijn. Met ELLIPSE kan een robot:

1. Beter omgaan met onverwachte situaties (niet meer te zelfverzekerd zijn).
2. Zelf weten wanneer hij hulp nodig heeft (door de grote onzekerheidscirkels).
3. Veiliger trappen oplopen zonder te vallen, zelfs als hij nog nooit die specifieke trap heeft gezien.

Kortom: ELLIPSE maakt de robot niet alleen slimmer, maar ook bescheidener. Hij leert om te zeggen "Ik weet het niet zeker" in plaats van "Ik weet het wel" als hij eigenlijk de mist in gaat. En dat is precies wat je nodig hebt voor een veilige robot.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "ELLIPSE: Evidential Learning for Robust Waypoints and Uncertainties" in het Nederlands.

Probleemstelling

Mobiele robots die opereren in open werelden en veiligheidskritieke omgevingen (zoals bouwplaatsen of defensie), vertrouwen vaak op Immitatie Learning (IL) voor het plannen van trajecten of waypoints. Hoewel IL-methoden succesvol zijn, hebben ze een groot nadeel: ze zijn kwetsbaar voor distributieveranderingen (distribution shifts).

• Oververzekerdheid: Wanneer een robot zich in een onbekende staat bevindt (bijvoorbeeld afwijkend van de expert-trajecten), neigt het model ertoe om onterecht oververzekerd te zijn. Het model levert dan een foutief waypoint op zonder de bijbehorende onzekerheid te verhogen.
• Veiligheidsrisico's: In scenario's zoals het navigeren over trappen (waar zicht beperkt is en foutmarges klein zijn), kunnen kleine afwijkingen leiden tot catastrofale gevolgen (botsingen, omvallen).
• Bestaande beperkingen: Bestaande methoden voor onzekerheidskwantificering (zoals Monte Carlo Dropout of Ensembles) zijn vaak te traag voor real-time toepassing. Andere methoden (zoals Online Conformal Prediction) vereisen vaak toegang tot ground-truth labels tijdens de deploy-fase, wat in de praktijk kostbaar of onmogelijk is.

Methodologie: ELLIPSE

De auteurs introduceren ELLIPSE (Evidential Learning for Informative Probablistic Waypoint SEquences), een systeem dat waypoints en hun onzekerheid voorspelt in één enkele forward pass. De aanpak bestaat uit vier kerncomponenten:

1. Multivariate Deep Evidential Regression (DER):

   • In plaats van alleen een punt te voorspellen, leert het netwerk de parameters van een Multivariate Student-t verdeling.
   • Dit gebeurt via een Normal-Inverse-Wishart (NIW) prior. Het netwerk voorspelt direct de mean ($\mu$) en de onzekerheidsparameters (aleatorische en epistemische onzekerheid).
   • Dit maakt het mogelijk om in één keer zowel het waypoint als de bijbehorende kansverdeling te genereren, wat veel sneller is dan ensemble-methoden.

2. Lichtgewicht Domein-Augmentatie (Domain Augmentation):

   • Om het probleem van oververzekerdheid bij afwijkingen van het expert-traject aan te pakken, synthetiseren de auteurs nieuwe trainingsdata.
   • Ze genereren LiDAR-puntenwolken vanuit nieuwe, licht afwijkende perspectieven en houdingen rondom de expert-trajecten.
   • Dit wordt gedaan zonder extra demonstraties te verzamelen, maar door bestaande data te transformeren (met behulp van SLAM-pose schattingen en projectie op range images).
   • Doel: Het model leren om correctief gedrag te vertonen wanneer het de "demonstratie-manifold" verlaat.

3. Post-hoc Isotone Herkalibratie (Isotonic Recalibration):

   • Zelfs met augmentatie kunnen onzekerheidsschattingen tijdens deploy (bijv. op onbekende trappen) slecht gekalibreerd zijn (oververzekerdheid).
   • De auteurs passen een Isotone Regressie toe op de Probability Integral Transform (PIT) waarden.
   • Dit proces schaaft de voorspelde onzekerheidsschalen aan zodat de empirische dekking van de voorspellingssets (bijv. 90% van de ground truth binnen de voorspelde ellips) beter overeenkomt met de werkelijke foutenmagnitudes onder distributieverandering.

4. Onzekerheidsbewuste MPPI Planner:

   • De voorspelde waypoints en onzekerheden worden geïntegreerd in een Model Predictive Path Integral (MPPI) planner.
   • In plaats van Euclidische afstand te gebruiken, gebruikt de planner de Mahalanobis-afstand gebaseerd op de voorspelde covariantiematrix.
   • Relaxatie: Als een waypoint een grote onzekerheid heeft (grote semi-hoofdas van de ellips), worden de strictheidsbeperkingen voor dat punt losser gemaakt.
   • Historie: De planner houdt rekening met een reeks historische voorspellingen. Als huidige voorspellingen onzeker zijn, leunt de planner zwaarder op eerdere, betrouwbare voorspellingen om de robot veilig te houden.

Belangrijkste Bijdragen

• Eén-pass Voorspelling: Een onzekerheidsbewuste waypoint-predictor die gebaseerd is op multivariate deep evidential regression, wat real-time inferentie mogelijk maakt.
• Domein-Augmentatie Strategie: Een efficiënte methode om trainingsdata te verrijken met synthetische perspectieven, waardoor de robuustheid van zowel waypoints als onzekerheidsschattingen verbetert zonder extra menselijke demonstraties.
• Isotone Herkalibratie: Een post-hoc methode die de betrouwbaarheid van onzekerheidsschattingen garandeert onder omgevingsveranderingen (zoals onbekende trappen), zonder online labels nodig te hebben.
• Integratie met Planning: Een nieuwe MPPI-planner die Mahalanobis-afstand en historische data gebruikt om te navigeren rondom onzekere gebieden.

Resultaten

De methode werd getest op een Boston Dynamics Spot-robot met een Ouster LiDAR, specifiek voor het navigeren over trappen in diverse, onbekende omgevingen.

• Succespercentage: ELLIPSE behaalde het hoogste succespercentage en vereiste het minst aantal handmatige ingrepen (interventies) vergeleken met baselines zoals BEVFusion en varianten zonder augmentatie of herkalibratie.
• Onzekerheidsdekking:
  • Zonder augmentatie en herkalibratie waren de voorspellingssets te klein en oververzekerd (lage empirische dekking).
  • ELLIPSE (met augmentatie en herkalibratie) bereikte een empirische dekking van ongeveer 90% (de streefwaarde) op zowel agressieve testscenario's als real-world deploy-data, terwijl de voorspellingssets compact bleven.
• Robuustheid: De kwalitatieve analyse toonde aan dat de onzekerheidsbewuste planner (Mahalanobis+Hist) de robot dichter bij het midden van de trap hield en botsingen met leuningen voorkwam, zelfs wanneer individuele waypoints onzeker waren. Baselines zonder deze mechanismen liepen vaak vast of botsten.

Betekenis en Conclusie

ELLIPSE biedt een praktische en veilige oplossing voor het navigeren van robots in complexe, onvoorspelbare omgevingen. De paper benadrukt dat het combineren van evidential learning (voor snelle onzekerheidsschatting), data-augmentatie (voor robuustheid tegen covariatenverschuiving) en kalibratie (voor betrouwbare statistische dekking) essentieel is voor veilige autonome systemen.

De methode is lichtgewicht genoeg voor randapparatuur (edge devices) en elimineert de noodzaak voor dure online menselijke annotatie tijdens de deploy-fase. Dit maakt het een veelbelovende aanpak voor veiligheidskritieke toepassingen zoals bouw, defensie en autonoom rijden, waar het vermogen om onzekerheid te herkennen en daarop te reageren cruciaal is voor het voorkomen van catastrofale fouten.