🤖 machine learning

Physics-Regularized Machine Learning for Proprioceptive Vehicle Localization Using Onboard Sensors

Dit artikel introduceert PRML2, een hybride framework dat machine learning integreert met een differentieerbare Kalmanfilter om robuuste, real-time voertuiglokalisatie te bereiken met behulp van onboard sensoren, waarbij het met name uitblinkt in omstandigheden met verslechterde sensorprestaties en omgevingen met een lage wrijving.

Oorspronkelijke auteurs: Abinav Kalyanasundaram, Karthikeyan Chandra Sekaran, Wolfgang Utschick, Michael Botsch

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abinav Kalyanasundaram, Karthikeyan Chandra Sekaran, Wolfgang Utschick, Michael Botsch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een auto rijdt in een dichte mist waarbij je de wegwijzers niet kunt zien en je GPS-signaal volledig is verdwenen. Hoe weet de auto waar hij is?

Normaal gesproken vertrouwen auto's op een combinatie van GPS (zoals een kaart) en IMU's (sensoren die versnelling voelen, zoals je evenwichtsorgaan). Maar wanneer de GPS uitvalt, raken de "innerlijke oor"-sensoren van koers, waardoor ze uit de bocht vliegen, net als iemand die rondjes draait en zijn richtinggevoel verliest.

Dit artikel introduceert een nieuw systeem genaamd PRML2 om dit probleem op te lossen. Het leert een auto waar hij zich bevindt met alleen de standaard sensoren die al in de auto aanwezig zijn (zoals wielsnelheid, stuurhoek en remdruk), zonder dat er dure extra camera's of lasers nodig zijn.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: Het "Drijvende" Evenwichtsorgaan

Denk aan een standaard auto-sensor (IMU) als een persoon die in het donker probeert te lopen terwijl hij zijn stappen telt. Als hij 1.000 stappen zet, denkt hij misschien dat hij 1.000 meter heeft gelopen. Maar als hij een iets scheve stap zet, telt die kleine fout snel op. Na een paar minuten denkt hij misschien dat hij in een andere stad is dan hij werkelijk is. Dit wordt drift genoemd.

2. De Oplossing: Een "Slimme Coach" en een "Fysica-Coach"

De auteurs hebben een team van twee "coaches" gecreëerd om de auto op koers te houden:

De Slimme Coach (Machine Learning): Dit is een zeer geavanceerde AI (een "Transformer"-model) die naar de sensoren van de auto kijkt (hoe snel de wielen draaien, hoe hard de remmen worden ingedrukt) en de snelheid en richting van de auto raadt. Het is erg goed in het herkennen van patronen in de ruis, maar soms kan het iets voorspellen dat fysiek onmogelijk is, zoals een auto die sneller versnelt dan de natuurkunde toelaat.
De Fysica-Coach (Het Kalman Filter): Dit is een traditioneel wiskundig regelboek dat de wetten van de natuurkunde kent. Het weet bijvoorbeeld dat een auto niet plotseling kan teleporteren of sneller kan accelereren dan de wrijving van de banden toelaat.

3. Het Geheime Ingrediënt: "Physics-Regularized" Training

In het verleden werkten deze twee coaches apart van elkaar. De AI deed een voorspelling, en het wiskundige regelboek corrigeerde de voorspelling pas achteraf.

In dit nieuwe systeem (PRML2) zijn de twee coaches tijdens het leerproces aan elkaar vastgelijmd.

Stel je voor dat de AI een student is die een toets maakt.
Normaal gesproken beoordeelt de docent (de loss function) alleen het eindantwoord.
In dit nieuwe systeem zit de Fysica-Coach naast de student terwijl deze de toets schrijft. Als de student een antwoord begint te schrijven dat de wetten van de natuurkunde overtreedt (zoals een auto die vliegt), geeft de Fysica-Coach hem een zachte duw terug naar de realiteit voordat hij het antwoord afmaakt.
Omdat het systeem "differentieerbaar" is, leert de AI van deze duwtjes. Het krijgt niet alleen aan het einde een slecht cijfer; het leert hoe het als een fysicus moet denken terwijl het leert van de data.

4. De "Fysica-Bewaker"

Het artikel vermeldt ook een "Physics Guard" (Fysica-bewaker). Denk aan dit als een vangnet of een snelheidsbegrenzer. Zelfs als de AI enthousiast wordt en voorspelt dat een auto 320 km/u rijdt, controleert de bewaker de "wrijvingscirkel" (hoeveel grip de banden op de weg hebben) en zegt: "Ho even, dat is onmogelijk op dit ijzige wegdek. Laten we het beperken tot 80 km/u." Dit houdt de voorspellingen realistisch.

5. De Resultaten: Beter in Sneeuw en Regen

De onderzoekers hebben dit systeem getest op een echte auto.

De Test: Ze reden 60 seconden lang zonder GPS.
De Vergelijking: Ze vergeleken hun nieuwe systeem met oudere methoden (zoals standaard wiskundige filters of andere AI-modellen).
De Uitkomst: Het nieuwe systeem was het meest nauwkeurig. Het vertoonde de minste drift.
De "Lage-Wrijving"-test: Ze testten het ook op een gladde, besneeuwde baan (lage wrijving) die de AI tijdens de training nooit eerder had gezien. Ondanks dat het een nieuwe, lastige omgeving was, presteerde het systeem nog steeds beter dan de anderen. Dit bewijst dat door de AI de "regels van de natuurkunde" te leren, het situaties kan aanpakken waar het niet specifiek voor heeft geoefend.

Samenvatting

Het artikel beweert dat door een krachtige AI te combineren met een wiskundige "fysica-coach" die de AI tijdens de training onderwijst, auto's precies kunnen weten waar ze zijn met alleen de goedkope sensoren die ze al hebben. Dit maakt autonoom rijden veiliger en goedkoper, vooral wanneer GPS uitvalt of het weer slecht is.

Belangrijkste les: Je hebt geen dure nieuwe sensoren nodig om een auto slim te maken; je moet alleen de bestaande sensoren leren om de wetten van de natuurkunde te respecteren terwijl ze leren.

Technische Samenvatting: Physics-Regularized Machine Learning voor Proprioceptieve Voertuiglokalisatie (PRML2)

Probleemstelling

Nauwkeurige voertuiglokalisatie is fundamenteel voor autonome mobiliteit en steunt doorgaans op de fusie van Inertial Measurement Unit (IMU)-data met Global Navigation Satellite System (GNSS)-signalen. Tijdens GNSS-uitval lijdt dead reckoning gebaseerd op commerciële IMU's echter aan snelle accumulatie van drift. Hoewel multi-sensorfusie (bijv. LiDAR, camera's) dit kan mitigeren, verhoogt dit de systeemkosten en complexiteit. Daartegenover staan standaard onboard-sensoren (stuurwielhoek, wielsnelheden, yaw rate) die kosteneffectief en proprioceptief zijn (onafhankelijk van externe signalen), maar die bij gebruik met klassieke Bayesiaanse filters gevoelig zijn voor drift door ruisaccumulatie en modelbeperkingen.

Recente datagestuurde benaderingen hebben veelbelovende resultaten getoond bij het omgaan met sensorruis, maar missen vaak fysieke consistentie en generalisatie over diverse rijomstandigheden heen. Bovendien blijft het potentieel van Machine Learning (ML) om odometrie te verbeteren met uitsluitend standaard onboard-sensoren — zonder afhankelijk te zijn van IMU's of exteroceptieve metingen — onderbelicht. Dit artikel adresseert de uitdaging om robuuste, nauwkeurige en real-time voertuiglokalisatie te bereiken in GNSS-ontzegde omgevingen met uitsluitend onboard-sensoren, terwijl een oplossing wordt gewaarborgd die voldoet aan de fysieke voertuigdynamica.

Methodologie: PRML2-architectuur

De auteurs stellen Physics-Regularized Machine Learning voor Lokalisatie (PRML2) voor, een hybride framework dat een datagestuurd ML-model integreert met een natuurkundig gebaseerd Extended Kalman Filter (EKF). De kerninnovatie is de end-to-end training van het ML-model via een differentieerbaar EKF, dat fungeert als een physics-informed regularisator.

1. Architectuurcomponenten

Transformer-gebaseerd ML-model: Het systeem maakt gebruik van een transformer-architectuur om onboard-sensordata (observatievenster $L$ $L$ ) te verwerken. Het model brengt de sensorinputs in kaart naar voertuigdynamische toestanden ( $z_t$ $z_{t}$ ), inclus\n bij snelheden, versnellingen en hoeksnelheden.
- Physics Guard Layer: Een laag met domeinkennis is ingebed om voorspellingen binnen fysieke limieten te houden (bijv. de cirkel van Kamm voor versnelling op basis van band-wegdek wrijving, maximale snelheid en maximale hoeksnelheid). Dit voorkomt fysiek onmogelijke outputs.
- Onzekerheidskwantificatie: Het model geeft niet alleen gemiddelde schattingen uit, maar ook variantie, wat zorgt voor adaptieve meetruis-covariantie in het daaropvolgende filter.
Differentieerbaar Extended Kalman Filter (EKF): De geschatte dynamische toestanden van het ML-model dienen als "pseudo-metingen" voor een kinematisch EKF. Het EKF werkt recursief de voertuigpose ( $T_k \in SE(3)$ ) bij met behulp van een constant versnellingsbewegingsmodel.
End-to-End Training: In tegen tegenstelling tot traditionele pipelines waar het filter vaststaat, is het EKF in PRML2 op een differentieerbare wijze geïmplementeerd. Dit maakt het mogelijk dat verliesgradiënten (berekend uit het verschil tussen de uiteindelijke EKF-pose en de grondwaarheid) door het filter terugpropageren naar de ML-modelparameters.

2. Physics-Regularized Learning

Het artikel stelt dat het differentieerbare EKF fungeert als een physics regularizer. Door de uiteindelijke lokalisatiefout te minimaliseren via het filter, bestraft het trainingsproces impliciet ML-voorspellingen die de temporele consistentie of fysieke bewegingsmodellen schenden. De verliesfunctie is gedecomposeerd om aan te tonen dat het minimaliseren van de totale fout gelijkstaat aan het minimaliseren van de voorspellingsfout terwijl een regularisatieterm wordt nageleefd die afgeleid is van de innovatie- en winstmatrices van het Kalman-filter.

3. Trainingsstrategie

De training vindt plaats in twee fasen:

Pretraining: Het ML-model wordt puur op data getraind om dynamische toestanden te schatten met behulp van een negative log-likelihood loss.
Fine-tuning: Het model wordt gefinetuned door de lokalisatiefout door het differentieerbare EKF terug te propageren, waardoor fysieke consistentie wordt afgedwongen.

Belangrijkste Bijdragen

PRML2 Framework: Introductie van een nieuw hybride architectuur die een transformer-gebaseerd ML-model combineert met een differentieerbaar EKF voor voertuiglokalisatie met uitsluitend onboard-sensoren (wielsnelheden, stuurhoek, yaw rate, etc.), waardoor de noodzaak voor IMU's of externe signalen vervalt.
Physics-Regularized Learning: Theoretische en empirische validatie dat het integreren van een differentieerbaar Kalman-filter in end-to-end training dient als een physics-gebaseerde regularisator, die fysieke en temporele inconsistenties bestraft en de generalisatie verbetert.
Generalisatie bij lage wrijving: Demonstratie dat het framework effectief generaliseert naar uitdagende condities met lage wrijving (low- $\mu$ ) (zoals sneeuw), een cruciale capaciteit voor veiligheidskritisch autonoom rijden.
Nieuwe Dataset: Publicatie van een nieuwe dataset verzameld onder zware sneeuwval en lage wrijvingscondities om onderzoek naar voertuiglokalisatie onder gedegradeerde sensingscenario's te ondersteunen.

Experimentele Resultaten

De methode werd geëvalueerd op de publiekelijk beschikbare ReV-StED dataset en de nieuwe low-friction dataset van de auteurs.

Dynamische Toestandsschatting: PRML2 presteerde significant beter dan vijf baselines (inclusief klassieke modellen, GRU/LSTM-netwerken en andere differentieerbare filterbenaderingen) bij het schatten van voertuigdynamische toestanden ( $v_x, \omega_z$ , etc.). Specifiek behaalde het een verbetering van 28% in longitudinale snelheid ( $v_x$ ) en een verbetering van 25% in de schatting van de yaw rate ( $\omega_z$ ) vergeleken met zijn pretraining-only variant, wat de effectiviteit van de physics-regularisatie onderstreept.
Lokalisatienauwkeurigheid: Tijdens simulaties van 60-seconden GNSS-uitval behaalde PRML2 de laagste positie Root Mean Squared Error (RMSE) van 1,5 m (vergeleken met 2,1 m voor de op één na beste baseline, RNN-EKF) en de laagste maximale drift.
Generalisatie: Wanneer het werd getest op de ongeziene low-friction (sneeuw) dataset zonder hertraining, behield PRML2 de hoogste nauwkeurigheid (RMSE 2,5 m) en de laagste standaarddeviatie, wat een superieure robuustheid demonstreert vergeleken met andere methoden.
Real-Time Capaciteit: Het systeem werd geëvalueerd op een NVIDIA Orin edge-device en bereikte een inferentie-latentie van 25–32 ms, wat operationeel werken op ongeveer 30 Hz mogelijk maakt, wat voldoet aan de real-time vereisten voor voertuiglokalisatie.

Betekenis en Claims

Het artikel claimt dat PRML2 een robuuste en kosteneffectieve oplossing biedt voor voertuiglokalisatie onder gedegradeerde sensingscondities. Door leren te integreren met physics-gebaseerde priors, overwint het framework de beperkingen van puur datagestuurde methoden (gebrek aan fysieke consistentie) en klassieke filters (gevoeligheid voor ruis en drift).

De auteurs benadrukken dat hun werk de onbenutte potentie van standaard onboard-sensoren voor hoogprecisie lokalisatie aantoont. De belangrijkste betekenis ligt in het bewijs dat differentierbaar filteren effectief deep learning-modellen kan regulariseren, waardoor ze voldoen aan de natuurwetten en generaliseren naar out-of-distribution scenario's (zoals ijzige wegen) zonder dat daarvoor dure extra sensoren nodig zijn. Het werk concludeert dat deze aanpak een levensvatbaar pad biedt naar betrouwbare, proprioceptieve autonomie in real-world omgevingen waar GNSS niet beschikbaar is.