💻 computer science

Adaptive Learned State Estimation based on KalmanNet

Dit paper introduceert AM-KNet, een adaptieve hybride state-estimator die modelgebaseerde Kalman-filtering combineert met diep leren om de prestaties van multi-sensor tracking voor autonoom rijden op real-world data aanzienlijk te verbeteren.

Oorspronkelijke auteurs: Arian Mehrfard, Bharanidhar Duraisamy, Stefan Haag, Florian Geiss, Mirko Mählisch

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Arian Mehrfard, Bharanidhar Duraisamy, Stefan Haag, Florian Geiss, Mirko Mählisch

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer ervaren, maar soms wat stijve, navigator hebt die een auto door een drukke stad moet leiden. Deze navigator gebruikt een oude, bewezen methode (een "Kalman-filter") om te voorspellen waar andere auto's, fietsers en voetgangers zullen zijn. Hij is slim, maar hij werkt met vaste regels. Als de regen valt, als de camera verblind wordt door de zon, of als een vrachtwagen plotseling afslaat, kan deze navigator in de war raken omdat zijn vaste regels niet goed passen bij de nieuwe situatie.

Aan de andere kant heb je een jonge, leergierige robot die alles uit ervaring leert. Deze robot is heel goed in het herkennen van patronen, maar hij mist soms het gevoel voor de fysieke wetten van de wereld en kan soms onzekerheid verkeerd inschatten.

Wat is dit onderzoek?
De auteurs van dit paper hebben een nieuwe, hybride navigator bedacht, genaamd AM-KNet. Het is een combinatie van de oude, betrouwbare navigator en de leergierige robot. Ze hebben deze robot getraind om niet alleen te kijken naar de data, maar ook om te begrijpen welke sensor (radar, camera of lidar) hij op dat moment gebruikt en wat voor soort object hij ziet.

Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De "Oogkleppen" voor elke Sensor (Multi-sensor modules)

Stel je voor dat je drie verschillende brillen hebt:

De Radar-bril: Ziet goed door regen en mist, maar is wazig als het gaat om de breedte van een auto.
De Camera-bril: Ziet de vorm en kleur van een auto perfect, maar kan de diepte (hoe ver weg) soms verkeerd inschatten.
De Lidar-bril: Maakt een 3D-tekening van de wereld, maar kan soms last hebben van reflecties.

De oude navigator deed alsof alle brillen hetzelfde zagen. De nieuwe AM-KNet heeft voor elke bril een eigen "specialist" in zijn hoofd. Als de radar-data binnenkomt, schakelt hij de radar-specialist in die weet: "Ah, dit is radar, ik moet de breedte van de auto minder belangrijk vinden." Als de camera-data komt, schakelt hij de camera-specialist in. Hierdoor leert hij de specifieke "ruis" (foutjes) van elke sensor te negeren.

2. De "Context-Bril" (Hypernetwork)

Soms is een auto stil, soms rijdt hij rechtuit, en soms kruist hij je pad. De oude navigator wist niet altijd wat hij moest verwachten.
De nieuwe navigator heeft een hypernetwork (een soort "super-brein" dat de rest van de navigator aanstuurt). Dit super-brein kijkt naar de context:

"Is het een vrachtwagen of een fiets?"
"Rijdt hij in dezelfde richting of kruist hij?"
"Hoe staat hij ten opzichte van onze auto?"

Op basis van deze informatie past de navigator zijn instellingen direct aan. Het is alsof je van een "stadsbril" wisselt naar een "snelwegbril" zodra je de stad uitrijdt. De navigator wordt flexibeler en slimmer.

3. Het "Zekerheids-Compass" (Covariance Schatting)

Een groot probleem bij oude methoden is dat ze vaak denken dat ze 100% zeker zijn, terwijl ze eigenlijk in de war zijn. De nieuwe navigator heeft een extra module die continu zijn eigen "zekerheidsniveau" berekent.
Hij gebruikt een speciale formule (de "Joseph-formule") om te checken: "Hoe goed klopt mijn voorspelling met wat ik nu zie?" Als het niet klopt, zegt hij: "Oké, ik ben niet zeker, ik moet mijn voorspelling aanpassen." Dit voorkomt dat hij blindelings op een verkeerde voorspelling blijft vertrouwen.

Wat is het resultaat?

De auteurs hebben hun nieuwe navigator getest op twee grote datasets met echte verkeersdata (uit Nieuw-Zeeland en Nederland).

De oude navigator (KalmanNet): deed het goed in theorie, maar viel in de praktijk vaak uit elkaar bij echte, chaotische verkeerssituaties.
De klassieke navigator (de oude regels): was stabiel, maar niet zo nauwkeurig bij complexe situaties.
De nieuwe AM-KNet: deed het beter dan allebei. Hij was nauwkeuriger in het voorspellen waar een auto zou zijn, en hij gaf veel eerlijker aan wanneer hij twijfelde.

Kortom:
Dit onderzoek presenteert een slimme, aanpasbare navigator die leert van de specifieke eigenschappen van elke sensor en de situatie op het moment zelf. Het is alsof je een navigator hebt die niet alleen de weg kent, maar ook weet hoe de regen op de camera werkt, hoe de radar door mist prikt, en hoe hij zich moet gedragen als hij een fiets tegenkomt versus een vrachtwagen. Dit maakt zelfrijdende auto's veiliger en betrouwbaarder in de echte wereld.

Titel: Adaptieve Gelernde State Estimation gebaseerd op KalmanNet (AM-KNet)

Auteurs: Arian Mehrfard et al. (Mercedes-Benz AG & Universiteit der Bundeswehr München)

1. Probleemstelling

Hoewel hybride state-estimators die modelgebaseerde Kalman-filtering combineren met geleerde componenten (zoals het oorspronkelijke KalmanNet) veelbelovende resultaten laten zien op gesimuleerde data, presteren ze onvoldoende op real-world automotive data.

De uitdaging: Klassieke filters (KF, EKF, UKF) zijn gebaseerd op Bayesiaanse theorie en fysieke modellen, maar vereisen nauwkeurige aannames over ruis en dynamiek. Pure datagedreven methoden (zoals RNNs of Transformers) missen vaak interpretbaarheid en fysieke consistentie.
Specifiek tekort: Het basis-KalmanNet faalt in realistische scenario's omdat het de statistieken van diverse sensoren (radar, lidar, camera) en de onderliggende fysieke modellen van doelen niet goed leert. Dit leidt tot onnauwkeurige schattingen en instabiel tracking, vooral bij heterogene ruis en complexe verkeerssituaties.

2. Methodologie: AM-KNet

De auteurs stellen Adaptive Multi-modal KalmanNet (AM-KNet) voor, een doorontwikkeling van KalmanNet die specifiek is ontworpen voor multi-sensor autonome rijtoepassingen. De architectuur behoudt de recursieve "predict-update" structuur van de Kalman-filter, maar vervangt de berekening van covarianties en de Kalman-winst door geleerde neurale netwerken.

Kerncomponenten van de architectuur:

Multi-modale Sensormodules:
- In plaats van één gemeenschappelijke verwerking, introduceert AM-KNet sensor-specifieke modules voor radar, lidar en camera.
- Dit stelt het netwerk in staat om de unieke ruiskenmerken van elke sensor (bijv. hoge radiale resolutie maar lage hoekresolutie bij radar) onafhankelijk te leren.
Context Modulation via Hypernetwork:
- Een hypernetwork modificeert de pre-activaties van het hoofdnetwerk op basis van contextuele informatie.
- De input voor dit hypernetwork bevat: doeltype (auto, vrachtwagen, voetganger), bewegingstoestand (stilstaand, dezelfde rijbaan, kruisend) en relatieve pose ten opzichte van het eigen voertuig.
- Dit stelt het model in staat om zich dynamisch aan te passen aan verschillende verkeersscenario's en doelbewegingen.
Covariantie Schatting (Joseph-vorm):
- Om de covariantie schatting robuust te maken, wordt de Joseph-formule gebruikt voor de update van de covariantie.
- De formule wordt opgesplitst: het deterministische deel wordt expliciet berekend, terwijl het ruisafhankelijke deel wordt geleerd door een extra GRU (Gated Recurrent Unit).
- Dit zorgt voor een expliciete en gekalibreerde output van onzekerheid.

Trainingsstrategie en Loss Functie:
De trainingsdoelstelling is een samengestelde loss-functie die fysieke priors encodeert:

Genormaliseerde Kwikkelfout (MSE): Per sensor en statiecomponent, gewogen op basis van sensorkarakteristieken en doeltype.
Negatieve Log-Likelihood (NLL):
- Toegepast op de schattingsfout (state error) en de innovatie (measurement residual).
- Dit dwingt het netwerk om niet alleen de positie nauwkeurig te schatten, maar ook de bijbehorende onzekerheid (covariantie) correct te modelleren.
Flow Consistency: Een score gebaseerd op de consistentie tussen de gemeten verandering en de werkelijke verandering, om de betrouwbaarheid van metingen in de tijd te evalueren.
Staged Training: De training verloopt in fasen: eerst leren van de dynamiek, daarna activeren van statische doel-loss, en tot slot het inschakelen van de NLL-loss voor covariantie-stabilisatie.

3. Belangrijkste Bijdragen

Sensor-specifieke verwerking: Het vermogen om de unieke ruisprofielen van radar, lidar en camera apart te leren, in plaats van ze als identiek te behandelen.
Contextuele Adaptiviteit: Het gebruik van een hypernetwork om het filter te conditioneren op doeltype, beweging en pose, waardoor één model diverse scenario's aankan.
Gekalibreerde Onzekerheid: Implementatie van een covariantie-estimatietak gebaseerd op de Joseph-vorm, gesuperviseerd door NLL-losses, wat leidt tot betrouwbaardere onzekerheidsmetingen dan eerdere datagedreven methoden.
Comprehensieve Loss-functie: Een loss-functie die fysieke kennis integreert over sensorreliabiliteit, doelklasse en bewegingsflow.

4. Resultaten

AM-KNet is getraind en geëvalueerd op twee grote datasets: nuScenes (Boston/Singapore) en View-of-Delft (VoD) (Nederland). De prestaties zijn vergeleken met het basis-KalmanNet, OAFuser (Online Adaptive Fuser) en UKF-EOT (Unscented Kalman Filter Extended Object Tracker).

Nauwkeurigheid (MAE):
- AM-KNet behaalde de laagste Mean Absolute Error (MAE) voor positie en afmetingen (lengte/breedte) op beide datasets.
- Op nuScenes werd de posiefout ongeveer gehalveerd ten opzichte van UKF-EOT en met een factor drie verbeterd ten opzichte van OAFuser.
- Bij VoD presteerde AM-KNet het best op positie en longitudinale snelheid ( $v_x$ ), hoewel UKF-EOT nog iets beter was op laterale snelheid ( $v_y$ ).
Consistentie (NEES & NIS):
- NEES (Normalized Estimation Error Squared): AM-KNet toonde aanzienlijk betere consistentie (dichter bij de ideale waarde) dan de baselines. De baselines vertoonden vaak extreme waarden, wat wijst op oververzekerdheid (ze denken dat ze nauwkeuriger zijn dan ze zijn).
- Op nuScenes bereikte AM-KNet 60,3% consistentie voor positie, terwijl OAFuser en UKF respectievelijk 33,5% en 37,0% haalden.
- Dit bewijst dat AM-KNet beter in staat is om realistische onzekerheidsintervallen te genereren in heterogene omgevingen.

5. Betekenis en Conclusie

Dit werk sluit de prestatiekloof tussen datagedreven state-estimators en klassieke Bayesiaanse filters op real-world automotive data.

Interpreteerbaarheid: Door de Kalman-filterstructuur te behouden, blijft het systeem interpreteerbaar, in tegenstelling tot pure "end-to-end" benaderingen.
Robuustheid: De adaptieve aard van AM-KNet maakt het geschikt voor de complexe, veranderlijke omgeving van autonoom rijden, waar statische ruismodellen vaak falen.
Toekomst: De resultaten tonen aan dat hybride systemen, die de sterktes van fysieke modellen combineren met de leercapaciteit van diepe neurale netwerken, de meest veelbelovende richting zijn voor betrouwbare sensorfusie in ADAS en autonome voertuigen.