💻 computer science

Reliability-Aware Temporal Memory for Long-Term Drift Reduction in End-to-End Visual Odometry under Domain Shift

Dit artikel stelt een betrouwbaarheidsbewust temporeel geheugenframework voor end-to-end visuele odometrie voor dat langetermijndrift onder domeinverschuivingen mitigeert door selectief betrouwbare, nieuwe visuele-temporele representaties op te slaan en adaptief te fuseren, waarmee een superieure trajectnauwkeurigheid en robuustheid wordt bereikt in vergelijking met baseline-methoden.

Oorspronkelijke auteurs: Dhayaa Khudher, Roger Powell

Gepubliceerd 2026-09-29

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhayaa Khudher, Roger Powell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots die binnenshuis navigeren, van bezorgrobots in magazijnen tot autonome stofzuigers, worden geconfronteerd met een fundamentele uitdaging: ze kunnen de wereld niet zien zoals mensen dat doen. Zonder toegang tot het wereldwijde positioneringssysteem (GPS) dat onze auto's en telefoons begeleidt, moeten deze machines vertrouwen op hun eigen camera's om te begrijpen waar ze zijn en waar ze naartoe gaan. Dit proces, bekend als visuele odometrie, houdt in dat een stroom beelden wordt geobserveerd en wordt berekend hoe de camera tussen elk frame heeft bewogen. Decennialang hebben ingenieurs systemen gebouwd die onderscheidende punten in een scène volgen, zoals de hoek van een tafel of een barst in de muur, om beweging te schatten. Deze traditionele methoden hebben echter vaak moeite wanneer de omgeving verandert—wanneer het licht dimt, wanneer de textuur van de vloer repetitief is, of wanneer de robot een kamer binnenrijdt die totaal niet lijkt op de kamer die hij net verliet. In deze momenten van verwarring begint de interne kaart van de robot te driften, waardoor hij langzaam zijn richtinggevoel verliest totdat hij niet meer weet waar hij is.

Recente ontwikkelingen hebben het mogelijk gemaakt dat robots deze taak direct van data kunnen leren, door gebruik te maken van kunstmatige intelligentie om patronen te herkennen zonder dat daar handgecodeerde regels voor nodig zijn. Toch kampen zelfs deze slimme systemen met een vergelijkbaar probleem over lange afstanden. Naarmate een robot verder reist, stapelen kleine fouten in de berekeningen zich op, en het systeem vergeet uiteindelijk de betrouwbare oriëntatiepunten die het aan het begin van de reis zag. Dit is bijzonder gevaarlijk wanneer de robot van een vertrouwde, goed verlichte gang naar een schemerige, rommelige kamer beweegt. De onzekerheid van de nieuwe omgeving kan ervoor zorgen dat de robot slechte beslissingen neemt, en omdat het systeem geen mechanisme heeft om te onthouden welke eerdere waarnemingen betrouwbaar waren, kan het vertrouwen op slechte informatie om toekomstige stappen te leiden. De vraag waar onderzoekers de afgelopen tijd antwoord op probeerden te vinden, is hoe ze deze machines een geheugen kunnen geven dat niet alleen weet wat het zag, maar ook hoeveel het kan vertrouwen wat het zag.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld die fungeert als een betrouwbaarheidsfilter voor het geheugen van een robot. In plaats van elke visuele snapshot die de robot tegenkomt op te slaan, beslist hun systeem welke momenten het bewaren waard zijn op basis van twee eenvoudige criteria: is de waarneming duidelijk genoeg om te worden vertrouwd, en is deze verschillend genoeg van wat al is opgeslagen om nuttig te zijn? Het systeem werkt door constant de kwaliteit van het huidige beeld te beoordelen. Als de camera naar een wazige muur of een egaal stuk vloer kijkt, herkent het systeem dat de data onbetrouwbaar is en kiest het ervoor om deze niet op te slaan. Maar als het zicht scherp is en een uniek perspectief biedt, slaat het systeem dit op als een betrouwbaar ankerpunt. Dit selectieve geheugen stelt de robot in staat om een collectie hoogwaardige oriëntatiepunten vast te houden waarnaar hij kan terugverwijzen wanneer hij de weg kwijtraakt in een verwarrende nieuwe omgeving.

De kern van deze innovatie is een mechanisme dat een betrouwbaarheidsscore toekent aan elk frame dat de robot verwerkt. Wanneer de robot een moeilijke situatie tegenkomt, zoals een plotselinge verandering in verlichting of een gebrek aan textuur, berekent het systeem hoe onzeker het is over de huidige positie. Als de onzekerheid groot is, vertrouwt de robot zijn onmiddellijke berekening niet blindelings. In plaats daarvan grijpt hij in zijn geheugenbank om de meest vergelijkbare, maar zeer betrouwbare, eerdere waarnemingen te vinden. Vervolgens mengt hij deze vertrouwde historische informatie met zijn huidige, onzekere beeld om een stabielere schatting van de positie te maken. Dit mengen is geen eenvoudige mix; het systeem weegt zorgvuldig af hoeveel vertrouwen er moet worden gehecht aan het geheugen versus het huidige moment. Als het huidige beeld slecht is, leunt het systeem zwaar op het betrouwbare verleden. Als het huidige beeld helder is, vertrouwt het meer op het heden. Deze dynamische aanpassing voorkomt dat de robot wordt misleid door slechte data, terwijl het er ook voor zorgt dat hij nuttige context niet negeert.

Om dit idee te testen, creëerden de onderzoekers een gecontroleerde simulatieomgeving waarin zij de omstandigheden waaraan een robot kan worden blootgesteld, precies konden manipuleren. Ze bouwden een virtuele wereld met gangen en kamers, en veranderden systematisch de verlichting, de textuur van de oppervlakken en de opstelling van meubilair om moeilijke scenario's te simuleren. Ze trainden hun systeem op een reeks van deze omgevingen en testten het vervolgens op nieuwe routes die plotselinge verschuivingen bevatten van heldere, goed verlichte kamers naar donkere, wazige ruimtes. De resultaten toonden een significante verbetering in het vermogen van de robot om op koers te blijven. In de meest uitdagende tests, waarbij de robot werd geconfronteerd met een combinatie van slechte verlichting, lage textuur en structurele veranderingen, verminderde het nieuwe systeem de totale fout in het pad tot 0,201 meter. Ter vergelijking: een standaard deep learning-model zonder dit geheugensysteem dreef veel verder uit, met een cumulatieve fout van 0,512 meter onder dezelfde moeilijke omstandigheden.

De studie onderzocht ook hoe het systeem zich gedroeg in realistische scenario's met behulp van standaard benchmark-datasets, waarmee werd bevestigd dat de aanpak verder gaat dan alleen de simulatie. De robot behield een hoge snelheid en verwerkte 38 frames per seconde, wat snel genoeg is voor real-time navigatie. Cruciaal was dat de onderzoekers ontdekten dat het vermogen van het systeem om drift te verminderen niet alleen voortkwam uit het feit dat het meer dingen onthield, maar omdat het de juiste dingen onthield. Wanneer zij versies van het systeem testten die data opsloegen zonder de betrouwbaarheid te controleren, of die data ophaalden zonder te wegen op basis van vertrouwen, daalde de prestatie. Dit bewees dat de sleutel tot succes lag in de intelligente filtering van het geheugen zelf. Het systeem leerde de ruisachtige, onzekere momenten te negeren en zich alleen te concentreren op de duidelijke, onderscheidende momenten, waardoor een mentale kaart ontstond die stabiel bleef, zelfs wanneer de fysieke wereld rond de robot chaotisch werd.

Dit werk suggereert dat voor robots die in de complexe, veranderende wereld van menselijke ruimtes navigeren, meer nodig is dan alleen een krachtige camera en een snelle processor. Ze hebben een manier nodig om de kwaliteit van hun eigen waarnemingen te beoordelen en een geheugen dat dat oordeel respecteert. Door machines te leren sceptisch te zijn over hun eigen onzekere momenten en te vertrouwen op hun meest betrouwbare ervaringen uit het verleden, hebben onderzoekers een stap gezet naar het robuuster maken van autonome navigatie. De bevindingen wijzen erop dat, in het aangezicht van domeinverschuivingen—waarbij de omgeving verandert op manieren waar de robot niet expliciet op getraind is—een betrouwbaarheidsbewust geheugen een robot kan voorkomen dat hij verdwaalt, zodat hij zijn weg naar huis kan vinden, zelfs wanneer het pad voor hem onduidelijk is.

Technische Samenvatting: Betrouwbaarheidsbewuste Temporele Geheugen voor Reductie van Lange-Termijn Drift in End-to-End Visuele Odometrie onder Domeinverschuiving

Probleemstelling
Visuele Odometrie (VO) is cruciaal voor de navigatie van mobiele robots in GPS-loze omgevingen. Hoewel op leren gebaseerde VO-benaderingen de afhankelijkheid van handmatig ontworpen pipelines verminderen, lijden ze aan aanzienlijke lange-termijn drift, met name bij het afleggen van lange routes of het tegenkomen van domeinverschuivingen (bijv. veranderingen in verlichting, textuur of scène-structuur). Bestaande end-to-end modellen, inclusen die gebruikmaken van CNN's en Transformers, falen vaak in het behouden van betrouwbare langetermijninformatie omdat recurrente toestanden (states) eerdere gegevens verliezen of opereren binnen beperkte temporele vensters. Bovoltre wordt, hoewel er onzekerheidsbewuste VO-methoden bestaan, onzekerheid doorgaans slechts gebruikt als een hulpbron of verlieswegingsfactor in plaats van als een controlesignaal voor het beheren van lange-termijn geheugenopslag en -retrieval. Bijgevolg kunnen onzekere observaties worden voortgeplant zonder een mechanisme om ze te filteren of om betrouwbare historische ankers terug te halen wanneer de huidige observaties verslechteren.

Methodologie
Het artikel stelt een Betrouwbaarheidsbewust Temporeel Geheugenraamwerk voor dat is ontworpen om lange-termijn drift in end-to-end VO onder domeinverschuiving te mitigeren. De architectuur integreert een CNN–Transformer encoder met een geheugenbeheersysteem dat wordt beheerst door heteroscedastische onzekerheid.

Visueel-Temporele Codering: Het systeem verwerkt een beeldsequentie $I_{t-L+1:t}$ met behulp van een CNN-backbone (ResNet18) om ruimtelijke kenmerken te extraheren, gevolgd door een Transformer-encoder om korte-termijn temporele afhankelijkheden te modelleren, wat resulteert in een latente representatie $z_t$ .
Estimatie van Heteroscedastische Onzekerheid: Een speciale onzekerheidskop voorspelt de input-afhankelijke pose-onzekerheid ( $s_t$ ) in log-schaal vanuit $z_t$ . Dit wordt omgezet in een scalaire frame-niveau betrouwbaarheidsscore $r_t = \exp(-u_t)$ , waarbij $u_t$ de gemiddelde onzekerheid is. Hoge betrouwbaarheid komt overeen met een lage voorspelde onzekerheid.
Betrouwbaarheids- en Nieuwigheidsgestuurde Geheugenupdate: Het raamwerk onderhoudt een geheugenbank $M$ $M$ van grootte $K$ $K$ . Een huidig frame wordt alleen tot het geheugen toegelaten als het aan twee criteria voldoet:
- Betrouwbaarheid: De betrouwbaarheidsscore $r_t$ overschrijdt een drempelwaarde $\tau_r$ .
- Nieuwigheid: Het frame is onderscheidend van bestaande geheugeningangen, berekend via cosinus-gelijkenis ( $n_t$ ).
- Ingangen worden opgeslagen als tupels die kenmerken, betrouwbaarheid, onzekerheid, nieuwigheid en tijdindex bevatten. Als het geheugen vol is, wordt de ingang met de laagste bruikbaarheidsscore ( $q_k = r_k n_k$ ) verwijderd, wat ervoor zorgt dat het geheugen alleen informatieve en betrouwbare ankers behoudt.
Onzekerheid-Gewogen Retrieval: Tijdens de inferentie wordt de huidige representatie geprojecteerd in een query. Opgeslagen entries worden geprojecteerd in keys en values. Het aandachtsmethode (attention mechanism) weegt de gelijkenis tussen de query en de opgeslagen keys, gemodificeerd door de opgeslagen entry's betrouwbaarheid ( $r_k$ ). Dit zorgt ervoor dat de opgehaalde context de voorkeur geeft aan betrouwbare historische frames.
Adaptieve Convexe Fusie: De opgehaalde geheugencontext ( $c_t$ ) wordt gefuseerd met de huidige representatie ( $z_t$ ) via een adaptieve convexe combinatie: $h_t = (1-\beta_t)z_t + \beta_t c_t$ . De fusiecoëfficiënt $\beta_t$ wordt voorspeld door een sigmoidfunctie op basis van de betrouwbaarheid van het huidige frame. Wanneer het huidige frame onbetrouwbaar is, leunt het model zwaarder op de opgehaalde geheugencontext; wanneer het huidige frame betrouwbaar is, leunt het meer op het huidige bewijs.
Trainingsdoel: Het model wordt getraind met een gecombineerde verliesfunctie bestaande uit een pose-regressieverlies ( $L_{pose}$ ) en een heteroscedastische onzekerheidsbewuste negative log-likelihood verlies ( $L_{unc}$ ), die de balans bewaart tussen trajectnauwkeurigheid en betrouwbaarheidsschatting.

Belangrijkste Bijdragen
Het artikel identificeert vier primaire bijdragen:

Een frame-niveau betrouwbaarheidsscore afgeleid van heteroscedastische pose-onzekerheid, die expliciet wordt gebruikt om geheugenoperaties te controleren.
Een betrouwbaarheids- en nieuwigheidsgestuurde update-regel die de geheugenopslag beperkt tot frames die zowel informatief (nieuw) als betrouwbaar (trustworthy) zijn.
Een onzekerheid-gewogen retrievalmechanisme dat de voorkeur geeft aan betrouwbare opgeslagen temporele ankers tijdens context-retrieval.
Een adaptief convex fusiemechanisme dat de bijdrage van huidig bewijs versus opgehaald geheugen dynamisch begrenst op basis van realtime betrouwbaarheid.

Resultaten
Het raamwerk werd geëvalueerd in een domein-gecontroleerde indoor simulatieomgeving met een TurtleBot4, met aanvullende validatie op standaard benchmarks (TUM RGB-D en ICL-NUIM).

Nauwkeurigheid: De voorgestelde methode bereikte een Absolute Trajectory Error (ATE) van 0,089 m en een drift van 1,2% per meter op de gecontroleerde dataset.
Robuustheid tegen Domeinverschuiving: Onder gecombineerde domeinverschuivingen (verlichting, textuur en structurele veranderingen) bereikte de voorgestelde methode een ATE van 0,201 m, wat aanzienlijk beter is dan de CNN–Transformer baseline (0,512 m) en andere op leren gebaseerde methoden zoals DeepVO (0,678 m).
Lange-Termijn Drift: Het foutengap tussen het voorgestelde model en de baselines nam toe met de trajectlengte, wat duidt op superieure lange-termijn stabiliteit.
Efficiëntie: Het systeem werkt op 38 FPS op een NVIDIA RTX 3090, met een matige computationele overhead vergeleken met de baseline.
Gedragsanalyse: Experimenten bevestigden dat de voorspelde onzekerheid positief correleert met de pose-fout. De geheugenacceptatie werd selectiever onder verslechterde visuele omstandigheden, en de fusiecoëfficiënt $\beta_t$ nam toe (meer leunend op geheugen) wanneer de betrouwbaarheid van het huidige frame afnam.

Betekenis en Claims
Het artikel beweert dat het voorgestelde raamwerk aantoont dat het controleren van de selectie en het hergebruik van temporele informatie even cruciaal is als de hoeveelheid informatie die wordt vastgehouden. Door een enkele heteroscedastische betrouwbaarheidssignaal te gebruiken om opslag, retrieval en fusie te regelen, vermindert het systeem effectief de lange-termijn drift zonder afhankelijk te zijn van expliciete bundle adjustment of loop closure mechanismen.

De auteurs houden hun claims binnen een bescheiden reikwijdte:

Het primaire bewijs is afgeleid van een domein-gecontroleerde indoor simulatie waar visuele factoren onafhankelijk gemanipuleerd kunnen worden.
Validatie op TUM RGB-D en ICL-NUIM dient als ondersteurend bewijs, maar claimt geen onbeperkte cross-domein generalisatie.
De huidige implementatie is beperkt tot RGB-input en 3-DoF planaire beweging.
De auteurs stellen expliciet dat toekomstig werk vereist is om het raamwerk te evalueren op echte robots, 6-DoF beweging, en in de aanwezigheid van sensorruis, wielslip en ongecontroleerde verlichting.

Concluderend stelt de studie dat het integreren van betrouwbaarheidsbewust geheugenbeheer in end-to-end VO een robuust mechanisme biedt voor het handhaven van trajectstabiliteit onder domeinverschuivingen, wat een computationeel efficiënte oplossing biedt die geen complexe geometrische optimalisatiestadia vereist.

Meer zoals dit