Stel je voor dat je probeert een perfecte, onveranderlijke kaart van je buurt te tekenen terwijl je op hoge snelheid op een fiets rijdt. Dit is de dagelijkse uitdaging voor zelfrijdende auto's. Ze moeten een "High-Definition" (HD) kaart bouwen—een digitale blauwdruk van de weg, inclusief rijstrooklijnen en zebrapaden—met behulp van alleen de camera's op hun eigen voertuig. Het lastige deel is dat de wereld chaotisch is. Auto's razen voorbij, voetgangers steken de straat over, en gebouwen blokkeren het zicht. Als de computer van de auto naar de weg kijkt op het ene moment en een seconde later weer, kan hij in de war raken. Hij kan een rijstrooklijn op het ene moment op één plek tekenen, en de volgende seconde plotseling een paar centimeter naar links verschuiven, of een zebrapad in en uit laten flikkeren. Deze "jitter" is gevaarlijk omdat de auto een stabiele kaart nodig heeft om te weten waar hij is en waar hij naartoe gaat.

Om dit op te lossen, hebben wetenschappers geprobeerd auto's te leren wat ze een moment geleden hebben gezien, een beetje zoals jij je de vorm van het gezicht van een vriend herinnert, zelfs als diegene zijn hoofd draait. Echter, de meeste huidige methoden controleren alleen of de kaart er op dit moment goed uitziet vergeleken met een perfect antwoordmodel. Ze controleren niet expliciet of de kaart die ze een seconde geleden tekenden, overeenkomt met de kaart die ze nu tekenen. Dit "jitter" is gevaarlijk omdat de auto een stabiele kaart nodig heeft om te weten waar hij is en waar hij naartoe gaat.

Dit papier, getiteld "MapTCL," stelt een slimme nieuwe manier voor om deze auto's te trainen. In plaats van alleen te controleren of de huidige tekening correct is, dwingt het de hersenen van de auto om terug en vooruit in de tijd te kijken, waardoor de kaart vloeiend en consistent blijft, als een vaste hand die een lijn trekt in plaats van een trillende hand.

Het Probleen: De Trillende Hand

Beschouw de kaart van een zelfrijdende auto als een digitale schetsblok. Elke keer dat de auto een foto maakt, probeert hij de weg-elementen—zoals rijstrookverdelers en wegbeperkingen—op dit blok te tekenen. Het probleem is dat zonder een specifieke regel om het stabiel te houden, de "hand" van de auto trilt. In het ene frame is een rijstrooklijn recht; in het volgende frame wiebelt hij of verdwijnt hij omdat een vrachtwagen het zicht blokkeert. Dit wordt "temporele jitter" genoemd.

Eerdere methoden probeerden dit op te lossen door naar eerdere foto's te kijken en deze samen te voegen. Maar ze richtten zich vooral op het zorgen ervoor dat de huidige foto overeenkwam met de grondwaarheid (de perfecte kaart). Ze bestraften de auto niet expliciet voor het tekenen van een rijstrooklijn op een iets andere plek, slechts een fractie van een seconde later. Het is alsof een leraar het huiswerk van een leerling beoordeelt op basis van alleen de laatste pagina, waarbij wordt genegeerd dat het handschrift van de leerling enorm veranderde van de eerste naar de laatste pagina.

De Oplossing: MapTCL

De auteurs stellen een nieuwe trainingsstrategie voor genaamd MapTCL (Temporal Consistency Learning). Stel je voor dat je een robot leert om een kaart te tekenen. In plaats van alleen te vragen: "Is deze tekening correct?", voeg je een nieuwe regel toe: "Is deze tekening consistent met degene die je een moment geleden tekende?"

MapTCL doet dit met twee belangrijke trucs, die fungeren als een dubbel controlesysteem voor het geheugen van de robot:

1. De "Voor-en-Terug"-controle (Bidirectional Vector Consistency Learning):
   De auto tekent de kaart als een reeks verbonden punten en lijnen (vectoren). MapTL neemt de punten die de auto in het verleden tekende en de punten die hij nu tekent. Vervolgens speelt het een spelletje van "matchen en wisselen".

   • Eerst neemt het de punten uit het verleden en beweegt ze vooruit in de tijd naar waar ze nu zouden moeten zijn (gebruikmakend van de beweging van de auto).
   • Daarna neemt het de huidige punten en beweegt ze achteruit in de tijd naar waar ze in het verleden waren.
   • Het vergelijkt de twee. Als de auto een rijstrooklijn op een andere plek heeft getekend omdat hij in de war was, zullen de "voorwaartse" en "achterwaartse" matches niet overeenkomen. Het systeem voegt dan een "straf" (een loss function) toe om de auto te vertellen: "Hé, je bent te veel van gedachten veranderd! Probeer het stabiel te houden."
   • Dit is als controleren of een verhaal dat je vertelt logisch is, zowel wanneer je het vooruit vertelt als wanneer je probeert het achteruit te vertellen. Als de details niet overeenkomen, weet je dat je dingen verzint.

2. De "Pixel-Perfecte" Controle (Raster Consistency Learning):
   Terwijl de eerste truc kijkt naar de specifieke lijnen (vectoren), kijkt deze truc naar het hele plaatje als een dicht raster van pixels (een rasterkaart). Het controleert of de algemene "vorm" van de weg in het verleden overeenkomt met de vorm nu. Dit helpt de onderliggende kenmerken die de auto gebruikt om zijn beslissingen te nemen te stabiliseren, waardoor de hele kaart niet wankelt.

Wat Ze Vonden

De onderzoekers testten deze nieuwe trainingsmethode op twee beroemde rij-datasets: nuScenes en Argoverse 2. Ze pasten MapTCL toe op verschillende bestaande "baseline" modellen (de standaard manieren waarop auto's momenteel kaarten leren maken).

De resultaten waren zeer veelbelovend. Door deze "consistentiecontrole" toe te voegen tijdens de training, werden de modellen veel beter in het tekenen van stabiele kaarten:

• Op de nuScenes dataset steeg de nauwkeurigheid van het standaardmodel (gemeten als mAP) van 35,2 naar 38,9, en de consistentiescore (C-mAP) verbeterde met 2,8 punten.
• Op de Argoverse 2 dataset steeg de nauwkeurigheid met 3,1 punten, en de consistentie verbeterde met 2,5 punten.

Cruciaal is dat het papier benadrukt dat deze verbetering komt met nul extra kosten wanneer de auto daadwerkelijk rijdt. MapTCL is een "plug-and-play" trainingsinstrument. Het is als een coach die een atleet traint om consistenter te worden, maar zodien de atleet in de race is, is de coach er niet om hem te vertragen. De auto hoeft geen extra berekeningen uit te voeren tijdens het rijden; hij rijdt simpelweg sneller en soepeler omdat hij beter getraind is.

De Kleine Lettertjes

De auteurs merken zorgvuldig op dat hoewel de methode goed werkt, het geen magie is. Ze ontdekten dat het systeem gevoelig is voor hoe ver het in de tijd terugkijkt. Als de auto probeert te veel voorgaande frames te onthouden (zoals 7 seconden terugkijken in plaats van 5), kan de informatie ruisachtig en verouderd worden, wat de kaart slechter maakt. Ze vonden ook dat het systeem het beste werkt wanneer het alleen vertrouwt op voorspellingen met een hoge betrouwbaarheid (die een score boven de 0,3 hebben) om deze vergelijkingen te maken, waarbij de wazige, onzekere gokken worden genegeerd.

Samenvattend suggereert MapTCL dat door zelfrijdende auto's expliciet te leren om hun eigen consistentie in de tijd te controleren—door middel van een slim "voor-en-terug" matchingsspel—we de trillende, flikkerende kaarten die momenteel de online HD-kaartenbouw teisteren, aanzienlijk kunnen verminderen, waardoor de wegen veiliger en de kaarten betrouwbaarder worden, zonder de auto te vertragen.