GeoReFormer: Geometry-Aware Refinement for Lane Segment Detection and Topology Reasoning

Probleemstelling

Voor autonoom rijden is het cruciaal om gestructureerde online kaarten te kunnen construeren, wat nauwkeurige 3D-detectie van rijstroken en redenering over hun topologie (connectiviteit) vereist. Hoewel recente transformer-gebaseerde benaderingen (geïnspireerd op DETR) deze taak formuleren als query-based set prediction, erven ze vaak decoder-ontwerpen over die oorspronkelijk zijn ontwikkeld voor de detectie van compacte objecten (zoals auto's).

Deze generieke ontwerpen hebben twee belangrijke tekortkomingen bij het modelleren van rijstroken:

1. Gebrek aan geometrische structuur: Rijstroken zijn continue polylines met sterke ruimtelijke continuïteit en gerelateerde connectiviteit, in tegenstelling tot losse bounding boxes. Generieke query-initialisatie en onbeperkte verfijning coderen deze geometrische en relationele structuur niet expliciet.
2. Losgekoppelde topologie: Topologieredenering wordt vaak gescheiden van het geometrische verfijningsproces (bijv. via een parallelle head), waardoor geometrie en relaties tijdens het decoderen slechts zwak gekoppeld zijn.
3. Interpretabiliteit: Omdat queries willekeurig of zonder expliciete geometrische structuur worden geïnitieerd, is het moeilijk te interpreteren welke specifieke geometrische rollen een query vervult.

Methodologie: GeoReFormer

GeoReFormer (Geometry-aware Refinement Transformer) is een unificerende query-based architectuur die geometrie- en topologie-bewuste inductieve bias direct in de transformer-decoder integreert. De architectuur volgt een drie-traps proces:

1. Data-gedreven Geometrische Priors (Initialisatie):

   • In plaats van willekeurige of louter geleerde referentiepunten, gebruikt GeoReFormer een mechanisme genaamd Spatially-Stratified K-medoids.
   • Rijstrook-polylines uit het dataset worden genormaliseerd en in een raster (bins) verdeeld.
   • Binnen elke bin worden representatieve polylines geselecteerd via K-medoids clustering. Dit zorgt voor een gebalanceerde ruimtelijke dekking over het Bird's-Eye-View (BEV) gebied, rekening houdend met lokale data-dichtheid.
   • Deze prototypes dienen als vaste, niet-trainbare referentiepunten voor de decoder, wat een expliciete geometrische bias biedt.

2. Beperkte Coördinaatruimte-Verfijning (Bounded Coordinate-Space Refinement):

   • Traditionele methoden voegen onbeperkte offsets toe in logit-ruimte, wat kan leiden tot grote, instabiele verschuivingen en een gebrek aan geometrische interpretatie.
   • GeoReFormer voert de iteratieve update direct uit in de genormaliseerde coördinaatruimte.
   • De update-regel is: $r_l = r_{l-1} + s \cdot \tanh(\Delta_l)$, waarbij $s$ een schalingsfactor is (b.v. 0.25).
   • De $\tanh$-functie beperkt elke stap tot een klein interval, wat zorgt voor incrementele, lokale verfijning van de polylines en voorkomt dat de structuur instort door grote sprongen.

3. Topologie-Gestuurde Feature Propagatie (TopoFFN):

   • In plaats van topologie als een nagestelde taak te behandelen, wordt deze geïntegreerd in de decoder via een TopoFFN (Topology-Gated Feed-Forward Network).
   • Een zachte burenmatrix ($A$) wordt geconstrueerd die de connectiviteit tussen voorspelde rijstroken encodeert.
   • Een per-query gatenmechanisme (learned scalar gate) bepaalt of en hoeveel relationele informatie (via een Graph Convolution Network) aan een specifieke query wordt toegevoegd.
   • Dit is cruciaal omdat sommige elementen (zoals voetgangersoversteekplaatsen) topologisch geïsoleerd zijn; een uniforme toepassing van topologie zou hier ruis introduceren. De gate zorgt ervoor dat topologie alleen wordt toegepast waar het nuttig is.

Belangrijkste Bijdragen

1. GeoReFormer Architectuur: Een unificende query-based transformer voor gezamenlijke 3D-rijstrookdetectie en topologieredenering.
2. Geometrische Prior Initialisatie: Een clustering-mechanisme dat gestructureerde ruimtelijke bias in de decoder introduceert.
3. Beperkte Coördinaat-Verfijning: Een geometrisch interpreteerbare update-regel die instabiele verschuivingen voorkomt en lokale continuïteit behoudt.
4. Topologie-Gated Propagatie: Een decoder-mechanisme dat relationele redenering selectief integreert, waardoor ruis voor geïsoleerde elementen wordt onderdrukt.

Resultaten

De methode is geëvalueerd op de OpenLane-V2 benchmark (Subset A), een grote dataset voor gestructureerde 3D-rijstrookdetectie.

• Prestaties: GeoReFormer bereikt een State-of-the-Art (SOTA) prestatie met een mAP van 34.5%, wat een verbetering is van +0.9 ten opzichte van de vorige leider (Topo2Seq).
• Specificaties: Er zijn significante verbeteringen in detectie van voetgangersoversteekplaatsen (APped +1.5) en topologie-consistentie (TOPlsls).
• Efficiëntie: Ondanks de verbeterde prestaties is het model compacter (48M parameters) dan vergelijkbare SOTA-modellen zoals Topo2Seq (52M) en TopoLogic (53M).
• Ablatiestudies:
  • Het combineren van geometrische priors en beperkte verfijning is essentieel; afzonderlijk toepassen leidt tot prestatieverlies.
  • Het per-query gatenmechanisme is kritiek voor de detectie van voetgangersoversteekplaatsen; een globale gate leidt tot een daling in APped.
  • De schalingsfactor $s$ voor de beperkte verfijning heeft een optimale waarde (rond 0.25); te kleine waarden leiden tot onder-verfijning, te grote waarden destabiliseren de structuur.
• Interpretabiliteit: Visualisaties tonen aan dat queries in GeoReFormer consistentere geometrische rollen aannemen (bijv. specifieke oriëntaties van rijstroken), in tegenstelling tot de verwarde queries in basismodellen.

Betekenis en Conclusie

GeoReFormer markeert een verschuiving in het ontwerp van transformer-decoders voor autonoom rijden. In plaats van generieke objectdetectie-architecturen te hergebruiken, past het de decoder expliciet aan de inherente eigenschappen van rijweggeometrie aan (continuïteit, gerichte connectiviteit).

De kernboodschap is dat het expliciet coderen van geometrische en relationele structuren binnen de decoder zelf, niet alleen de nauwkeurigheid verhoogt, maar ook de stabiliteit van het leerproces en de interpreteerbaarheid van het model verbetert. Dit biedt een robuustere basis voor downstream taken zoals bewegingsplanning en veiligheidskritieke besluitvorming in autonoom rijden.