MTA-RL: Robust Urban Driving via Multi-modal Transformer-based 3D Affordances and Reinforcement Learning

Technische Samenvatting: MTA-RL

Probleemstelling
Robuust autonoom rijden in stedelijke omgevingen vereist betrouwbare 3D-omgevingsbegrip en stabiele besluitvorming onder dichte, dynamische interacties. Bestaande benaderingen staan voor een tweeslachtigheid: modulaire pijplijnen bieden interpreteerbaarheid maar lijden onder foutpropagatie over breekbare interfaces, terwijl end-to-end leermodellen vaak ontbreken aan interpreteerbaarheid en worstelen met sample-efficiëntie bij het verwerken van hoogdimensionale ruwe waarnemingen. Bovendien vertrouwen bestaande methoden voor affordance-lering doorgaans op monoculaire camera-invoer, wat representaties beperkt tot het 2D-beeldvlak en geometrische expressiviteit beperkt, wat leidt tot onstabiele beleidslijnen in complex verkeer. Daarnaast ontbreekt bij pure end-to-end Versterkingslering (RL) vaak expliciete ruimtelijke redenering, wat foutanalyse bemoeilijkt en veiligheidswaarborgen in nieuwe omgevingen moeilijk realiseerbaar maakt.

Methodologie
Het artikel stelt MTA-RL voor, een unifyend raamwerk dat perceptie en besturing verbindt door Multi-modale Transformer-gebaseerde 3D-affordances te koppelen aan Versterkingslering. De architectuur bestaat uit twee hoofdfasen:

1. Transformer-gebaseerde Multi-modale Affordancevoorspelling:

   • Inputfusie: Het systeem fuseert heterogene sensoreninvoer: drie voorwaarts gerichte RGB-camera's (die semantische aanwijzingen bieden zoals verkeerslichten en voetgangers) en LiDAR-puntenwolken (die precieze geometrische metingen bieden).
   • Architectuur: Een transformer-gebaseerd fusienetwerk verwerkt deze invoer in een Bird's-Eye-View (BEV)-ruimte. RGB-afbeeldingen worden verwerkt via een ResNet-34 backbone, terwijl LiDAR-punten worden geprojecteerd op een 32m × 32m BEV-rooster.
   • Output: Het netwerk voorspelt gestructureerde, geometrie-bewuste 3D-affordances. Deze worden gecategoriseerd in:
     • Discrete Affordances: Categorievoorspellingen voor verkeersregels en veiligheid (bijv. rood verkeerslicht, stopbord, noodstop).
     • Continue Affordances: Regressievoorspellingen voor geometrische relaties (bijv. laterale afstand, relatieve hoek, afstanden tot voorliggende voertuigen, verkeerslichten, stopborden en voetgangers).
   • Deze affordances vormen een compacte, semantisch gestructureerde latente vector die dient als waarnemingsruimte.

2. Perceptie-gestuurde Versterkingslering (SAC):

   • Beleid: Een Soft Actor-Critic (SAC)-agent opereert puur op de voorspelde affordances en de toestand van het eigen voertuig, in plaats van ruwe sensordata.
   • Actieruimte: Continue besturingsoutput voor sturen en longitudinale commando's (gasremmen/vertragen).
   • Beloningsvorming: De beloningsfunctie is dicht gevormd om meerdere doelen te optimaliseren: rijbaanbewaking, snelheidsvolging, besturingsgladheid, routevoortgang en cruciaal, naleving van verkeersregels. De term voor regelnaleving straalt expliciet af op laat remmen nabij beperkingen (lichten, borden) en beloont volledige stops, waardoor strikte naleving van veiligheidsranden wordt gewaarborgd.
   • Beëindiging: Episoden eindigen bij veiligheidschendingen (botsingen, regelbreuken) of gebrek aan vooruitgang, met specifieke straffen voor deze gebeurtenissen.

Belangrijkste Bijdragen

• 3D BEV Affordancevoorspelling: De auteurs stellen de eerste transformer-gebaseerde multi-modale architectuur voor met expliciete 'distance-to-constraint'-hoofden om compacte, geometrie-bewuste affordances direct in BEV-ruimte te voorspellen, waarmee de 2D-beperkingen van camera-only methoden worden overwonnen.
• RL op Gestructureerde Affordances: Het raamwerk stelt RL-beleidslering in staat om puur te opereren op voorspelde rijsemantiek. Deze ontkoppeling biedt een gestructureerde waarnemingsruimte die sample-efficiëntie, stabiliteit en interpreteerbaarheid verbetert ten opzichte van ruwe sensorinvoer.
• Robuuste Prestaties: Uitgebreide evaluaties tonen aan dat MTA-RL consequent state-of-the-art baselines overtreft, zowel in nauwkeurigheid van affordancevoorspelling als in rijprestaties, over diverse stedelijke dorpen en verkeersdichtheden.

Experimentele Resultaten
Evaluaties werden uitgevoerd in de CARLA-simulator over Town01, Town02 en Town03 met variërende verkeersdichtheden (20–60 achtergrondvoertuigen).

• Affordancevoorspelling: MTA-RL behaalde superieure nauwkeurigheid vergeleken met baselines (DeepDriving, CAL, Affordance-RL). Het behaalde de hoogste Intersection-over-Union (IoU) voor categorische taken (bijv. 99,13% voor rode verkeerslichten) en de laagste Mean Absolute Error (MAE) voor continue afstandvoorspellingen (bijv. 0,011m voor afstand tot doelvoertuig). Het was de enige methode die betrouwbaar afstanden tot verkeerslichten, stopborden en voetgangers schatte.
• Rijprestaties:
  • Generalisatie: Opgeschoold uitsluitend op Town03, toonde het model sterke zero-shot generalisatie naar Town01 en Town02.
  • Metingen: In dicht verkeer (60 voertuigen) behaalde MTA-RL de hoogste Route Completion (RC) en Totale Afstand (TD) over alle dorpen. Bijvoorbeeld, in Town01 behaalde het een RC van 0,764 vergeleken met 0,630 voor VLM-RL en 0,599 voor Roach.
  • Veiligheid: De methode toonde significante verbeteringen in veiligheidsmetingen, met een verbetering van 83,7% in Distance Per Violation (DPV) vergeleken met baselines in bepaalde scenario's. Het handhaafde lage botsingssnelheden en hoge DPV, wat wijst op minder en minder ernstige overtredingen.
• Ablatiestudies:
  • Multi-modale Fusie: Het vervangen van de transformer door geometrische fusie of het verwijderen van expliciete LiDAR-geometrie (Latent TransFuser) resulteerde in verslechterde affordancevoorspelling, wat de noodzaak bevestigt van attention-gebaseerde multi-modale fusie en expliciete geometrische invoer.
  • Beloningsvorming: Het verwijderen van dichte verkeersregel-vorming en uitsluitend vertrouwen op spaarzame terminale straffen leidde tot langzamere convergentie en lagere RC, TD en DPV, wat de kritieke rol van tussentijds feedback voor beleidsverfijning benadrukt.

Betekenis
Het artikel stelt dat MTA-RL een principieel evenwicht biedt tussen end-to-end leren en modulair ontwerp voor autonoom rijden in stedelijke omgevingen. Door multi-modale 3D-affordances te gebruiken als een intermediaire representatie, ontkoppelt het raamwerk succesvol perceptie van besturing. Deze aanpak verbetert interpreteerbaarheid en robuustheid terwijl het het RL-beleid in staat stelt expliciete ruimtelijke redenering en verkeersregels te benutten. De resultaten suggereren dat deze gestructureerde representatie essentieel is voor het bereiken van stabiele, veilige en efficiënte besluitvorming in sterk interactieve en onzekere stedelijke omgevingen, waarmee de beperkingen van zowel traditionele modulaire pijplijnen als ruwe end-to-end RL worden aangepakt.