Technische Samenvatting: Schalen van Self-Play voor End-to-End Rijden

Probleemstelling

End-to-end autonome rijmodellen worden momenteel gedomineerd door Behavior Cloning (BC), getraind op offline menselijke demonstratie-datasets. Hoewel dit paradigma schaalbaar is wat betreft modelcapaciteit, lijdt het aan structurele beperkingen:

1. Beperkte State Coverage: Offline logs bieden een smalle distributie van staten, waardoor beleid (policies) kwetsbaar wordt wanneer het scenario's tegenkomt die buiten de normale menselijke rijomstandigheden vallen.
2. Covariate Shift: Het ontbreken van closed-loop interactie tijdens de training leidt tot cumulatieve fouten tijdens de implementatie, omdat het model staten tegenkomt waarvoor het nooit getraind is.
3. Incompatibiliteit van Bestaande Self-Play: Eerdere self-play benaderingen in simulatie hebben veelbelovende resultaten laten zien, maar vertrouwen doorgaans op gevectoriseerde Bird's-Eye-View (BEV) observaties. Deze zijn incompatibel met moderne end-to-end modellen die direct op ruwe sensorinput (pixels) moeten opereren. Bovendien is directe Reinforcement Learning (RL) vanuit pixels op de schaal van end-to-end modellen prohibitief inefficiënt qua samples vanwege de computationele kosten van forward en backward passes door grote vision backbones.

Methodologie

Het artikel stelt een driefasen-framework voor om deze beperkingen te overwinnen: Gigapixel (een high-throughput simulator), Self-Play DAgger (een sample-efficiënt trainingsalgoritme) en Sim-to-Real Perception Adaptation.

1. Gigapixel Simulator

Om schaalbare self-play direct vanuit pixels mogelijk te maken, introduceren de auteurs Gigapixel, een high-throughput gebatchte rij-simulator.

• Architectuur: Het breidt de PufferDrive simulator uit met de Madrona rendering engine, die zowel rasterisatie als ray tracing ondersteunt.
• Representatie: In plaats van fotorealistische sensor-simulatie, rendert Gigapixel een vereenvoudigde "bounding-box wereld". Agenten, statische obstakels en verkeerslichten worden gerepresenteerd als geometrische primitieven (cuboids, vlakken, sferen).
• Prestaties: Deze abstractie behoudt de essentiële scène-geometrie en interactiefidelity terwijl het een throughput bereikt van 50.000 agent stappen per seconde (SPS) op een enkele NVIDIA A100 GPU, wat bijna lineair schaalt met het aantal GPU's. Deze throughput is orden van grootte sneller dan fotorealistische simulaties zoals HUGSIM of RAP, wat de generatie van enorme hoeveelheden on-policy ervaring mogelijk maakt.

2. Self-Play DAgger Training

In het besef dat directe pixel-ruimte RL te inefficiënt is voor grote end-to-end modellen, stellen de auteurs Self-Play DAgger voor. Deze benadering ontkoppelt de RL-training van de pixel-gebaseerde policy:

• Vectorized Teacher: Een lichtgewicht, geprivilegieerde teacher policy ($\pi_{teacher}$) wordt getraind via self-play RL in een abstracte simulator met gevectoriseerde BEV-observaties. Deze teacher leert robuuste, closed-loop gedragingen en kan goedkoop worden opgevraagd.
• Pixel-Based Student: Een pixel-gebaseerde student policy ($\pi_{student}$) wordt getraind via on-policy distillatie. De student bestuurt alle agenten in de scène (multi-agent self-play) en observeert enkel gerenderde pixelbeelden.
• Distillatieproces: Tijdens de training voert de student trajecten uit in de simulator. De teacher wordt vervolgens uitgevoerd in een parallel geforkte omgeving vanuit dezelfde staat om trajectdoelen ($\tau$) te genereren. De student wordt getraind om deze doelen te matchen.
• Voordelen: Dit behoudt de voordelen van closed-loop self-play (leren van de gevolgen van acties en het genereren van diverse multi-agent interacties) terwijl het de sample-complexiteit drastisch vermindert vergeleken met directe RL. Het stelt de student ook in staat om trajecten direct te outputten, wat overeenkomt met het formaat van standaard end-to-end planners.

3. Sim-to-Real Perception Adaptation

Om de kloof tussen de abstracte Gigapixel-renderings en real-world sensordata te overbruggen, gebruiken de auteurs een lichtgewicht adaptatiestrategie:

• Perception-Only Fine-tuning: De planning head ($f_{\theta_{plan}}$), die de in self-play geleerde closed-loop gedragingen codeert, wordt bevroren. Alleen de perception backbone ($f_{\theta_{per}}$) wordt gefinetuned.
• Doelstelling: Gebruikmakend van een dataset van gepaarde observaties (echte beelden en hun corresponderende Gigapixel-renderings), wordt de student getraind om echte beelden in dezelfde latente representatie als de gesimuleerde beelden te mappen. Dit wordt bereikt via een planning loss en een perceptuele feature-matching loss.

Belangrijkste Bijdragen

1. Self-Play als Schaalbaar Alternatief: Het artikel vestigt self-play als een levensvatbaar alternatief voor offline behavior cloning voor het trainen van end-to-end rijmodellen, waarmee de structurele broosheid van BC wordt aangepakt.
2. Self-Play DAgger: Een nieuw, sample-efficiënt trainingsparadigma dat een geprivilegieerde RL-teacher distilleert naar een pixel-gebaseerde student, wat schaalbare closed-loop learning mogelijk maakt zonder de prohibitieve kosten van directe pixel-ruimte RL.
3. Gigapixel: Een high-throughput perspectief-renderende simulator die pixel-gebaseerde self-play op schaal (50k SPS) mogelijk maakt door vereenvoudigde bounding-box werelden te renderen in plaats van fotorealistische scènes.
4. Lichtgewicht Sim-to-Real Transfer: Een demonstratie dat robuuste rijgedragingen geleerd in simulatie kunnen worden overgedragen naar real-world sensoren door alleen de perceptiemodule aan te passen, zonder dat menselijke traject-supervisie nodig is tijdens de self-play fase.

Experimentele Resultaten

De auteurs evalueerden hun benadering op de HUGSIM (closed-loop, fotorealistisch) en NAVSIM-v2 (pseudo-closed-loop) benchmarks.

• HUGSIM Prestaties: De met self-play getrainde Gigapixel-DrivoR behaalde state-of-the-art prestaties op de HUGSIM benchmark, waarbij het alle baselines overtrof in gemiddelde Route Completion (RC) en HD-Score zonder enige menselijke traject-supervisie. Specifiek verbeterde het de HD-Score met 2,8 punten ten opzichte van de behavior-cloned DrivoR baseline en met 12,5 punten ten opzichte van de regressie-gebaseerde DrivoR-Reg baseline.
• NAVSIM-v2 Prestaties: De modellen behaalden competitieve prestaties op de NAVSIM-v2 navhard split. Opvallend genoeg lieten de self-play modellen significante winst zien in Stage 2 (herstel van verstoorde ego-poses), wat dient als een proxy voor closed-loop robuustheid. Gigapixel-DrivoR verbeterde de Stage 2 EPDMS score met 4,1 punten ten opzichte van zijn behavior-cloned tegenhanger.
• Scaling Laws: Experimenten toonden aan dat prestaties consistent schalen met de trainingservaring. Het verhogen van het aantal agent stappen in Gigapixel leverde evenredige winsten op in de policy prestaties, waarbij Self-Play DAgger significant beter presteerde dan zowel Behavior Cloning als single-agent DAgger.
• Kwalitatieve Analyse: Visualisaties toonden aan dat met self-play getrainde policies succesvol waren in het afhandelen van veiligheidskritische scenario's (bijv. vertragen bij voertuigen voor hen, herstel van wegkant-afwijkingen) die behavior-cloned policies niet konden navigeren, wat vaak resulteerde in botsingen of het verlaten van de weg.

Betekenis en Claims

Het artikel claimt self-play te hebben gevestigd als een praktische en schaalbare strategie voor het trainen van end-to-end rijmodellen. Door een high-throughput simulator te combineren met een sample-efficiënt distillatie-algoritme, demonstreren de auteurs dat het mogelijk is om robuuste, closed-loop rijgedragingen direct vanuit pixels te leren zonder afhankelijk te zijn van de beperkingen van offline menselijke data.

Het werk suggereert dat de structurele beperkingen van behavior cloning — specif respectievelijk de broosheid voor long-tail interacties en cumulatieve fouten — kunnen worden overwonnen door synthetische ervaring te genereren. De auteurs benadrukken dat hun benadering competitieve resultaten behaalt op rigoureuze benchmarks zonder menselijke traject-supervisie tijdens de kern van de self-play trainingsfase, wat een pad opent naar continue verbetering via synthetische data.

Erkende Beperkingen:
De auteurs merken op dat de abstracte representatie van Gigapixel geen fijnmazige signalen zoals puin, weer of complexe verlichting kan vastleggen. Daarnaast blijft de teacher-student asymmetrie (geprivilegieerde gevectoriseerde versus pixel-observaties) een theoretische beperking, hoewel de resultaten suggereren dat de student de noodzakelijke acties succesvol kan afleiden. Ten slotte vereist de huidige sim-to-real adaptatie gepaarde data, wat minder direct kan zijn wanneer enkel ruwe sensorlogs beschikbaar zijn.