Technische Samenvatting: TerraTransfer

Probleemstelling

End-to-end autonoom rijden heeft state-of-the-art prestaties bereikt, maar leunt op een dure, meerfasige trainingsmethode. De standaard aanpak omvat grootschalige imitatie-pretraining op gelogde menselijke rijdata, gevolgd door diverse fine-tuning fasen (supervised adaptatie, open-loop RL, of closed-loop RL). Deze workflow wordt gehinderd door:

1. Datakosten: Het verzamelen en labelen van miljoenen rijframes en honderdduizenden uren aan multi-camera logs.
2. Computerkosten: Closed-loop reinforcement learning (RL) op afbeeldingen vereist fotorealistische rendering en forward passes door zware vision backbones bij elke stap, wat een aanzienlijke computationele last creëert.
3. Distributionele gaten: Imitatie-leren is beperkt door de kwaliteit van expert-demonstraties en worstelt met zeldzame, veiligheidskritische toestanden (botsingen, bijna-ongelukken) die afwezig zijn in gelogde verkeersdata.

Hoewel self-play in gevectoriseerde simulators een goedkoper alternatief biedt door natuurlijke rijgedragingen en zeldzame gebeurtenissen te genereren zonder menselijke data, consumeren deze policies gevectoriseerde scènetoestanden (bounding boxes, kinematica) in plaats van ruwe sensoringangen, waardoor ze niet inzetbaar zijn in real-world end-to-end systemen.

Methodologie

De auteurs stellen TerraTransfer voor, een tweefasig paradigma dat het "leren rijden" ontkoppelt van het "leren zien", waardoor de noodzaak voor expert-demonstraties in elke fase wordt geëlimineerd.

Fase 1: Self-Play Pretraining (Leren Rijden)

Een planning policy ($\pi_\theta$) wordt vanaf nul ($tabula\ rasa$) getraind middels multi-agent self-play in TerraZero, een gevectoriseerde rijsimulator.

• Architectuur: De policy gebruikt een enkele parameterset om alle agenten in een scène te besturen. Het verwerkt de ego-toestand, weg-elementen en partner-agents met behulp van DeepSets encoders en een gedeelde MLP.
• Training: De policy wordt geoptimaliseerd via Proximal Policy Optimization (PPO) met een beloningsfunctie bestaande uit gewogen kwaliteitsaspecten van het rijden (doelbereiking, botsingsvermijding, comfort, etc.).
• Domain Randomization: Rijdersvoorkeuren worden per episode gerandomiseerd en gepresenteerd als onderdeel van de ego-observatie, waardoor de policy een continuüm van rijstijlen kan leren.
• Resultaat: Dit produceert een "teacher" policy die robuust rijdt in vector-ruimte, maar geen afbeeldingen kan verwerken.

Fase 2: Vision Alignment (Leren Zien)

De bevroren teacher policy wordt gebruikt om een "student" vision policy te superviseren zonder ooit naar gelogde menselijke trajecten te verwijzen.

• Architectuur: De student erft de bevroren ego encoder, de gedeelde MLP en de actor head van de teacher. De set-valued encoders van de teacher (voor de weg en partners) worden vervangen door beeld-geconditioneerde encoders gebouwd op een vooraf getrainde DINOv3 backbone met lineaire adapters.
• Supervisiesignaal: De student wordt getraind op een gepaard dataset van (afbeelding, scene-state) frames. Het doel is de actie-distributie en de feature representaties van de teacher, afgeleid van de corresponderende vector-toestand.
• Loss Functies:
  1. Action Alignment: Minimaliseert de KL-divergentie tussen de actie-distributie van de student en de distributie van de teacher.
  2. Structural Alignment: Een nieuwe batch-relational low-rank structural loss. Empirische analyse laat zien dat de features van de teacher low-rank en redundant zijn. In plaats van absolute feature-coördinaten te matchen, wordt de student getraind om de relationele geometrie (pairwise scène-gelijkenissen) van de features van de teacher te reproduceren binnen een hoofd-low-rank subspace. Dit voorkomt dat de student probeert ruis in richtingen met een lage variantie te fitten.

Belangrijkste Bijdragen

1. Demonstratie-vrije Methode: Een framework voor end-to-end rijden dat geen gelogde menselijke trajecten vereist voor supervisie. Het vertrouwt uitsluitend op self-play voor rijvaardigheid en gepaard (afbeelding, toestand) data voor alignment.
2. Ontkoppeld Leren: De scheiding tussen het trainen van de rij-policy (in vector-ruimte) en de perceptie-training (in beeld-ruimte) maakt het mogelijk om een enkele self-play teacher te hergebruiken voor diverse vision frontends en sensor stacks.
3. Batch-Relational Low-Rank Structural Loss: Een methode om vision features uit te lijnen met vector features door relationele structuren te matchen binnen een low-rank subspace, gemotiveerd door de empirische bevinding dat de teacher features sterk redundant zijn.
4. Closed-Loop Prestaties: De resulterende policy behaalt competitieve resultaten op fotorealistische 3D Gaussian splatting benchmarks, waarbij zij eerdere end-to-end methoden die getraind zijn op enorme expert-datasets evenaart of overtreft.

Experimentele Resultaten

De methode werd geëvalueerd op HUGSim, een fotorealistische closed-loop benchmark afgeleid van nuScenes scenario's, met gebruik van de geaggregeerde HD-Score.

• Prestaties vs. Baselines: De TerraTransfer policy behaalde een geaggregeerde HD-Score van 0.490, waarmee zij de beste imitatie-getrainde baseline (LTF, 0.360) en de sterkste gepubliceerde ECO-variant (0.452) overtreft. Zij benaderde de prestaties van de eigen self-play teacher (0.520), die opereert op geprivilegieerde vector-toestanden.
• Data-efficiëntie: De alignment fase vereiste slechts 1.83 miljoen gepaarde frames (ongeveer 51 uur aan data) uit de nuPlan dataset. Dit is ongeveer 40% van de data die de ECO baseline gebruikte voor fine-tuning, terwijl TerraTransfer de prestaties van ECO overtrof.
• Cross-Dataset Generalisatie: De policy werd uitgelijnd op nuPlan data maar geëvalueerd op nuScenes-afgeleide scenario's, wat een sterke generalisatie demonstreert zonder in-distribution trajectlabels.
• Beperkingen: Het paper merkt op dat de huidige aanpak fijne visuele cues (bijv. remlichten) mist door training op bounding boxes, beperkte blootstelling heeft aan voetgangers/fietsers, en beperkte ondersteuning heeft voor signalisatie-intersections.

Betekenis en Claims

Het paper claimt dat TerraTransfer een zeer effectief, data-efficiënt pad vooruit biedt voor end-to-end autonoom rijden. Door de kosten van "leren rijden" te verschuiven naar een eenmalige, schaalbare self-play fase in simulatie, verwijdert de aanpak de afhankelijkheid van dure, gecureerde expert-demonstraties. De resulterende policy demonstreert dat robuuste, natuurlijke rijvaardigheid kan worden overgedragen van vector-gebaseerde self-play naar raw-image perceptie, waarbij state-of-the-art closed-loop prestaties worden behaald met aanzienlijk lagere data- en computationele vereisten vergeleken met conventionele imitatie-leren pipelines.