Dreaming Across Towns: Semantic Rollout and Town-Adversarial Regularization for Zero-Shot Held-Out-Town Fixed-Route Driving in CARLA

Technische Samenvatting: Dreaming Across Towns

Probleemstelling
Autonome rijaagents die zijn getraind in één gesimuleerde omgeving, falen vaak bij het generaliseren naar nieuwe omgevingen met verschillende wegindelingen, kruispunten en rijstrookgeometrieën. Dit artikel behandelt de uitdaging van zero-shot cross-town transfer in de CARLA-simulator. Specifiek onderzoekt de studie hoe een agent getraind kan worden in bronsteden (Town05 en Town06), zodat deze succesvol kan navigeren in ongeziene doelsteden (Town03 en Town04) zonder enige adaptatie aan het doeldomein, fine-tuning of geprivilegieerde kaartinformatie. De evaluatie isoleert structurele variaties in de weginrichting door de weersomstandigheden en verkeerssituaties constant te houden.

Methodologie
De voorgestelde aanpak breidt een DreamerV3-stijl wereldmodel (een model-gebaseerde reinforcement learning agent die latente dynamiek leert van hoogdimensionale observaties) uit met twee aanvullende trainingsdoelen. De kernarchitectuur blijft een standaard DreamerV3-agent waarbij de actor en critic opereren op de standaard latente feature ($f_t$), terwijl de nieuwe componenten dienen als regularisatoren tijdens de training.

1. Semantische Rollout Voorspelling:

   • De agent wordt getraind om bevroren OpenCLIP beeld-embeddings van toekomstige camerabeelden te voorspellen tijdens geïmagineerde multi-step latente rollouts.
   • Een causale geschiedenis-geconditioneerde context-feature ($c_t$), afgeleid van een exponentieel voortschrijdend gemiddelde van encoder-embeddings, conditioneert deze voorspelling.
   • Dit doel stimuleert de latente dynamiek om hoogwaardige semantische informatie (scène-structuur, weginrichting) te behouden over meerdere toekomstige horizonten, in plaats van alleen lage-niveau pixelverschijningsvormen.

2. Town-Adversarial Regularisatie:

   • Een domeinclassificator wordt gekoppeld aan een semantische projectie ($s_t$) van de deterministische recurrente staat ($d_t$) via een Gradient Reversal Layer (GRL).
   • De classifier probeert de identiteit van de bronstad te voorspellen (Town05 vs. Town06), terwijl de GRL de semantische projectie straft voor het bevatten van informatie die deze voorspelling mogelijk maakt.
   • Cruciaal is dat deze adversariële loss wordt toegepast op de semantische tak ($s_t$), en niet op de primaire controle-feature ($f_t$). De actor en critic blijven de standaard Dreamer-feature gebruiken, waardoor de controle-policy niet direct wordt verstoord door het adversariële signaal.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

• Semantische-Rollout Doelstelling: Stelt een aanvullende loss voor Dreamer-stijl agents voor die latente rollouts traint om bevroren OpenCLIP-embeddings over meerdere toekomstige horizonten te voorspellen.
• Semantische-Feature Adversariële Regularisator: Introduceert een domein-adversariële loss die specifiek wordt toegepast op een semantische projectie van de recurrente staat, waardoor de voorspelbaarheid van de bronstad wordt verminderd terwijl de standaard controle-feature voor de policy behouden blijft.
• Gecontroleerde Mechanisme-Isolatie Studie: Biedt een rigoureuze vergelijking van gematchte Dreamer-familie agents onder identieke omstandigheden (dezelfde simulator, routepools, camera-interface, actieruimte), waarbij de effecten van de voorgestelde aanvullende losses worden geïsoleerd.
• Empirische Validatie: Rapporteert seed-gepaarde vergelijkingen en ablatiestudies die aantonen dat de combinatie van semantische rollout en adversariële regularisatie beter presteert dan individuele componenten en sterke baselines.

Experimentele Resultaten
De agents werden uitsluitend getraind op Town05 en Town06 en geëvalueerd op de uitgesloten Town03 en Town04.

• Prestaties: De voorgestelde methode (Sem+Adv-Aux) behaalde de hoogste gemiddelde succespercentages: 36,6% op Town03 (95% CI: [30,5, 42,7]) en 85,6% op Town04 (95% CI: [84,0, 87,2]).
• Baselines: Het presteerde aanzienlijk beter dan de sterkste baselines, Dreamer-Aug (alleen beeldaugmentatie) en Dreamer-DANN (adversariële training op de standaard feature), in seed-gepaarde tests.
• Ablatie Inzichten:
  • Alleen Semantische Rollout: Verbeterde ten opzichte van de baseline, maar slaagde er niet in de gecombineerde methode te evenaren, wat aangeeft dat toekomstige semantische voorspelling alleen onvoldoende is.
  • Alleen Adversariële Regularisatie: Wanneer toegepast zonder semantische rollout-verankering (Sem-Adv-Aux), stortte de agent in met een succespercentage van 0,0% en een bijna nul snelheid, wat suggereert dat adversariële druk op de semantische tak schadelijk is zonder het stabiliserende signaal van toekomstige semantische voorspelling.
  • Policy Input: Het direct voeden van de semantische feature ($s_t$) aan de actor/critic (Policy-Sem-NoLoss) resulteerde in slechte prestaties, wat bevestigt dat de semantische tak het meest effectief is als trainingstijd-regularisator in plaats van een directe vervanging voor de controle-feature.

Betekenis en Claims
Het artikel beweert dat het combineren van toekomstige scène-begrip (via semantische rollout-voorspelling) met een verminderde afhankelijkheid van bronstad-specifieke kenmerken (via semantische-feature adversariële regularisatie) de zero-shot cross-town rijprestaties binnen een gecontroleerde wereldmodel-setting verbetert.

De auteurs benadrukken dat hun claims beperkt zijn tot dit specifieke protocol: een taak met een vaste route-voltooiing met een vaste camera/actie-interface, zonder route-commando's en zonder externe verkeers- of weersvariaties. De studie claimt niet algemene autonomie-robuustheid op te lossen of systemen op de leaderboard te verslaan die gebruikmaken van geprivilegieerde informatie, multi-sensor fusie of route-geconditioneerde planners. In plaats daarvan demonstreert het dat aanvullende semantische en adversariële signalen effectief latente representaties kunnen vormgeven om transfer in een gematchte Dreamer-stijl leerder te verbeteren.