💻 computer science

TPS-Drive: Task-Guided Representation Purification for VLM-based Autonomous Driving

TPS-Drive introduceert een nieuw raamwerk voor VLM-gebaseerd autonoom rijden dat taakgestuurde representatiezuivering toepast via een agent-gecentreerde tokenizer om ruimtelijke redundantie en hallucinaties te elimineren, waardoor een ontkoppeld redeneringsproces mogelijk wordt dat state-of-the-art veiligheids- en voorspellingsprestaties bereikt op zowel open-loop als closed-loop benchmarks.

Oorspronkelijke auteurs: Jiaxiang Li, Yumao Liu, Ke Ma

Gepubliceerd 2026-05-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiaxiang Li, Yumao Liu, Ke Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen robot leert autorijden. Deze robot is een Vision-Language Model (VLM): hij is uitstekend in het lezen van kaarten, het begrijpen van verkeersborden en het praten over wat hij ziet. Er is echter een groot probleem: hij is vreselijk in het begrijpen van de exacte 3D-geometrie van de weg. Het is als een briljante filosoof die een storm in prachtige poëzie kan beschrijven, maar je niet precies kan vertellen waar een regendruppel de voorruit zal raken.

Het artikel introduceert TPS-Drive, een nieuw systeem dat dit probleem oplost door de robot te leren "nadenken" op een schonere, meer gefocuste manier.

Hieronder wordt uitgelegd hoe het werkt, opgesplitst met eenvoudige analogieën:

Het Probleem: Twee Slechte Manieren om de Weg te Beschrijven

De auteurs stellen dat huidige methoden om robots autorijden te leren, in twee valkuilen terechtkomen:

De "Tekstvertaler"-valkuil: Sommige systemen proberen de 3D-wereld om te zetten in simpele woorden of cijfers (bijvoorbeeld "auto vooruit", "doos op x,y,z").
- De Analogie: Stel je voor dat je probeert een complex beeldhouwwerk te beschrijven door alleen een lijst met woorden te gebruiken zoals "rond", "hoog", "rood". Je verliest dan de vorm, de afstand en de gladde curves. De robot raakt in de war en begint te "hallucineren" (dingen te bedenken die er niet zijn of ze op de verkeerde plekken te plaatsen).
De "Overbelaste Camera"-valkuil: Andere systemen voeren de robot ruwe, hoogwaardige video of dichte roosters van het hele tafereel toe.
- De Analogie: Stel je voor dat je de robot een 4K-videofeed geeft van een drukke straat, maar dat de video voor 90% uit statische achtergrond bestaat (zoals een bakstenen muur, de lucht, of een geparkeerde auto die al jaren niet heeft bewogen). Het brein van de robot raakt overweldigd door al dit "ruis". Het besteedt al zijn energie aan het verwerken van de saaie muur en mist de voetganger die van de stoep stapt. Dit wordt "representatie-interferentie" genoemd.

De Oplossing: Het "Opdrachtgeleid Zuiverings"-filter

TPS-Drive lost dit op door een speciaal filter in te voeren, de Agent-Centrische Tokenizer.

De Metafoor: Denk aan het brein van de robot als een bibliotheek. Normaal gesproken is deze bibliotheek overstroomd met boeken over van alles: het weer, de kleur van het wegdek, de bomen en de auto's. De robot kan de belangrijke boeken niet vinden.
De Oplossing: TPS-Drive installeert een "Bibliothecaris" (een bevroren 3D-detectiehoofd) die precies weet wat de robot nu moet weten. Deze Bibliothecaris scant het tafereel en gooit 99% van de boeken weg (de statische achtergrond, de lucht, de texturen).
Het Resultaat: De robot houdt een "Gezuiverde Ruimte" over met alleen de kritieke, bewegende acteurs: de auto's, voetgangers en fietsers. Hij kan nu helder "nadenken" omdat hij alleen kijkt naar wat er toe doet.

Hoe de Robot Rijdt (Het Drie-Stappenproces)

Zodra de robot dit schone, gezuiverde beeld van de wereld heeft, rijdt hij met een drie-staps redeneerproces:

Situatiebegrip: De robot kijkt naar het gezuiverde tafereel en schrijft een gestructureerde samenvatting. Hij zegt niet zomaar "ik zie een auto"; hij begrijpt de fysica: "Er is een auto 10 meter vooruit, die 5 mijl per uur rijdt, en ik moet remmen."
Toekomstvoorspelling: De robot voorspelt wat er als volgende gaat gebeuren. Hij vraagt zich af: "Als ik doorga, waar zal die auto dan over 2 seconden zijn?" Omdat hij alleen kijkt naar de bewegende agenten (dankzij het zuiveringsfilter), is deze voorspelling veel nauwkeuriger.
Actiegeneratie: Tot slot beslist de robot wat hij moet doen. Hij gebruikt een "diffusieplanner" (een hulpmiddel dat soepele, veilige paden genereert) om een lijn op de weg te tekenen die precies aangeeft waar de auto moet gaan om een crash te voorkomen.

De Training: Van Student tot Expert

De auteurs hebben de robot niet zomaar één keer getraind; ze gebruikten een drie-fasen trainingsproces:

Pretraining: Het leren van de "Bibliothecaris" (de tokenizer) hoe hij ruis moet filteren.
Supervised Fine-Tuning: Het leren van de robot om het gefilterde tafereel te lezen en de toekomst te voorspellen, net als een student die voor een toets studeert.
Beloningsgedreven Verfijning: Dit is de belangrijkste stap. De robot oefent autorijden in een simulator. Als hij veilig rijdt en de regels volgt, krijgt hij een "beloning". Als hij crasht of roekeloos rijdt, krijgt hij een straf. De robot leert veiligheid te prioriteren boven het simpelweg kopiëren van menselijke bestuurders.

De Resultaten: Veiliger Autorijden

Het artikel beweert dat TPS-Drive aanzienlijk beter werkt dan eerdere methoden:

Minder Crashes: In open-loop tests (waar de robot een pad plant maar niet daadwerkelijk rijdt), had hij de laagste botsingspercentages in vergelijking met andere topmodellen.
Betere Voorspellingen: Hij is veel beter in het raden waar andere auto's en mensen in de toekomst zullen zijn.
Veiligheidsrecords: In closed-loop tests (waar de robot daadwerkelijk rijdt in een gesimuleerde omgeving), vestigde hij nieuwe veiligheidsrecords, door crashes te vermijden en verkeersregels (zoals stoppen bij rood licht) beter te volgen dan zijn concurrenten.

De Conclusie

TPS-Drive is als het geven van een slimme robot een paar "slimme brillen". In plaats van een wazige, ruizige chaos van de hele wereld te zien, vervagen deze brillen automatisch de saaie achtergrond en benadrukken ze alleen de bewegende auto's en mensen. Dit stelt de robot in staat zijn denkkracht te richten op de dingen die er echt toe doen, wat leidt tot veiligere en nauwkeurigere rijbeslissingen.

Technische Samenvatting: TPS-Drive

Probleemstelling

Vision-Language Models (VLM's) bieden sterke semantische redeneercapaciteiten voor autonoom rijden, maar hebben moeite om de kloof te overbruggen tussen hoogwaardig redeneren en nauwkeurige 3D-ruimtelijke voorspelling. Bestaande representatiestrategieën staan voor een kritieke afweging:

Tekst-gealigneerde methoden: Deze zetten continue ruimtelijke toestanden om in discrete symbolen (bijvoorbeeld natuurlijke taalbeschrijvingen of uitgevlakte coördinaten). Hoewel dit compatibel is met standaard tokenizers, ondermijnt deze discretisatie de onderliggende geometrische structuur van de fysieke ruimte, wat leidt tot "ruimtelijke hallucinaties" en de capaciteit van het model beperkt om continue agent-toestanden vast te leggen.
Dichte visuele methoden: Deze behouden de ruimtelijke topologie (bijvoorbeeld dichte roosters of bezettingskaarten), maar overweldigen standaard tokenizers met redundante achtergrondtexturen en statische scènes. Gedreven door reconstructie-geleide Vector Quantization (VQ), alloceren deze methoden disproportioneel beperkte codeboekcapaciteit aan statische achtergronden in plaats van aan kritieke dynamische agenten, wat leidt tot "representatie-interferentie" die semantisch redeneren belemmert.

De kernuitdaging is het ontwerpen van een representatie die semantisch redeneren overbrugt met nauwkeurige voorspelling, zonder te bezwijken onder geometrische vervorming of informatieredundantie.

Methodologie: TPS-Drive

TPS-Drive introduceert een raamwerk dat centraal staat om Taakgeleide Representatiezuivering, waardoor VLM's kunnen "Denken in een Gezuiverde Ruimte". De architectuur ontkoppelt het rijproces in drie opeenvolgende fasen: Scènebegrip, Toekomstvoorspelling en Actiegeneratie.

1. Agent-gecentreerde Tokenizer (Representatiezuivering)

De kerninnovatie is een Agent-gecentreerde Tokenizer die een gezuiverde Bird's-Eye-View (BEV)-vocabulaire construeert.

Taakgeleide Vector Quantization: In tegenstelling tot standaard VQ-VAE's die optimaliseren voor globale reconstructie, wordt deze tokenizer gesuperviseerd door een bevroren 3D-detectiehead (CenterPoint). Deze supervisie herschikt expliciet de beperkte codeboekcapaciteit van alomvattende statische achtergronden naar kritieke dynamische agenten.
Primaire en Residulaire Lagen: De tokenizer maakt gebruik van een primaire codeboek ( $V_1$ ) om kernstructurele patronen van agenten vast te leggen, gesuperviseerd door detectieverliezen (warmtekaart en 3D-bounding box). Om nauwkeurige positionele nuances te herstellen die bij quantisatie verloren gaan, worden $L-1$ residuale codeboeken op hiërarchische wijze toegevoegd om residuale fouten te coderen.
Resultaat: Dit proces isoleert ruimtelijke redundantie, wat resulteert in een gedistilleerde tokensequentie die uitsluitend gericht is op dynamische agenten, waardoor representatie-interferentie effectief wordt voorkomen.

2. Ontkoppeld Redeneerproces

Het raamwerk verwerkt invoer via drie distincte fasen:

Scènebegrip: Een vision-language backbone haalt een unificerende gestructureerde representatie ( $s_t$ ) uit die scènebeschrijvingen en fysieke regels (bijvoorbeeld remcapaciteiten) omvat. Dit wordt gegenereerd via een vooraf gedefinieerd vocabulaire en gesuperviseerd door annotaties van een groot taalmodel (Qwen3.5-27B).
Toekomstvoorspelling: Geconditioneerd op de huidige context en $s_t$ , voorspelt het model toekomstige wereldtokens ( $z_{t+\Delta t}$ ) in de discrete gezuiverde ruimte. Het maakt gebruik van een autoregressieve aanpak voor primaire tokens en parallelle classificatiekoppen voor residuale tokens.
Actiegeneratie: Een conditionele diffusieplanner genereert continue ego-trajecten ( $\tau$ ) op basis van de voorspelde toekomstige toestanden en de gestructureerde scènecontext.

3. Progressieve Driefasige Training

Het model wordt geoptimaliseerd via een specifiek trainingsparadigma:

Tokenizer Pretraining: De primaire encoder, codeboek en decoder worden getraind met taakgeleide supervisie, gevolgd door training van residuale codeboeken.
Supervised Fine-Tuning (SFT): De vision-language backbone wordt fijn afgestemd om gezamenlijk scènebegrip, toekomstvoorspelling en actiegeneratie te beheersen.
Beloningsgedreven Verfijning: Om zuivere imitatielering te overtreffen, ondergaat het beleid end-to-end gegroepeerde relatieve optimalisatie. Stochastische rollouts worden gescoord door een offline beloning gebaseerd op geometrische fouten en bewegingsgladheid, waardoor het wereldmodel en de diffusieplanner worden verfijnd om uit te lijnen met veiligheidsgerichte doelstellingen.

Belangrijkste Bijdragen

Agent-gecentreerde Tokenizer: Een nieuwe tokenizer gesuperviseerd door een bevroren 3D-detectiehead die taakgeleide representatiezuivering bereikt, ruimtelijke redundantie expliciet isoleert en VLM's in staat stelt te redeneren in een gezuiverde ruimte.
Ontkoppeld Raamwerk (TPS-Drive): Een systeem dat scènebegrip, toekomstvoorspelling en actiegeneratie scheidt, geoptimaliseerd via een driefasig trainingsparadigma met beloningsgedreven verfijning.
Prestatierecords: Het raamwerk vestigt nieuwe veiligheidsrecords op rigoureuze benchmarks terwijl het hoge nauwkeurigheid in ruimtelijke voorspelling behoudt.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op nuScenes, NAVSIMv1 en NAVSIMv2.

Open-loop Planning (nuScenes): TPS-Drive bereikte een recordlaag Collision Rate (CR) van 0,10% (met ego-status) onder het ST-P3-protocol, aanzienlijk beter dan toonaangevende VLM-gebaseerde methoden zoals OmniDrive (0,94%) en OccWorld (0,32%). Het toonde ook superieure agent-gecentreerde ruimtelijke voorspelling, met 34,60% NDS en 24,03% mAP, en overtrof wereldmodellen zoals WoTE en BEVWorld.
Closed-loop Planning (NAVSIMv1 & v2):
- Op NAVSIMv1 behaalde TPS-Drive een Predictive Driver Model Score (PDMS) van 89,7, beter dan Recogdrive (89,6) en AutoVLA (89,1).
- Op de rigoureuzere NAVSIMv2 behaalde het een Extended PDMS (EPDMS) van 86,7, waarmee een nieuw veiligheidsrecord werd gesteld en expert-niveau planners zoals HydraMDP++ (85,6) en concurrente VLA-methoden werden overtroffen.
Ablatiestudies: De resultaten bevestigden dat taakgeleide tokenisatie een absolute toename van +12,72% in voorspellingnauwkeurigheid (NDS) opleverde in vergelijking met standaard reconstructie-geleide tokenisatie. Beloningsgedreven verfijning verbeterde de EPDMS verder van 84,1 naar 86,7 en verlaagde de open-loop botsingsfrequentie naar 0,19%.

Betekenis en Claims

Het artikel claimt dat TPS-Drive de fundamentele beperkingen van bestaande VLM-gebaseerde rijsystemen succesvol aanpakt door semantisch redeneren te ontkoppelen van continue controle via representatiezuivering. Door over te schakelen van globale reconstructie naar taakgeleide zuivering, overbrugt het raamwerk effectief de kloof tussen hoogwaardig semantisch redeneren en veilige, nauwkeurige trajectgeneratie.

De auteurs benadrukken dat het isoleren van veiligheidskritieke semantics van ruwe visuele data fundamenteel is voor effectief redeneren in Vision-Language-Action (VLA)-modellen. De resultaten valideren dat gezuiverde geometrische representaties nieuwe veiligheidsstandaarden kunnen vestigen in zowel open-loop als closed-loop interactieve omgevingen.

Beperkingen: De auteurs erkennen dat het vertrouwen op een bevroren detectiehead de representatiepotentieel begrenst en dat de ontkoppelde meerfasige architectuur momenteel de real-time inferentiesnelheid beperkt. Voor toekomstig werk wordt voorgesteld om end-to-end differentieerbare ruimtelijke zuivering en hardware-optimalisatie te onderzoeken.