💻 computer science

StreetForward: Perceiving Dynamic Street with Feedforward Causal Attention

StreetForward is een pose- en tracker-vrij voorspellend framework dat dynamische straatreconstructie mogelijk maakt door een tijdelijk masker-attentie-mechanisme te combineren met 3D-Gaussische splatting voor het genereren van hoogwaardige nieuwe weergaven en snelheidsschattingen.

Oorspronkelijke auteurs: Zhongrui Yu, Zhao Wang, Yijia Xie, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan

Gepubliceerd 2026-03-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zhongrui Yu, Zhao Wang, Yijia Xie, Yida Wang, Xueyang Zhang, Yifei Zhan, Kun Zhan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film draait van een drukke stad. Je hebt duizenden foto's van auto's, voetgangers en gebouwen. Het probleem is: hoe maak je van die statische foto's een levendige, 3D-wereld waar je zelf doorheen kunt lopen en waar de auto's blijven bewegen, zonder dat je elke scène handmatig moet "repareren"?

Dat is precies wat StreetForward doet. Het is een slimme nieuwe technologie die ontwikkeld is door Li Auto en de Universiteit van Zhejiang. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Handwerk" Methode

Vroeger was het maken van zo'n 3D-wereld als het bouwen van een enorm legpuzzel. Voor elke nieuwe video moest een computer urenlang zitten rekenen om te proberen de stukjes op de juiste plek te krijgen. Dit was te traag voor zelfrijdende auto's, die snel moeten kunnen simuleren wat er gebeurt als ze een nieuwe straat inrijden.

2. De oplossing: StreetForward (De "Snelheids-Scanner")

StreetForward is als een super-snelle scanner die direct een 3D-film maakt terwijl je kijkt. Je hoeft niets handmatig in te voeren; het systeem doet het allemaal in één keer (dit noemen ze "feedforward").

Het gebruikt twee slimme trucs:

Truc A: De "Tijdscheiding" (Causale Aandacht)

Stel je voor dat je naar een dansfeest kijkt. Sommige mensen staan stil (de muren, de bomen), en sommigen dansen (auto's, mensen).

Oude systemen keken naar het hele feest en probeerden alles door elkaar te halen, wat vaak leidde tot wazige beelden.
StreetForward kijkt specifiek naar de richting van de beweging. Het zegt: "Oké, deze auto komt van links en gaat naar rechts." Het negeert de statische achtergrond voor de beweging en focust alleen op de dynamiek. Dit zorgt ervoor dat auto's niet "geesten" worden (dubbelbeelden) als ze bewegen.

Truc B: De "3D-Deeltjes" (Gaussian Splatting)

In plaats van een traditioneel 3D-model te bouwen, gebruikt StreetForward miljoenen kleine, zwevende deeltjes (als stofdeeltjes in een zonnestraal, maar dan gekleurd en met vorm).

Statische objecten (zoals gebouwen) zijn deeltjes die nooit bewegen.
Dynamische objecten (zoals auto's) zijn deeltjes die een "snelheidskaart" hebben. Het systeem zegt: "Deze deeltjes bewegen 50 km/u naar voren."
Hierdoor kan het systeem op elk willekeurig moment in de tijd (zelfs op een moment dat niet in de originele video zat) een perfect beeld genereren van waar die auto nu zou zijn.

3. Waarom is dit zo speciaal?

Het paper noemt drie grote voordelen, die we als volgt kunnen vergelijken:

Geen "Tracker" nodig: Veel andere systemen hebben een "hulpje" nodig dat elke auto individueel volgt en een label geeft ("dit is auto 1", "dit is auto 2"). StreetForward heeft dat niet. Het begrijpt vanzelf wat beweegt en wat stil staat, net zoals jij dat doet als je naar het verkeer kijkt.
Geen "Optimalisatie" nodig: Het is als het verschil tussen het leren van een taal door jarenlang te studeren (oude methoden) en het hebben van een vertaal-app die direct vertaalt (StreetForward). Het werkt direct op nieuwe data.
Werkt ook in het donker of regen: Omdat het op grote datasets is getraind, kan het zelfs in moeilijke situaties (zoals de Waymo-dataset) de diepte en beweging goed inschatten, zelfs als er geen perfecte meetdata (zoals LiDAR) beschikbaar is.

4. Het Resultaat: Een "Time-Travel" Camera

Het mooiste effect is dat je met StreetForward kunt doen alsof je een camera hebt die door de tijd reist.

Nieuwe Hoek: Je kunt de video bekijken alsof je op de stoep staat, terwijl de originele video vanuit een auto is opgenomen.
Nieuwe Tijd: Je kunt de video "in- en uitzoomen" in de tijd. Als je kijkt naar een voetganger die oversteekt, kun je de video stoppen op een moment dat niet in de film zat, en het systeem berekent precies waar die voetganger op dat moment zou zijn.

Samenvatting

StreetForward is als een magische bril voor zelfrijdende auto's. Het neemt een simpele video op, en verandert die direct in een levendige, 3D-wereld waar auto's en mensen zich realistisch bewegen. Het doet dit zonder menselijke hulp, zonder langdurig rekenen, en het is zo slim dat het zelfs werkt op data waar het nooit eerder naar heeft gekeken (zoals een virtuele stad in een computerspel).

Dit maakt het mogelijk om zelfrijdende auto's veiliger te trainen, omdat ze in een virtuele wereld kunnen oefenen met duizenden verschillende situaties, in plaats van alleen op de echte weg.

Probleemstelling

Autonome rijtoepassingen vereisen snelle en accurate reconstructie van dynamische omgevingen voor gesloten-lus simulaties en downstream taken. Bestaande methoden voor 3D-reconstructie (zoals SfM, NeRFs en 3D Gaussian Splatting) zijn vaak afhankelijk van iteratieve, per-scene optimalisatie. Dit proces is computatief duur en onpraktisch voor het verwerken van grote, diverse datasets die frequent worden bijgewerkt.

Recente "feedforward" (voortstuwende) methoden lossen dit op door te leren van grote datasets, maar deze hebben beperkingen bij 4D-reconstructie (ruimte + tijd):

Geometrie-degradatie onder beweging: Bestaande modellen (zoals VGGT) behandelen tokens van alle frames gelijkwaardig, wat de modellering van gerichte beweging (van bron- naar doelframe) verzwakt.
Bewegingsmodellering: Methoden die beweging proberen te voorspellen, vereisen vaak expliciete 4D-supervisie (zeldzaam in datasets) of vertrouwen op externe trackers, wat extra afhankelijkheden en foutmogelijkheden introduceert.

Het doel is een pose-vrij, tracker-vrij en segmentatie-vrij feedforward framework te ontwikkelen dat dynamische straatscènes kan reconstrueren met hoge fideliteit, inclusief nieuwe weergaven op nieuwe posities én nieuwe tijdstippen.

Methodologie: StreetForward

StreetForward is een framework dat voortbouwt op de Visual Geometry Grounded Transformer (VGGT), maar specifieke aanpassingen doorvoert om dynamische scènes te hanteren. De pijlers van de methode zijn:

1. Feedforward 3D Gaussian Splatting (3DGS)

In plaats van per-scene optimalisatie, gebruikt het model 3D Gaussians om zowel statische content als dynamische objecten uniform voor te stellen.

Statische content: Wordt gerepresenteerd door Gaussians die gedurende de hele sequentie bestaan.
Dynamische content: Wordt gemodelleerd via per-pixel snelheden. Gaussians worden over tijd gepropageerd op basis van deze voorspelde snelheden.
Het model schat camera-pose, diepte en Gauss-parameters in één enkele forward pass.

2. Causale Gemaskerde Attention (Causal Masked Attention)

Dit is de kerninnovatie om beweging te modelleren zonder expliciete supervisie.

De standaard Alternating Attention van VGGT wordt aangevuld met een temporeel gemaskerde module.
Deze module gebruikt een causale masker die de attention beperkt tot een specifieke bron-naar-doel-frame relatie (bijv. frame $t$ naar $t+1$ ).
Dit versterkt de "bewegingsbewuste" (motion-aware) latent representations en zorgt voor gerichte bewegingsinformatie, in plaats van willekeurige correlaties tussen frames.

3. Snelheidsdecoding en Bewegingsconsistentie

Snelheidsdecoding: Een decoder (DPT-stijl) regresseert een dicht veld van voorwaartse en achterwaartse snelheden ( $v^+, v^-$ ) en een dynamische waarschijnlijkheid per pixel.
Lokale Rigiditeit (Rigidity): Omdat er geen pixel-perfect bewegingslabels zijn, wordt een prior opgelegd dat naburige pixels binnen een object vergelijkbare beweging moeten hebben (zowel in 2D als 3D). Dit voorkomt dat beweging "drijft" of onstabiel wordt.
Forward-Backward Consistentie: De som van de voorwaartse en achterwaartse snelheid wordt gestraft als deze niet symmetrisch is (constant-velocity aanname op korte termijn). Dit zorgt voor temporale coherentie.

4. Regularisatie en Training

Opaciteit-stabilisatie: Een speciale regularisatie voorkomt dat de opaciteit van Gaussians naar nul zakt (wat zou leiden tot "gaten" in de reconstructie) in plaats van dat ze hun positie in de 3D-ruimte aanpassen.
Twee-fasen training: Eerst wordt alleen de geometrie (statisch) getraind. Pas daarna wordt de bewegingshead geactiveerd en wordt temporale aggregatie ingeschakeld.

Belangrijkste Bijdragen

Een volledig feedforward 4D-reconstructieframework: Het is het eerste model dat pose-vrij, tracker-vrij en segmentatie-vrij werkt voor dynamische straten, met ondersteuning voor zowel novel-view (nieuwe camera-hoek) als novel-time (nieuwe tijdstip) rendering.
Causale Attention Mechanisme: Een eenvoudige maar effectieve aanpassing aan VGGT die gericht bewegingsmodelleren mogelijk maakt zonder expliciete 4D-supervisie.
Superieure Generalisatie: Het model is getraind op de Waymo Open Dataset en toont sterke "zero-shot" prestaties op andere datasets (zoals CARLA), wat aantoont dat het de bewegingspriors effectief heeft geleerd.

Resultaten

Het model is geëvalueerd op de Waymo Open Dataset en de CARLA-simulatie.

Novel View Synthesis: StreetForward presteert beter dan bestaande methoden (zoals STORM, DGGT, AnySplat) op dynamische gebieden. Het produceert scherpere geometrie en minder "ghosting" (dubbele beelden) bij bewegende objecten.
- Voorbeeld: Op de Waymo dataset bereikte het een PSNR van 24.30 op dynamische regio's (tegenover 22.10 voor STORM en 20.99 voor DGGT).
Diepsschatting (Depth Estimation): Het model levert de laagste RMSE-fouten op, zelfs op bewegende voertuigen, wat aantoont dat de causale bewegingscodering essentieel is voor het behoud van dynamische geometrie.
Zero-Shot Generalisatie: Zonder enige fine-tuning presteert StreetForward op CARLA beter dan de sterkste baselines, zelfs bij het synthetiseren van beelden vanuit verschoven perspectieven (lane shifts).
Kwalitatieve Verbeteringen: Het model kan correcte beweging voorspellen voor stilstaande auto's (die soms ten onrechte als dynamisch worden gelabeld) en reconstructeert complexe structuren zoals verkeerslichten en kabels scherp, zelfs onder beweging.

Betekenis en Impact

StreetForward markeert een belangrijke stap voorwaarts in de autonome rij-simulatie.

Efficiëntie: Door de noodzaak van per-scene optimalisatie te elimineren, kunnen enorme datasets snel worden verwerkt voor training en simulatie.
Robuustheid: Het verwijderen van afhankelijkheid van externe trackers of segmentatiemodellen maakt het systeem robuuster en minder vatbaar voor fouten in die voorgaande stappen.
Toepasbaarheid: De mogelijkheid om realistische beelden te genereren op nieuwe tijdstippen en posities maakt het ideaal voor het testen van autonome rijalgoritmen in extreme of zeldzame scenario's (closed-loop testing).

Kortom, StreetForward biedt een schaalbare, snelle en accurate oplossing voor het begrijpen en reconstrueren van de dynamische wereld om een autonoom voertuig heen.