💻 computer science

SEGAR: Selective Enhancement for Generative Augmented Reality

In dit paper wordt SEGAR voorgesteld, een raamwerk dat een generatief wereldmodel combineert met een selectieve correctiestap om toekomstige augmented reality-beelden voor scenario's zoals rijden vooraf te genereren en te cachen, terwijl kritieke gebieden worden afgestemd op de realiteit.

Oorspronkelijke auteurs: Fanjun Bu, Chenyang Yuan, Hiroshi Yasuda

Gepubliceerd 2026-03-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fanjun Bu, Chenyang Yuan, Hiroshi Yasuda

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bril draagt die niet alleen de wereld om je heen laat zien, maar ook een "wat als"-versie van de toekomst. Je loopt door de stad, en in je bril zie je plotseling dat de grijze betonnen muren veranderen in kleurrijke Tokyo-stijl gevels, of dat de bomen bloeien met paarse bloemen. Dit is de droom van Generatieve Augmented Reality (GAR): in plaats van virtuele objecten als stickers op je camera-voeding te plakken, wordt de hele wereld opnieuw getekend door een slimme AI.

Maar hier zit een groot probleem: wat als die AI droomt dat er een auto is, terwijl er in het echt geen auto is? Of wat als hij vergeet dat er een echt kind oversteekt? In een wereld waar je op de AI vertrouwt om te zien wat er gebeurt, kan zo'n droom gevaarlijk zijn.

Deze paper introduceert SEGAR, een slimme oplossing die deze droom en de harde realiteit met elkaar verzoent. Je kunt het zien als een twee-staps proces: een dromer en een controleur.

Stap 1: De Dromer (De "Stylizer")

Stel je voor dat je een regisseur bent die een film draait. Je wilt de volgende scènes alvast opschrijven, maar dan met een twist: je wilt dat de gebouwen eruitzien alsof ze in Tokio staan, terwijl de weg en de auto's hetzelfde blijven.

In Stap 1 doet de AI precies dit. Het kijkt naar wat er nu gebeurt (de eerste paar seconden) en bedenkt dan hoe de komende 9 seconden eruit zouden kunnen zien, maar dan met jouw gewenste veranderingen (bijvoorbeeld: "maak de bomen paars").

Het probleem: De AI is creatief, maar soms te creatief. Hij vergeet misschien een echte auto die net om de hoek komt, of hij plaatst een verkeersbord op de verkeerde plek. Hij "droomt" de toekomst, maar droomt soms verkeerd.

Stap 2: De Controleur (De "Correctie")

Hier komt SEGAR om de hoek kijken. In Stap 2 hebben we een strenge, maar slimme controleur nodig. Deze controleur kijkt naar de droom van de AI en zegt: "Wacht even, kijk eens naar wat er echt gebeurt."

De magie van SEGAR zit in zijn selectiviteit:

De veilige zones: Als de AI droomt dat er een auto is, maar in het echt is er geen auto, of als de AI vergeet dat er een kind loopt, grijpt de controleur in. Hij veegt de droom weg en plakt de echte realiteit eroverheen. Dit is cruciaal voor veiligheid.
De creatieve zones: Maar kijk eens naar die paarse bomen die de AI had bedacht. De controleur zegt: "Die zijn prima! Die houden we." Hij laat de creatieve veranderingen intact.

Het is alsof je een schilderij maakt van een droom, en een vriend die kijkt en zegt: "Die auto's en mensen moeten echt zijn, anders lopen we erin te struikelen, maar die paarse bomen zijn leuk, die laten we staan."

Waarom is dit zo slim?

Snelheid: De "droom" (Stap 1) kan van tevoren worden gemaakt en opgeslagen. Je hoeft niet elke seconde opnieuw te rekenen. Alleen de "controle" (Stap 2) moet in real-time gebeuren, en dat is veel lichter voor de computer.
Veiligheid: In een auto of bij een robot is het levensbelangrijk dat je de weg, andere auto's en voetgangers echt ziet. SEGAR zorgt ervoor dat deze elementen nooit verdwijnen in een droom.
Flexibiliteit: Je kunt de wereld veranderen voor het plezier (bijvoorbeeld in een spel of een toeristische app), zonder dat je de veiligheid op het spel zet.

De beperkingen (De "Gaten" in de droom)

De auteurs zijn eerlijk: dit is nog een proefversie. Soms is de grens tussen "veilig" en "creatie" niet scherp. Als een vrachtwagen half in de veilige zone en half in de creatieve zone staat, kan het er een beetje raar uitzien (alsof de vrachtwagen uit elkaar valt). Ook kan de AI niet oneindig doorgaan; hij moet steeds opnieuw beginnen met de echte wereld als input, omdat hij niet weet hoe zijn eigen gecorrigeerde droom eruitziet.

Conclusie

Kortom: SEGAR is een slimme manier om de toekomst te voorspellen en te verfraaien, zonder de realiteit uit het oog te verliezen. Het is als een veiligheidsriem voor je dromen: je mag vliegen in je fantasie, maar als je dreigt te vallen, grijpt het systeem in om je veilig op de grond te houden. Dit is een grote stap richting augmented reality die niet alleen mooi is, maar ook veilig en betrouwbaar.

Titel: SEGAR: Selectieve Versterking voor Generatieve Augmented Reality

1. Het Probleem

Generatieve wereldmodellen bieden een veelbelovende basis voor Augmented Reality (AR) door toekomstige beeldsequenties te voorspellen die bewuste visuele bewerkingen bevatten. Dit maakt het mogelijk om toekomstige frames vooraf te genereren en te cachen, wat real-time rendering per frame overbodig maakt. Echter, er zijn twee belangrijke uitdagingen:

Drift van de realiteit: Bestaande generatieve modellen kunnen in dynamische omgevingen afwijken van de werkelijkheid (drift), wat in AR leidt tot perceptuele inconsistenties of onveilige interpretaties.
Beperking van bestaande AR: Traditionele AR plakt virtuele objecten over een live camera-feed. Generatieve AR (GAR) synthetiseert echter de volledige weergave opnieuw. Als deze synthetische weergave niet perfect overeenkomt met de live realiteit in kritieke gebieden, wordt het als "onwaar" of gevaarlijk ervaren.
De noodzaak van selectiviteit: Omdat het doel is om toekomstige frames met bewerkingen te genereren (en niet alleen een exacte voorspelling), mag men niet simpelweg de echte waarneming vervangen. De correctie moet selectief zijn: veiligheidskritieke gebieden moeten met de realiteit worden afgestemd, terwijl de beoogde artistieke of functionele bewerkingen elders behouden blijven.

2. Methodologie: Het SEGAR Framework

SEGAR is een tweestapsframework dat een op diffusie gebaseerd wereldmodel combineert met een selectieve correctiestap. Het systeem is getest in rijscenario's, waar semantische regio's goed gedefinieerd zijn.

Fase I: Generatieve Stylizer (Generatie met Bewerkingen)

Basis: Het model bouwt voort op Vista, een diffusie-gebaseerd wereldmodel voor rijden.
Doel: Het genereren van toekomstige frames (bijv. 9 frames na 3 conditionele frames) met regio-specifieke visuele bewerkingen (bijv. het veranderen van de stijl van gebouwen en bomen naar een "Tokyo-stijl").
Implementatie:
- Het model wordt getraind om drie opeenvolgende real-wereld frames als input te nemen.
- In plaats van expliciete segmentatiemasks als input te geven tijdens inferentie, leert het model via de ruimtelijke inductieve bias van de U-Net-achtergrond welke semantische regio's bewerkt moeten worden en welke niet.
- Data: Trainingdata wordt gegenereerd met het VACE-framework (gebaseerd op Wan2.1) om statische elementen (gebouwen, vegetatie) in te vullen met een nieuwe stijl, terwijl dynamische elementen (wegen, auto's, voetgangers) intact blijven.
- Het model leert end-to-end om coherente toekomstframes te produceren met deze bewerkingen.

Fase II: Selectieve Realiteit-Correctie

Doel: Het afstemmen van veiligheidskritieke regio's van de gegenereerde frames met de echte waarneming, terwijl de bewerkingen in andere regio's behouden blijven.
Input: Een triplet bestaande uit:
1. De echte waarneming ( $x$ ).
2. Het gegenereerde, bewerkte toekomstframe ( $x_{aug}$ ) uit Fase I.
3. Het te leren outputframe ( $\hat{x}$ ).
Conditionering:
- De VAE-pad (ruimtelijke gronding) ontvangt de echte waarneming ( $x$ ) om een sterke ruimtelijke anker te bieden voor kritieke gebieden.
- De CLIP-pad (semantische context) ontvangt het bewerkte frame ( $x_{aug}$ ) om de globale semantische identiteit en stijl te behouden.
Verliesfunctie (Loss Function):
- Er wordt een ruimtelijk gemaskerde reconstructieloss gebruikt in de latent space.
- Kritieke maskers ( $m_{crit}$ ): Gebieden zoals wegen, voertuigen en verkeersborden worden geforceerd om overeen te komen met de echte waarneming.
- Augmentatiemaskers ( $m_{aug}$ ): Gebieden zoals gebouwen en bomen worden geforceerd om de bewerkte stijl te behouden.
- Bufferzone: Er wordt een bufferzone (40 pixels) gecreëerd rond de kritieke maskers waar geen reconstructieloss wordt berekend. Dit voorkomt artefacten aan de randen en laat het model de overgang harmoniseren op basis van de vooraf getrainde prior.
Training: Fase II is een lichte fine-tuning (LoRA) van de Fase I-stylizer, waarbij alleen de ruimtelijke attentielagen worden aangepast.

3. Belangrijkste Bijdragen

Het SEGAR Framework: Een nieuw tweestapsproces dat generatieve wereldmodellen geschikt maakt voor AR door het probleem van realiteitsdrift op te lossen zonder de creatieve vrijheid in te leveren.
Selectieve Correctie: Een innovatieve aanpak waarbij veiligheidskritieke gebieden worden gecorrigeerd op basis van live feedback, terwijl artistieke bewerkingen elders intact blijven. Dit is een fundamenteel verschil met traditionele video-inpainting.
Efficiëntie: Het systeem kan toekomstframes vooraf genereren en cachen. Alleen de correctiestap (Fase II) moet real-time per frame werken, wat de reken- en geheugenvoetafdruk bij implementatie verlaagt.
Validatie in Rijscenario's: Een robuuste demonstratie in een complexe omgeving waar semantische structuur cruciaal is voor veiligheid.

4. Resultaten

De prestaties zijn geëvalueerd met SSIM (Structural Similarity Index) en LPIPS (Learned Perceptual Image Patch Similarity) over twee regio's: veiligheidskritiek (weg/verkeer) en augmentatie (omgeving/stijl).

Veiligheidskritieke Regio's:
- De correctiestap (Fase II) verbeterde de SSIM van 0,770 (bewerkt frame) naar 0,943 (gecorrigeerd frame) ten opzichte van de echte realiteit.
- De LPIPS daalde van 0,397 naar 0,285, wat aangeeft dat de visuele consistentie met de realiteit sterk is verbeterd.
Augmentatie Regio's:
- De geredigeerde stijl bleef grotendeels behouden. De SSIM tussen het bewerkte frame en het gcorrigeerde frame was 0,866, en de LPIPS was 0,130.
Kwalitatieve Resultaten:
- Het model slaagt erin om verkeerde voorspellingen van voetgangers, voertuigen en verkeersborden correct te herstellen, terwijl bomen en gebouwen de gewenste "Tokyo-stijl" behouden.
- Er is een duidelijke verbetering in de alignering met de realiteit zonder dat de creatieve bewerkingen verloren gaan.

5. Betekenis en Toekomstperspectief

Praktische AR-infrastructuur: SEGAR vormt een belangrijke stap richting generatieve wereldmodellen als praktische AR-infrastructuur. Het lost het dilemma op tussen het genereren van toekomstige frames (voor lage latentie) en het behouden van veiligheid en realiteitsgetrouwheid.
Toepassingsgebied: Hoewel getest in rijden, is het framework toepasbaar op elke generatieve AR-situatie waar de volledige weergave opnieuw wordt gesynthetiseerd, evenals op robotperceptie en simulatie-naar-realiteit transfer.
Beperkingen en Richtingen:
- Het model werkt momenteel op regio-niveau en kan conflicten veroorzaken bij objecten die over de grens van kritieke en niet-kritieke zones vallen (bijv. een vrachtwagen die deels op de weg en deels in de berm staat).
- Er is geen autoregressive ondersteuning voor lange horizonvoorspellingen omdat de gecorrigeerde frames niet overeenkomen met de trainingsverdeling.
- Stijlveranderingen vereisen momenteel het hertrainen van het model; toekomstig werk zou kunnen focussen op expliciete stijlconditionering (bijv. via tekst) om dit te voorkomen.

Kortom, SEGAR demonstreert dat het mogelijk is om een hybride systeem te bouwen dat de voordelen van generatieve AI (creativiteit, voorspelling) combineert met de noodzaak van strikte realiteitsgetrouwheid in veiligheidskritieke toepassingen.