💻 computer science

Test-Time Adaptation for Height Completion via Self-Supervised ViT Features and Monocular Foundation Models

Het paper introduceert Prior2DSM, een trainingsvrij raamwerk dat foundation-modellen en test-tijd aanpassing gebruikt om onvolledige digitale oppervlaktemodellen (DSM's) nauwkeurig en metaleer te reconstrueren zonder specifieke supervisie.

Oorspronkelijke auteurs: Osher Rafaeli, Tal Svoray, Ariel Nahlieli

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Osher Rafaeli, Tal Svoray, Ariel Nahlieli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, driedimensionale kaart van een stad hebt, een soort digitale poppetje-land waar elk huis, elke boom en elke heuvel zijn echte hoogte heeft. Dit noemen wetenschappers een Digitale Oppervlaktemodel (DSM). Deze kaarten zijn onmisbaar voor stedenplanners, om te weten hoeveel water er bij een overstroming kan lopen, of om te zien of er nieuwe gebouwen zijn gekomen.

Maar hier is het probleem: deze kaarten zijn vaak niet compleet. Soms ontbreken er stukken omdat de satellietfoto's wazig waren, of omdat er nieuwe gebouwen zijn neergezet die er op de oude kaart nog niet stonden. Het is alsof je een puzzel hebt, maar er ontbreken hele stukken van de huizen.

Het oude probleem
Vroeger probeerden mensen deze gaten op te vullen door te "gissen" op basis van de omgeving. Als er een gat was in een veld, keken ze naar de grond ernaast en dachten: "Oh, dat is waarschijnlijk even hoog." Maar als er een heel nieuw huis in dat gat staat, werkt die methode niet. Je kunt een nieuw huis niet voorspellen door alleen naar de grond te kijken.

Andere, slimme methodes gebruikten kunstmatige intelligentie (AI), maar die hadden vaak duizenden voorbeelden nodig om te leren hoe ze een specifieke stad moesten tekenen. Als je die AI naar een andere stad stuurde, faalde hij vaak omdat hij niet "algemeen" genoeg was.

De nieuwe oplossing: Prior2DSM
De auteurs van dit paper hebben een nieuwe methode bedacht, genaamd Prior2DSM. Ze noemen het "testtijd-aanpassing". Dat klinkt ingewikkeld, maar het is eigenlijk heel slim en simpel als je het zo bekijkt:

Stel je voor dat je een meester-architect hebt die nog nooit in deze specifieke stad is geweest, maar wel duizenden andere steden kent.

De "Oude Kaart" (De Prior): Je hebt een oude, onvolledige kaart. Je weet dat de straten en sommige gebouwen nog goed staan, maar er zijn gaten.
De "Nieuwe Foto" (De Monoculaire Basis): Je hebt een nieuwe, scherpe foto van de stad. De AI kijkt naar deze foto en zegt: "Ik zie hier een gebouw, en daar een boom. Ze zien eruit alsof ze op een bepaalde hoogte staan, maar ik weet niet precies hoe hoog in meters." Het is alsof de architect alleen de vorm ziet, maar niet het meetlint.
De "Semantische Bril" (DINOv3): Hier komt de magie. De AI gebruikt een bril genaamd DINOv3. Deze bril kijkt niet naar de hoogte, maar naar de betekenis van dingen. Hij ziet: "Ah, dat is een dak van een huis," en "Dat is de gevel van een kerk." Het maakt niet uit of het huis links of rechts staat; als het eruitziet als een huis, is het een huis.
De "Slimme Aanpassing" (TTA & LoRA): Nu komt het slimme deel. De AI kijkt naar de oude kaart (waar de hoogtes nog goed zijn) en vergelijkt die met de nieuwe foto.
- Hij zegt: "Ik zie dat dit dak op de oude kaart 10 meter hoog was. Op de nieuwe foto zie ik een identiek dak (via de semantische bril). Dus, ik ga die nieuwe 10 meter gebruiken om het hele nieuwe gebouw in te vullen."
- Hij past zich direct aan tijdens het kijken (Test-Time Adaptation). Hij leert niet van tevoren, maar leert terwijl hij de kaart maakt. Hij past de schaal en de verschuiving aan, alsof hij een meetlint direct op de foto legt om de juiste hoogte te berekenen.

Waarom is dit zo goed?

Het werkt zonder training: Je hoeft de AI niet maandenlang te laten oefenen op duizenden kaarten. Hij gebruikt zijn algemene kennis en past zich direct aan de nieuwe situatie aan.
Het vult echte gaten: Als er een heel nieuw winkelcentrum staat dat er niet eerder was, kan de oude methode dat niet invullen. Maar deze methode kijkt naar de vorm van het gebouw op de foto, vergelijkt het met andere gebouwen die hij kent, en zegt: "Oké, dit is een winkelcentrum, die zijn meestal zo hoog," en vult het in.
Het is nauwkeurig: In de tests bleek dat deze methode veel minder fouten maakte dan de oude methodes. Waar de oude methodes soms 9 meter fout zaten, zat deze methode vaak binnen de 5 meter.

Een creatieve metafoor: De "Kloon-Techniek"
Stel je voor dat je een oude, beschadigde foto van een dorp hebt. Je wilt de beschadigde delen repareren.

De oude manier: Je plakt er een stukje van de grond naast op. Dat ziet er raar uit als er een kerk moet komen.
De Prior2DSM manier: Je hebt een magische spiegel. Je kijkt naar de beschadigde plek, en de spiegel zegt: "Ik zie dat hier een kerktoren moet komen. Kijk eens naar die andere kerktoren op de foto die nog heel is. Die heeft een bepaalde hoogte. Laten we die hoogte overnemen en die toren hier 'kloont'."

Conclusie
Kortom, deze nieuwe methode is als een slimme, flexibele architect die een oude, beschadigde kaart kan repareren door te kijken naar een nieuwe foto. Hij gebruikt zijn kennis van hoe gebouwen eruitzien om de gaten in te vullen, zonder dat hij eerst jarenlang moet studeren. Het maakt het mogelijk om onze digitale kaarten van de wereld snel, goedkoop en nauwkeurig up-to-date te houden, zelfs als er grote veranderingen zijn.

Titel: Test-Time Adaptation voor Hoogtecompletie via Zelftoezicht ViT-kenmerken en Monoculaire Fundatiemodellen

Auteurs: Osher Rafaeli, Tal Svoray, Ariel Nahlieli (Ben-Gurion University of the Negev)

1. Probleemstelling

Digitale Oppervlaktemodellen (DSM's) zijn cruciaal voor toepassingen zoals stedelijke monitoring, milieuanalyses en infrastructuurbeheer. Bestaande DSM's zijn echter vaak incompleet of verouderd door beperkingen in acquisitie, reconstructie-artefacten of veranderingen in de bebouwde omgeving.

Huidige beperkingen: Traditionele methoden voor het aanvullen van ontbrekende hoogtedata (height completion) vertrouwen op ruimtelijke interpolatie (bijv. kriging). Deze methoden gaan ervan uit dat het oppervlak ruimtelijk continu is en falen wanneer objecten volledig ontbreken (bijv. nieuwe gebouwen of verwijderde vegetatie).
Leer-gedreven aanpakken: Recentere methoden gebruiken diep leren, maar vereisen vaak gesuperviseerde training op datasets die specifiek zijn voor bepaalde sensoren of domeinen. Dit beperkt hun generalisatievermogen bij domeinverschuivingen (bijv. andere sensoren of geografische locaties).
De uitdaging: Het is moeilijk om metische (absolute) hoogtes af te leiden uit monoculaire (één oog) beelden vanwege de schaal-ambiguïteit (het ontbreken van perspectief in orthografische beelden) en de afhankelijkheid van schaduwinformatie. Bestaande methoden kunnen vaak geen omgaan met volledig ontbrekende objecten zonder dat ze specifiek voor die objecten zijn getraind.

2. Methodologie: Prior2DSM

De auteurs stellen Prior2DSM voor, een trainingsvrij framework dat volledig tijdens de testfase (Test-Time Adaptation of TTA) werkt. Het doel is het reconstrueren van een complete, metische DSM door onvolledige hoogte-priors te combineren met monoculaire beelden.

Kerncomponenten:

Self-Supervised ViT Features (DINOv3):
- In plaats van ruimtelijke nabijheid te gebruiken, gebruikt het framework semantische overeenkomsten.
- Een DINOv3-encoder (een Vision Transformer getraind op zelftoezicht) extrahert dichte semantische kenmerken.
- Strided Overlap Accumulation: Om de "blokkerige" output van standaard ViT-patches op te lossen, wordt een strategie met verschoven overlopende patches gebruikt. Dit verhoogt de semantische steekproefdichtheid 16-voudig en zorgt voor fijnere, hogere resolutie semantische kaarten.
- Hypothese: Objecten met dezelfde semantische betekenis (bijv. gebouwen van hetzelfde type) vertonen vergelijkbare zelf-attentiepatronen, ongeacht hun ruimtelijke locatie. Dit maakt het mogelijk om hoogteinformatie over te dragen tussen semantisch vergelijkbare, maar ruimtelijk gescheiden gebieden.
Monoculaire Fundatiemodellen (MDE):
- Het framework gebruikt state-of-the-art monoculaire dieptemodellen (zoals Depth Anything V2, Depth Pro, en MoGe-2) om een relatieve dieptekaart ( $H_{rel}$ ) te genereren. Deze modellen zijn niet getraind op specifieke hoogtedata maar bieden sterke geometrische structuur.
Test-Time Adaptation (TTA) met LoRA en MLP:
- Doel: De relatieve diepte ( $H_{rel}$ ) omzetten in een metische hoogte ( $H_{fine}$ ) en ontbrekende gebieden aanvullen.
- Mechanisme: Een lichtgewicht Multilayer Perceptron (MLP) voorspelt per token (ruimtelijk gebied) een schaal- ( $s$ ) en verschuivingsparameter ( $b$ ). De metische hoogte wordt berekend als: $\hat{z} = s \cdot r + b$ .
- Optimalisatie: Tijdens de inferentie worden de parameters van de MLP en de attention-layers van DINOv3 aangepast via Low-Rank Adaptation (LoRA). Dit gebeurt zonder de volledige modellen opnieuw te trainen, maar wel door gebruik te maken van de beschikbare (ongeveer) metische priors in de niet-ontbrekende gebieden.
- Het systeem kalibreert zo lokaal de relatieve dieptevoorspellingen op basis van semantische overeenkomsten met de bekende priors.

3. Belangrijkste Bijdragen

Trainingsvrij Framework: Prior2DSM vereist geen domeinspecifieke training. Het werkt "zero-shot" door gebruik te maken van de algemene kennis van fundatiemodellen.
Semantisch Geleide Completie: In tegenstelling tot interpolatie die faalt bij ontbrekende objecten, gebruikt deze methode semantische feature-space correspondentie om hoogtes over te dragen naar volledig ontbrekende objecten (bijv. nieuwe gebouwen).
Efficiënte TTA: Door LoRA en een kleine MLP te gebruiken, wordt het model efficiënt aangepast aan de specifieke scène tijdens de inferentie, wat robuustheid biedt tegen domeinverschuivingen.
Systematische Benchmarking: De auteurs evalueren de impact van verschillende fundatiemodellen (Depth Anything V2, Depth Pro, MoGe-2) op de nauwkeurigheid.
Praktische Toepassingen: Validatie van DSM-updating (verouderde data corrigeren) en gekoppelde RGB-DSM generatie (samenwerken met generatieve AI voor tekst-naar-beeld).

4. Resultaten

De methoden zijn getest op twee datasets:

NAIP (Denver, VS): Hoge resolutie luchtfoto's (30 cm), complexe stedelijke omgeving met hoge gebouwen.
WorldView-3 (Fresno, VS): Satellietbeelden (60 cm), voornamelijk laagbouw.

Experimenten:
De prestaties zijn gemeten bij verschillende niveaus van onvolledigheid in de prior-data (25%, 50% en 75% ontbrekende data).

Kernbevindingen:

Verbetering t.o.v. Baselines: Prior2DSM presteert consistent beter dan bilineaire interpolatie, globale rescaling, lokale gewogen lineaire regressie (LWLR) en bestaande methoden zoals PriorDA en Marigold-DC.
Nauwkeurigheid:
- Op de NAIP-dataset (Denver) bereikte Prior2DSM een 46% reductie in RMSE (Root Mean Square Error) vergeleken met globale lineaire fitting van monoculaire dieptemodellen.
- Bij 25% ontbrekende data: RMSE van 5.31 m (Prior2DSM) vs. 9.01 m (globale rescaling).
- Bij 75% ontbrekende data: RMSE van 6.59 m (Prior2DSM) vs. 8.57 m (globale rescaling).
Structuurbehoud: De methode behoudt structurele details (zoals scherpe gebouwranden) veel beter dan interpolatiemethoden, die vaak "oversmoothed" oppervlakken produceren.
Backbone Sensitiviteit: Op complexe datasets (NAIP) presteerde MoGe-2 als relatieve diepte-bron het beste, gevolgd door Depth Pro en Depth Anything V2. Op de homogene WV3-dataset waren de verschillen minder groot.
Ablatie-studie: Het gebruik van LoRA op DINOv3 en de MLP-schaal/verschuiving voorspeller bleek essentieel; zonder LoRA of zonder MDE-rescaling nam de fout significant toe.

5. Betekenis en Conclusie

Prior2DSM vertegenwoordigt een doorbraak in de verwerking van ruimtelijke data door de kloof te overbruggen tussen semantisch begrip en geometrische reconstructie zonder zware training.

Robuustheid: Het lost het probleem op van het aanvullen van volledig ontbrekende objecten, wat een fundamentele beperking was van eerdere interpolatiemethoden.
Generalisatie: Omdat het trainingsvrij is en gebruikmaakt van fundatiemodellen, werkt het goed over verschillende sensoren (lucht vs. satelliet) en domeinen.
Toekomstperspectief: De methode maakt het mogelijk om verouderde DSM's kosteneffectief bij te werken en biedt een module voor gekoppelde generatie van RGB-beelden en bijbehorende hoogtemodellen, wat waardevol is voor stadsplanning en simulatie.

De auteurs concluderen dat dit de eerste toepassing is van een bevroren DINOv3-fundatiemodel voor zero-shot hoogtecompletie, en dat Test-Time Adaptation een krachtige strategie is om de prestaties van fundatiemodellen in de remote sensing te maximaliseren.