Self-Calibrating Dense Displacement Fields for Reliable Co-Registration of Large Optical Satellite Imagery

Satellietbeelden van dezelfde plek, genomen op verschillende tijdstippen of door verschillende camera's, sluiten zelden perfect op elkaar aan. Zelfs wanneer ze bedoeld zijn om exact hetzelfde stuk grond te tonen, wijken de pixels vaak enkele meters of zelfs tientallen meters uit elkaar. Deze misuitlijning komt door kleine fouten in hoe de satelliet zijn eigen positie bepaalt, hoe het terrein wordt gecorrigeerd, of hoe de afbeelding wordt samengevoegd uit meerdere vluchten. Voor wetenschappers die veranderingen in de loop van de tijd willen volgen — zoals het observeren van een groeiend bos, het meten van hoe snel een gletsjer smelt, of het combineren van gegevens van verschillende sensoren om een compleet beeld te creëren — vormen deze misuitlijningen een grote hindernis. Als de afbeeldingen niet precies overeenkomen, wordt de data ruizig en onbetrouwbaar, wat het onmogelijk maakt om subtiele veranderingen waar te nemen of informatie nauwkeurig te combineren. Het doel van co-registratie is om deze drift te herstellen, door de afbeeldingen te verschuiven zodat elke pixel in de ene foto precies boven de overeenkomstige pixel in de andere foto landt.

Jarenlang hebben onderzoekers vertrouwd op hulpmiddelen om deze uitlijning uit te voeren, maar deze tools werken vaak als specialisten die uitstekend zijn in één specifieke taak, maar volledig falen wanneer de omstandigheden veranderen. Als de afbeeldingen door dezelfde camera zijn genomen met slechts een kleine verschuiving, werkt een tool misschien perfect. Maar als de afbeeldingen afkomstig zijn van verschillende sensoren, dezelfde plek in verschillende seizoenen tonen, of zijn samengevoegd uit verschillende vliegroutes, kan dezelfde tool een resultaat produceren dat honderden meters fout is zonder de gebruiker ooit te waarschuwen dat het is mislukt. Deze onvoorspelbaarheid maakt het moeilijk om deze tools automatisch op wereldwijde schaal te gebruiken, waarbij het type beeldpaar vaak vooraf onbekend is. Een team van onderzoekers heeft nu een nieuwe methode ontwikkeld die deze valkuilen vermijdt door te weigeren rigide aannames te doen over hoe de afbeeldingen moeten bewegen. In plaats van de data in een vooraf ingest waypatroon te dwingen, laat hun aanpak de data voor zichzelf spreken, door een flexibele kaart te creëren van hoe elk afzonderlijk punt in de afbeelding moet verschuiven om met de referentie overeen te komen.

De onderzoekers, onder leiding van Shoukun Sun en collega's van de University of Idaho en andere instellingen, hebben een systeem ontwikkeld dat ze SCDF noemen, wat staat voor self-calibrating displacement fields (zelfkalibrerende verplaatsingsvelden). De kern van het idee is eenvoudig maar krachtig: in plaats van ervan uit te gaan dat de hele afbeelding op één eenvoudige manier beweegt, zoals een stijve plaat die over een tafel glijdt, behandelt het systeem de beweging als een complex, dicht veld waarbij elke pixel een klein beetje anders kan bewegen. Dit stelt de methode in staat om complexe vervormingen aan te pakken, zoals wanneer één kant van een afbeelding de ene kant op verschuift en de andere kant de tegenovergestelde kant op, een situatie die de meeste traditionele tools doet falen. Het systeem werkt door de afbeelding op te delen in kleine segmenten en herhaaldelijk een reeks vragen te stellen: "Waar lijkt dit segment bij te horen?" en "Komt die match overeen met de buren?" Cruciaal is dat het systeem geen vaste regels of vooraf getrainde instellingen gebruikt die specifiek voor een paar afbeeldingen fout kunnen zijn. In plaats daarvan kalibreert het systeem zijn eigen beslissingsdrempels aan de hand van de specifieke beeldparen die het momenteel probeert uit te lijnen. Het kijkt naar de data die het tot nu toe heeft verzameld om te beslissen wat een goede match is en wat een fout is, waardoor het zichzelf effectief leert hoe het om moet gaan met de unieke eigenaardigheden van die specifieke scène.

Om te testen of deze aanpak daadwerkelijk beter werkt dan bestaande methoden, heeft het team een enorme benchmark gebouwd met behulp van echte satellietbeelden van bronnen zoals Sentinel-2, Landsat-8 en 9, en hoogresolutie luchtfoto's van het NAIP-programma. Ze creëerden 584 afzonderlijke testgevallen, variërend van afbeeldingen genomen door dezelfde sensor, tot afbeeldingen van verschillende sensoren, paren gescheiden door slechts enkele dagen, en paren gescheiden door vijf jaar. Ze introduceerden ook bekende, precieze vervormingen in deze afbeeldingen, zodat ze exact konden meten hoe goed elke methode deze corrigeerde. De resultaten waren opmerkelijk. Terwijl traditionele tools vaak perfecte resultaten produceerden op sommige typen afbeeldingen maar catastrofale fouten maakten op andere — soms honderden meters mis — faalde het nieuwe systeem nooit in het leveren van een resultaat. Het slaagde erin om elk van de 584 testgevallen succesvol uit te lijnen. Belangrijker nog, in de meest moeilijke scenario's waar andere tools volledig faalden, bleef de nieuwe methode opvallend dicht bij het best mogelijke resultaat; het was nooit meer dan 1,39 keer slechter dan de beste performer in een gegeven test. In contrast hiermee waren de beste traditionele tools soms honderden keren slechter dan de best mogelijke uitkomst in diezelfde tests.

Het onderzoek onthulde ook dat de meest gebruikelijke manier om succes te meten in dit vakgebied misleidend kan zijn. Traditionele rapportages richten zich vaak op de gemiddelde fout of de mediaan van de fout, wat het feit kan verbergen dat een tool perfect kan zijn op de helft van de afbeelding en volledig fout op de andere helft. De onderzoekers toonden aan dat wanneer je naar de worst-case scenario's kijkt, de verschillen tussen methoden enorm worden. Hun nieuwe systeem is specifiek ontworpen om deze worst-case fouten te voorkomen, waardoor het resultaat betrouwbaar en begrensd blijft, zelfs wanneer de omstandigheden moeilijk zijn. Hoewel het systeem momenteel langzamer is dan sommige gespecialiseerde tools die op krachtige grafische processoren draaien, draait het volledig op een standaard computerprocessor zonder dat er speciale trainingsdata of vooraf ingestelde configuraties nodig zijn. Dit maakt het een robuuste keuze voor geautomatiseerde systemen die duizenden afbeeldingen moeten verwerken zonder menselijk toezicht, wat ervoor zorgt dat de data die wordt gebruikt voor kritieke milieumonitoring en wetenschappelijke analyse correct is uitgelijnd, ongeacht hoe verschillend de afbeeldingen ook zijn.