RobustSpring: Benchmarking Robustness to Image Corruptions for Optical Flow, Scene Flow and Stereo

Dit paper introduceert RobustSpring, een uitgebreid benchmark en dataset voor het evalueren van de robuustheid van optische stroom-, scenesflow- en stereovisie-modellen tegen 20 verschillende soorten beeldcorrupties, waarbij een nieuwe metriek wordt voorgesteld om zowel nauwkeurigheid als weerbaarheid tegen realistische verstoringen te beoordelen.

De kern

RobustSpring: De "Stress-test" voor de Ogen van Robots

Stel je voor dat je een robot bouwt die zelfstandig door de stad moet rijden, of een camera die een film moet maken. Deze robots hebben een soort "oog" nodig dat de wereld begrijpt: ze moeten zien hoe objecten bewegen (optische stroom), hoe ver ze weg zijn (stereo-visie) en hoe de hele 3D-wereld eruitziet (scène-stroom).

Tot nu toe hebben wetenschappers deze robots getest op hun nauwkeurigheid. Het was alsof we ze lieten rijden op een perfect gladde racebaan bij helder weer. Als ze daar goed reden, kregen ze een diploma. Maar wat gebeurt er als het regent, als de lens vies is van modder, of als de camera trilt? In de echte wereld is het nooit perfect.

Deze paper introduceert RobustSpring, een nieuwe test die niet vraagt: "Hoe goed kun je rijden op een racebaan?", maar: "Hoe goed kun je rijden als het stormt, sneeuwt en je voorruit bevroren is?"

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De Basis: Het Perfecte Zomerfeest (Spring)

De onderzoekers begonnen met een bestaande, zeer gedetailleerde dataset genaamd Spring. Dit is als een perfecte, computergegenereerde wereld waar alles helder is en de camera's stilstaan. Het is de "racebaan" waar de robots al hun diploma's hebben gehaald.

2. De Stress-test: 20 Manieren om de Wereld te Verpesten

RobustSpring neemt die perfecte wereld en gooit er 20 verschillende soorten "rommel" tegenaan. Denk hierbij niet aan kleine foutjes, maar aan echte chaos:

• Slecht weer: Regen, sneeuw, mist en vorst.
• Slechte camera: Ruis (zoals oud TV-beeld), wazigheid (alsof je door een vuile bril kijkt), en vervormingen.
• Kleurproblemen: Te fel licht, te donker, of kleuren die eruit springen alsof je door een gekke filter kijkt.

Het Geniale Detail:
Bij eerdere tests werden deze foutjes vaak willekeurig op één foto gezet. Maar in de echte wereld is een regenbui niet statisch; hij beweegt mee met de camera en valt op de juiste plekken in de diepte.
RobustSpring is slim genoeg om deze foutjes logisch te verspreiden:

• Tijd: Als het regent, blijft het regenen in de volgende frame, niet plotseling stoppen.
• Stereo (Twee ogen): Als je links een druppel ziet, zie je die ook rechts, maar dan net iets anders (zoals met twee ogen).
• Diepte: Sneeuwvlokken vallen achter een boom, niet voor de boom alsof ze zweven.

Dit maakt de test veel realistischer. Het is alsof je een robot niet alleen in een regenbui zet, maar in een regenbui die echt voelt als regen.

3. De Nieuwe Score: Stabiliteit vs. Perfectie

Vroeger keken we alleen naar de score: "Hoe ver zat de robot naast de weg?"
RobustSpring introduceert een nieuwe manier van scoren: Stabiliteit.

• De Analogie van de Danser:
  Stel je hebt een danser (de robot).

  • Nauwkeurigheid: Kan hij de perfecte pasjes doen op een stil podium?
  • Robuustheid: Als je plotseling de lichten uitdoet en de vloer begint te trillen, blijft hij dan in balans, of valt hij om?

  Een robot die perfect is op een stil podium, kan omvallen bij de eerste regenbui. RobustSpring meet hoe stabiel de danser blijft als de muziek verandert. Ze kijken niet alleen naar de fout, maar naar hoe onvoorspelbaar de robot wordt als de wereld rommelig wordt.

4. Wat Vonden Ze? (De Resultaten)

De onderzoekers testten 17 van de slimste robots (modellen) die er momenteel zijn. Het nieuws is niet zo goed als we hoopten:

• Ze zijn kwetsbaar: Zelfs de slimste robots, die perfect kunnen rekenen op een racebaan, raken in de war bij regen of ruis.
• Het hangt af van het type rommel: Sommige robots zijn goed tegen mist, maar vallen om bij sneeuw. Anderen houden van ruis, maar kunnen geen regen verdragen.
• Geen winnaar: Er is geen enkele robot die overal goed in is. Net als bij mensen: sommigen zijn goed in zwemmen, anderen in klimmen, maar weinig mensen zijn goed in alles, zeker niet als het stormt.

5. Waarom is dit belangrijk?

Tot nu toe bouwden we robots die alleen goed waren in de "laboratoriumwereld". RobustSpring is een waarschuwing en een hulpmiddel. Het zegt: "Stop met alleen kijken naar hoe snel ze kunnen rekenen. Kijk ook hoe sterk ze zijn als het echt misgaat."

Het is alsof we stoppen met het testen van auto's alleen op een droge, nieuwe weg, en ze eindelijk gaan testen in de modder, de sneeuw en de storm. Alleen dan weten we of we ze veilig de weg op kunnen sturen.

Kortom: RobustSpring is de nieuwe "reality check" voor computer-oogjes. Het zorgt ervoor dat de robots van de toekomst niet alleen slim zijn, maar ook veerkrachtig genoeg om de echte, rommelige wereld te overleven.

Technische samenvatting

Probleemstelling

Bestaande benchmarks voor optische stroom (optical flow), scenes flow en stereovisie richten zich voornamelijk op modelnauwkeurigheid onder ideale omstandigheden. Er is echter een gebrek aan systematische evaluatie van de robustheid van deze modellen tegen real-world beeldcorrupties, zoals ruis, wazigheid, compressie-artefacten en weersinvloeden (regen, sneeuw).

• De kernproblematiek: Hogere nauwkeurigheid garandeert niet per se betere robustheid; soms kan het zelfs de gevoeligheid voor verstoringen vergroten.
• Het hiaat: Bestaande datasets (zoals KITTI, Sintel, Spring) bevatten wel degelijk natuurlijke degradaties (bijv. bewegingswazigheid), maar deze zijn niet systematisch gecontroleerd of geïntroduceerd om de prestaties onder specifieke corrupties te testen. Er ontbreekt een gestandaardiseerd framework dat alle drie de taken (optical flow, scene flow, stereo) gelijktijdig adresseert met een breed scala aan corrupties.

Methodologie: RobustSpring Dataset

De auteurs introduceren RobustSpring, een uitgebreide dataset en benchmark gebaseerd op de hoge-resolutie Spring-dataset.

1. Dataset Creatie en Corrupties:

• Basis: De dataset bestaat uit 20.000 gecureerde stereo-frameparen (afgeleid van 2000 testframes van Spring).
• Corruptie Types: Er worden 20 verschillende corrupties toegepast, ingedeeld in vijf categorieën:
  • Kleur: Helderheid, contrast, verzadiging.
  • Wazigheid (Blur): Defocus, Gaussisch, glas, beweging, zoom.
  • Ruis (Noise): Gaussisch, impuls, vlek, shot-ruis.
  • Kwaliteit: Pixelatie, JPEG-compressie, elastische transformatie.
  • Weer: Spatten, vorst, sneeuw, regen, mist.
• Consistentie (Uniek kenmerk): In tegenstelling tot eerdere 2D-corruptiebenchmarks, zijn de corrupties in RobustSpring geïntegreerd in tijd, stereo en diepte:
  • Tijd-consistent: Corrupties evolueren soepel over opeenvolgende frames (bijv. vorstpatronen).
  • Stereo-consistent: Beide camera's ondergaan dezelfde transformatie-intensiteit (maar niet noodzakelijk identieke pixelruis).
  • Diepte-consistent: Weerseffecten (regen, sneeuw, mist) worden in 3D gerenderd zodat ze correct projecteren op basis van de scene-geometrie.

2. Robustheidsmetriek:
De paper introduceert een nieuwe metriek voor robustheid die losstaat van grondwaarheid (ground-truth), gebaseerd op Lipschitz-continuïteit.

• Definitie: Robustheid ($R_c$) wordt gemeten als de afstand tussen de voorspelling op een schoon beeld $f(I)$ en de voorspelling op een corrupt beeld $f(I_c)$.
• Formule: $R_c = M[f(I), f(I_c)]$, waarbij $M$ een afstandsmetriek is (zoals EPE voor flow of D1 voor stereo).
• Filosofie: Een model wordt als robuust beschouwd als zijn voorspellingen stabiel blijven ondanks de invoercorruptie. Lagere scores betekenen hier meer stabiliteit (en dus meer robustheid). Dit ontkoppelt robustheid van nauwkeurigheid, omdat een model dat altijd hetzelfde antwoord geeft zeer robuust maar onnauwkeurig is.

3. Benchmark Framework:

• Er wordt een subsampling-strategie gebruikt (0,05% van de data) om evaluaties en uploads efficiënt te houden zonder de resultaten significant te beïnvloeden.
• Voor het rangschikken van modellen over de 20 corrupties worden drie strategieën gebruikt: Gemiddelde, Mediaan en de Schulze-methode (een paar-voor-paar stemmethode).

Belangrijkste Bijdragen

1. Eerste Image Corruption Dataset voor Dichte Matching: RobustSpring is de eerste dataset die specifiek is ontworpen voor optical flow, scene flow en stereo, met 20 corrupties die tijd-, stereo- en diepte-consistentie respecteren.
2. Nieuwe Robustheidsmetriek: Een ground-truth-vrije metriek die robustheid definieert als voorspellingstabiliteit, gebaseerd op Lipschitz-continuïteit.
3. Gestandaardiseerde Benchmark: Een openbaar platform dat nauwkeurigheid en robustheid naast elkaar visualiseert, waardoor de gemeenschap modellen kan vergelijken op beide assen.
4. Initiële Evaluatie: Een uitgebreide benchmark van 17 bestaande modellen (9 voor optical flow, 2 voor scene flow, 6 voor stereo) zonder fine-tuning op de corrupte data.

Resultaten

De auteurs hebben diverse state-of-the-art modellen getest (o.a. RAFT, GMFlow, MS-RAFT+, LEAStereo, GANet). De belangrijkste bevindingen zijn:

• Algemene Gevoeligheid: Alle geteste modellen zijn gevoelig voor corrupties. Er is geen enkel model dat zowel extreem nauwkeurig als extreem robuust is.
• Invloed van Corruptie Type:
  • Weer: Regen en sneeuw veroorzaken de grootste prestatiedalingen, vooral voor scene flow en stereo.
  • Ruis: Modellen variëren sterk in gevoeligheid voor ruis; sommige architecturen (zoals FlowNet2) zijn verrassend robuust tegen ruis, terwijl anderen (zoals Transformer-gebaseerde modellen) hier kwetsbaarder voor zijn.
  • Kleur: Kleurcorrupties hebben over het algemeen de minste impact.
• Architecturale Trends:
  • Transformer-modellen (GMFlow, FlowFormer) presteren goed overall maar worstelen met ruis.
  • Hiërarchische modellen (MS-RAFT+) tonen een gebalanceerde robustheid.
  • Gestapelde modellen (SEA-RAFT, FlowNet2) tonen unieke weerstand tegen ruis.
• Real-world Transfer: Er is een sterke correlatie gevonden tussen de robustheid op RobustSpring en de prestaties op real-world, ruisachtige KITTI-data. Dit suggereert dat RobustSpring een goede indicator is voor prestaties in de praktijk.
• Nauwkeurigheid vs. Robustheid: Er is geen sterke lineaire correlatie tussen nauwkeurigheid en robustheid. Voor weercorrupties presteren nauwkeurige modellen vaak beter, terwijl ze bij ruis-corrupties juist kwetsbaarder kunnen zijn.

Betekenis en Impact

RobustSpring is een mijlpaal voor het veld van computer visie omdat het robustheid als een "eerste klas burger" behandelt in plaats van een bijzaak.

• Betrouwbaarheid: Het biedt onderzoekers en ingenieurs een hulpmiddel om de betrouwbaarheid van modellen in real-world scenario's (zoals autonoom rijden of medische beeldvorming) te beoordelen voordat ze worden ingezet.
• Ontwikkeling: Het benchmark stimuleert de ontwikkeling van nieuwe algoritmen die niet alleen nauwkeurig zijn, maar ook bestand tegen de onvermijdelijke imperfecties van de echte wereld.
• Transparantie: Door de integratie met de Spring-benchmark website kunnen gebruikers nu direct zien waar de sterke en zwakke punten van een model liggen ten opzichte van specifieke verstoringen.

Kortom, RobustSpring vult een cruciaal gat in de evaluatie van dichte matching-taken en stelt de gemeenschap in staat om modellen te bouwen die zowel nauwkeurig als veerkrachtig zijn.