SciFlow: Semantic Cross Interference for Self-Supervised Optical Flow Domain Generalization

Technische Samenvatting: SciFlow

Probleemstelling
Optische flow-schatting is fundamenteel voor video-begrip en vormt de basis voor taken zoals objecttracking, frame-interpolatie en video-compressie. Hoewel deep learning het vakgebied heeft vooruitgeholpen, blijft het verwerven van dichte, pixel-gewijze grondwaarheid (ground truth) voor realistische scènes uiterst moeilijk en kostbaar. Als gevolg hiervan worden modellen doorgaans getraind op synthetische datasets (bijv. FlyingChairs, FlyingThings3D, Sintel) en ingezet in realistische omgevingen. Dit creëert een aanzienlijke uitdaging op het gebied van "synthetic-to-real" domeingeneralisatie, waarbij modellen moeite hebben met het aanpassen aan de diverse verlichting, bewegingsdynamiek en beeldkwaliteit die in open-wereldscenario's voorkomen. Bestaande semi-gesuperviseerde en zelf-gesuperviseerde methoden vertrouwen vaak op complexe data-augmentatie, neurale rendering of transformatieconsistentie, maar falen regelmatig bij het generaliseren naar onbekende domeinen of vereisen computationeel dure pipelines.

Methodologie
Het artikel stelt SciFlow (Semantic Cross Interference) voor, een netwerk-agnostische, op training gebaseerde benadering die ontworpen is om bewegingsschatting te generaliseren over synthetische en open-wereld domeinen met behulp van zelf-gesuperviseerd leren. De kerninnovatie ligt in "semantische cross-domein interferentie", een techniek die kenmerken van open-wereldbeelden mengt met synthetische scènes tijdens de training.

De trainingsprocedure bestaat uit twee fasen:

1. Supervised Curriculum Learning: Het model wordt aanvankelijk getraind op synthetische datasets ($D_{GT}$) met grondwaarheid, waarbij de progressie verloopt van eenvoudigere naar complexere beweging en scène-voorbeelden.
2. Self-Supervised Fine-tuning: Het model wordt aangepast aan ongelabelde realistische data ($D_{NGT}$) met behulp van een teacher-student framework:
   • Teacher ($f_T$): Geïnitialiseerd met student-gewichten en bijgewerkt via Exponential Moving Average (EMA). Deze verwerkt "schone" originele beeldparen uit het synthetische domein.
     andere Student ($f_S$): Getraind op geaugmenteerde paren waarbij een derde beeld ($I_d$) uit het open-wereld domein semantisch interfereert met het tweede frame van het synthetische paar. Dit wordt bereikt via een mengfunctie $D_\lambda(I_2, I_d) = \lambda \cdot I_2 + (1-\lambda) \cdot I_d$, waarbij $\lambda$ wordt getrokken uit een bètaverdeling.
   • Loss Function: De student wordt geoptimaliseerd om de voorspellingen van de teacher op het originele paar te evenaren. De zelf-gesuperviseerde loss wordt gedefinieerd als het L1-verschil tussen de voorspelling van de student op het geïnterfereerde paar en de voorspelling van de teacher op het schone paar, gemaskeerd door een betrouwbaarheidsscore ($M_{conf}$) afgeleid van forward-backward consistentie.

Deze benadering stelt het netwerk in staat om realistische statistieken te leren en zich aan te passen aan domeinverschuivingen zonder dat er grondwaarheid-labels nodig zijn in het doeldomein of complexe reconstructie-pipelines.

Belangrijkste Bijdragen

• SciFlow Framework: Introductie van een eenvoudige, effectieve methode die gebruikmaakt van semantische cross-domein interferentie om de domeingeneralisatie van optische flow te verbeteren.
• Label-Vrije Adaptatie: De methode bereikt sterke cross-domein prestaties zonder dat er realistische grondwaarheid nodig is, wat zowel de domeinverschuiving als het tekort aan labels in open-wereldscenario's aanpakt.
• Architectuur-Agnosticisme: De benadering is ontworpen om compatibel te zijn met diverse netwerkarchitecturen, wat hier wordt gedemonstreerd op zowel volledige (RAFT) als lichtgewicht (MobileFlow) modellen.

Experimentele Resultaten
De auteurs hebben SciFlow geëvalueerd op standaard benchmarks, specifiek de KITTY-dataset, met behulp van de RAFT- en MobileFlow-architecturen.

• Kwantitatieve Prestaties: Op de KITTY-benchmark presteerde SciFlow significant beter dan gesuperviseerde baselines en andere zelf-gesuperviseerde methoden (bijv. DistractFlow). Voor het lichtgewicht MobileFlow-model verminderde SciFlow de Fl-all error van 22,6 (gesuperviseerde baseline) naar 8,95 wanneer getraind met de combinatie van EMA, confidence masking en semantische interferentie op de grote, ongelabelde Web Stereo Video Dataset (WSVD).
• Kwalitatieve Prestaties: Visuele evaluaties op diverse open-wereld datasets (DAVIS, SlowFlow) toonden aan dat SciFlow robuuste en nauwkeurige optische flow-schatting mogelijk maakt onder uitdagende omstandigheden zoals weinig licht, bewegingsonscherpte en hoge ruis, waar baseline-modellen vaak falen.
• Stabiliteit: De integratie van EMA en confidence masking bleek cruciaal voor de trainingsstabiliteit, waardoor divergentie tijdens de zelf-gesuperviseerde fase werd voorkomen.

Betekenis en Claims
Het artikel claimt dat SciFlow een praktische oplossing biedt voor het synthetic-to-real domeingeneralisatieprobleem in bewegingsschatting. Door semantische cross-domein interferentie te introduceren, stelt het modellen in staat om effectief aan te passen aan realistische scenario's zonder de noodzaak van grondwaarheid in het doeldomein. De auteurs benadrukken de eenvoud en het architectuur-agnostische karakter van de methode, waarmee ze SciFlow positioneren als een breed toepasbare weg naar meer robuuste en nauwkeurige bewegingsschatting voor video-begrip in complexe, dynamische omgevingen. Het werk suggereert dat het benutten van open-wereld data via semantische interferentie een levensvatbaar alternatief is voor complexe rendering- of reconstructie-pipelines voor het verbeteren van modelrobuustheid.