Technische Samenvatting: Robuste Schatting van de Fundamentele Matrix uit Eén Beeld met Bewegingsonscherpte

Probleemstelling

Het artikel behandelt een nieuwe en uitdagende taak binnen computer vision: het schatten van de fundamentele matrix (die de relatieve 3D-beweging van de camera encodeert) uit één enkel beeld met bewegingsonscherpte.

In de standaard computer vision wordt de fundamentele matrix afgeleid uit overeenkomsten tussen twee verschillende beelden. Echter, in een enkel beeld met bewegingsonscherpte zijn de "twee beelden" effectief het begin en het einde van het belichtingsvenster van de camera. De primaire uitdaging is temporele richting-ambiguïteit: een vlek van bewegingsonscherpte vertegenwoordigt een pad tussen twee punten, maar het beeld alleen kan niet onderscheiden welk punt het begin is en welk het einde. Bijgevolg is een correspondentie $(p, p')$ ambigu met $(p', p)$. Deze ambiguïteit maakt klassieke schattingsmethoden, zoals het 8-puntsalgoritme of de Gold Standard-methode, onbruikbaar, omdat deze vertrouwen op een bekende temporele volgorde. Bovendien richt bestaand werk over bewegingsonscherpte zich voornamelijk op het ontscherpen van beelden of het schatten van optische stroming, waarbij onscherpte vaak wordt behandeld als een hinderlijk fenomeen in plaats van als een bron van geometrische beperkingen.

Methodologie

Het voorgestelde raamwerk werkt in twee fasen: Schatting van het Vlekpad en Schatting van de Fundamentele Matrix.

1. Schatting van het Vlekpad

De eerste fase omvat een neurale net (gebaseerd op een U-Net-architectuur) dat per-pixel vlekvectoren en hun bijbehorende onzekerheid voorspelt.

• Datageneratie: Synthetische beelden met bewegingsonscherpte worden gegenereerd door het middelen van tussentijdse frames die worden geïnterpoleerd tussen twee scherpe frames met behulp van ground-truth optische stroming (van de Monkaa- en Driving-datasets). Een semi-reële dataset wordt gecreëerd uit de GoPro-dataset, en een real-world dataset is afgeleid van RBI met pseudo-ground truth.
• Vlekrepresentatie: Om de directionele ambiguïteit op te lossen waarbij een vector $(u, v)$ niet te onderscheiden is van $(-u, -v)$, hanteren de auteurs een dubbele-hoekrepresentatie. De vectorhoek $\phi$ wordt gemapt naar $2\phi$, waardoor de twee equivalente gevallen worden omgezet in een unieke vector $(u', v')$.
• Onzekerheid en Cross-checking: Het netwerk geeft een variantiekarte $\sigma$ uit naast de vlekvector. Om betrouwbare vlekpatronen te onderscheiden van onbetrouwbare (veroorzaakt door occlusies of objecten die uit beeld bewegen), wordt een cross-check kaart ($m_{cr}$) gegenereerd met behulp van voorwaarts-achterwaartse stromingsconsistentie tussen het begin- en eindbeeld.
• Verliesfunctie: Een aangepaste verliesfunctie is ontworpen om de dubbele-hoekvectoren te superviseren op betrouwbare pixels (met behulp van een Gaussische negatieve log-likelihood), terwijl de variantie (onzekerheid) op onbetrouwbare pixels geïdentificeerd door de cross-check kaart wordt bestraft. Dit moedigt het netwerk aan om hoge onzekerheid toe te kennen aan ambiguïe of geoccludeerde gebieden.

2. Robuste Schatting van de Fundamentele Matrix

De tweede fase schat de fundamentele matrix $F$ uit de voorspelde eindpunten van de vlekken.

• Omgaan met Ambiguïteit: Aangezien de temporele richting onbekend is, moet een paar eindpunten van een vlek $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ voldoen aan de epolaire beperking $x^T F y = 0$ voor óf de oorspronkelijke volgorde óf de getransponeerde volgorde. De auteurs formuleren dit als een geconstrueerd optimalisatieprobleem waarbij het doel is om de fout te minimaliseren voor óf $F$ óf $F^T$:
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  onder de voorwaarde $\det(F)=0$ en $\|F\|=1$.
• Robuste Steekproefneming: Om uitbijters en lokale bewegingen te hanteren, maakt de methode gebruik van Preemptive RANSAC. Cruciaal wordt het steekproefnemingproces geleid door de onzekerheidsschattingen uit de eerste fase; alleen vlekvectoren met lage onzekerheid (hoge betrouwbaarheid) worden in overweging genomen.
• Symmetrische Foutmetriek: De standaard Sampson-fout kan niet direct worden gebruikt vanwege de richting-ambiguïteit. De auteurs introduceren een gesymmetriseerde Sampson-fout ($SErrMin$), die de minimale fout neemt tussen de hypothese $F$ en zijn getransponeerde $F^T$. Deze metriek maakt een robuuste definitie van de consensusset mogelijk zonder de ware temporele richting te kennen.

Belangrijkste Bijdragen

1. Nieuwe Taakformulering: Het artikel introduceert de taak om de fundamentele matrix te schatten uit één enkel beeld met bewegingsonscherpte, waarbij de unieke uitdaging van temporele richting-ambiguïteit per vlek wordt aangepakt.
2. Robuust Schattingsraamwerk: Een twee-fasenpijplijn wordt voorgesteld die diep leren combineert voor het extraheren van vlekken met een geometrische solver die expliciet rekening houdt met de ambiguïteit van de tijdsrichting (toestaan van $F$ of $F^T$).
3. Onzekerheidsbewust Leren: De auteurs stellen een verliesfunctie voor die leert om onzekerheid te voorspellen, waardoor het systeem in staat is om onbetrouwbare vlekvoorspellingen (bijvoorbeeld van occlusies) te verzwakken tijdens de robuuste schattingsfase.
4. Representatie en Annotatie: Het gebruik van de dubbele-hoekrepresentatie blijkt voordelig voor het leren van vlekpaden, en een procedure met behulp van cross-check kaarten wordt gepresenteerd om precieze annotaties voor training te genereren.

Experimentele Resultaten

De methode werd geëvalueerd op synthetische (Monkaa, Driving), semi-reële (GoPro) en real-world (RBI) datasets.

• Vlekschatting: De voorgestelde dubbele-hoekrepresentatie in combinatie met de cross-check kaart leverde de laagste End-Point Error (EPE-S) op over alle datasets. De onzekerheidsschattingen bleken goed te correleren met ware fouten, waardoor onbetrouwbare voorspellingen effectief werden gefilterd.
• Schatting van de Fundamentele Matrix: Met behulp van de gesymmetriseerde Sampson-fout en onzekerheidsgeleide RANSAC slaagde de methode erin fundamentele matrices te schatten die overeenkwamen met ground-truth correspondenties. De beste prestaties werden waargenomen bij het selecteren van de top 35% tot 45% van de vlekvectoren op basis van onzekerheid.
• Downstream Toepassing: De geschatte fundamentele matrix en vlekpaden werden succesvol toegepast op segmentatie van lokale beweging, waarbij objecten die onafhankelijk bewegen van de globale scènebeweging (bijvoorbeeld een auto die zich anders beweegt dan de achtergrond) effectief werden gescheiden in beelden met onscherpte.
• Beperkingen: De methode kampt met problemen in scènes met meerdere onafhankelijke lokale bewegingen (dynamische scènes) of bij bijna-nul camera-translatie, waarbij het globale bewegingssignaal zwak of degeneraat is.

Betekenis en Beweringen

De auteurs beweren dat hun werk de haalbaarheid aantoont van het extraheren van 3D-camera bewegingsbeperkingen uit één enkel frame, een taak die eerder als slecht gesteld werd beschouwd vanwege temporele ambiguïteit. Door te leunen op de geometrische beperkingen die inherent zijn aan bewegingsonscherpte, biedt de methode een manier om visuele odometrie en structure-from-motion taken uit te voeren met verminderde latentie (invoer van één enkel frame), wat kritiek is voor toepassingen zoals autonoom rijden en dronevlucht. Het artikel benadrukt dat hoewel het resultaat ambigu is tot een transpositie (wat de onbekende richting van de tijd weerspiegelt), dit voldoende is om de epolaire geometrie te definiëren en downstream taken zoals bewegingssegmentatie mogelijk te maken. Het werk overbrugt de kloof tussen het behandelen van bewegingsonscherpte als een hinderlijk fenomeen dat moet worden verwijderd en het benutten ervan als een rijke bron van geometrische informatie.