Accurate Planar Tracking With Robust Re-Detection

Deze paper introduceert SAM-H en WOFTSAM, twee nieuwe planaire trackers die de robuuste segmentatie van SAM 2 combineren met homografie-schatting en herdetectie om een nieuwe state-of-the-art prestatie te behalen op de POT-210 en PlanarTrack-benchmarks.

De kern

De Grootte Uitdaging: Een Vlieger Vasthouden in de Storm

Stel je voor dat je een vlieger (een plat object, zoals een poster of een bord) in een video probeert te volgen terwijl de camera beweegt. Dat klinkt makkelijk, maar in de echte wereld is dat een nachtmerrie voor computers.

De vlieger kan:

• Wazig worden als je te snel beweegt (bewegingsonscherpte).
• Verdwijnen achter een boom of een persoon (occlusie).
• Spiegelen als het een glazen raam of een spiegel is.
• Zich veranderen als het een tv-scherm is dat een video afspeelt.
• Geen patroon hebben (zoals een witte muur), waardoor de computer niet weet waar het is.

Vroeger waren de beste computersystemen (zoals WOFT) heel goed in het volgen van de vlieger zolang hij duidelijk zichtbaar was. Maar zodra de vlieger even uit beeld verdween of wazig werd, raakten ze hem kwijt en konden ze hem niet meer terugvinden. Het was alsof ze blind werden zodra er een wolk voor de zon kwam.

De Nieuwe Oplossing: Twee Specialisten in Eén Team

De auteurs van dit paper (Jonas Serych en Jiri Matas) hebben een nieuw systeem bedacht dat twee verschillende vaardigheden combineert. Ze noemen hun systeem WOFTSAM.

Stel je dit voor als een team van twee detectives die samenwerken:

1. De "Zeer Nieuwe" Detective (SAM-H)

Deze detective is gebaseerd op een heel nieuw AI-model (SAM 2) dat er meesterlijk in is om vormen te herkennen.

• Hoe werkt het? Als de vlieger verdwijnt achter een muur en weer tevoorschijn komt, kan deze detective de vorm van de vlieger herkennen, zelfs als hij vervormd is, glanst of wazig is.
• Zijn zwakte: Hij is goed in het zeggen "Ah, daar is de vlieger!", maar hij is niet heel precies. Hij kan zeggen: "Het is ergens in die hoek," maar hij weet niet tot op de millimeter precies waar de hoekpunten zitten. Hij is als iemand die een vlieger herkent aan zijn silhouet, maar de touwtjes niet precies kan zien.

2. De "Precisie" Detective (WOFT)

Dit is de oude, bewezen expert.

• Hoe werkt het? Deze detective kijkt naar de kleine details en patronen op het oppervlak van de vlieger (zoals de lijnen op een bordspel). Hij kan de positie berekenen tot op een fractie van een pixel.
• Zijn zwakte: Hij is blind voor vormen. Als de vlieger wazig is, bedekt door een hand of volledig wit, ziet hij niets en raakt hij de vlieger kwijt. Hij is als iemand die een vlieger kan volgen zolang hij de patronen op het doek ziet, maar als het doek wegvalt, is hij verloren.

De Magische Combinatie: WOFTSAM

Het geheim van hun succes is hoe ze deze twee laten samenwerken:

1. Normaal gedrag: Zolang de vlieger goed zichtbaar is, doet de Precisie-detective (WOFT) het werk. Hij houdt de vlieger perfect in beeld.
2. De crisis: Zodra de Precisie-detectie faalt (bijvoorbeeld omdat de vlieger wazig wordt of even uit beeld gaat), schakelt het systeem over.
3. De redding: De Vorm-detective (SAM-H) springt in. Hij roept: "Ik zie de vorm van de vlieger weer!" en geeft de Precisie-detectie een nieuwe startpositie.
4. Het resultaat: De Precisie-detectie pikt de draad weer op en gaat weer super-precies werken.

Dit is alsof je een auto bestuurt met een zeer ervaren chauffeur (WOFT), maar als je in een mistbank rijdt, neemt een passagier met een radar (SAM-H) even het stuur over om je veilig naar de andere kant van de mist te brengen, waarna de chauffeur weer overneemt.

Waarom is dit zo belangrijk?

• Het lost het "kwijtraken"-probleem op: Eerdere systemen konden een object niet meer vinden als ze het eenmaal kwijt waren. Dit systeem kan het altijd terugvinden.
• Het werkt op gekke objecten: Het kan nu ook objecten volgen die normaal onmogelijk zijn, zoals een glazen raam, een spiegel, of een scherm dat een video afspeelt.
• Betere metingen: De auteurs hebben ook ontdekt dat de "antwoorden" (de grondwaarheid) in de oude testvideo's niet helemaal precies waren. Ze hebben deze opnieuw gemeten met een liniaal van een pixel. Hierdoor zien we nu pas echt hoe goed de nieuwe systemen zijn.

Conclusie

Kortom: Ze hebben een systeem gebouwd dat de sterkte van vormherkenning (om niet kwijt te raken) combineert met de sterkte van detailherkenning (om precies te zijn). Hierdoor is het nu het beste systeem ter wereld voor het volgen van platte objecten in video's, zelfs in de allerergste situaties.

Ze hebben hun code en de verbeterde testdata gratis beschikbaar gesteld, zodat iedereen hierop kan bouwen.

Technische samenvatting

Probleemstelling

Het paper adresseert het probleem van planair object-tracking: het lokaliseren en schatten van de houding (pose) van een plat object in videoframes. De pose van een planair object wordt volledig beschreven door een homografietransformatie met 8 vrijheidsgraden.

Hoewel dit een klassiek computer vision-probleem is, blijft tracking onder realistische omstandigheden een uitdaging. Bestaande methoden, zoals de huidige state-of-the-art WOFT (Weighted Optical Flow Tracking), presteren goed op objecten met rijke textuur en in korte-termijn scenario's. Echter, ze falen vaak bij:

• Verlies van het doelwit: Door occlusie (verduistering), beweging buiten beeld, of sterke bewegingsonscherpte (motion blur).
• Moeilijke omstandigheden: Reflecterende oppervlakken, transparante objecten, virtuele vlakken, en objecten met dynamisch veranderende texturen (bijv. een TV-scherm).
• Gebrek aan herdetectie: Bestaande methoden hebben geen robuust mechanisme om het object te vinden nadat het verloren is gegaan.

Methodologie

De auteurs introduceren twee nieuwe methoden die de kracht van segmentatie-tracking combineren met nauwkeurige homografie-schatting: SAM-H en WOFTSAM.

1. SAM-H (Segmentation-based Homography)

SAM-H is een methode om een homografie te schatten op basis van de output van een algemene segmentatietracker (SAM 2).

• Werking: De tracker start met een vierkante mask (vier hoekpunten) op het eerste frame. SAM 2 volgt dit masker door de video.
• Hoekpuntdetectie: De contouren van het gegenereerde masker worden verwerkt met een Hough-transformatie om lijnen te vinden. De snijpunten van deze lijnen worden gebruikt als de nieuwe hoekpunten van het object.
• Symmetrie-ontwarren: Omdat een vierkant symmetrisch is, is niet direct duidelijk welke hoekpunt welk hoekpunt is (cyclische verschuiving).
  • Bij normaal tracking wordt de verschuiving gekozen die de afstand tot de vorige frame-minimaliseert (nul-snelheidsmodel).
  • Bij herdetectie (na verlies) wordt de verschuiving bepaald door de visuele overeenkomst (gebruikmakend van DINOv2 features) tussen het huidige object en een template.
• Homografie-schatting: Als alle 4 punten zichtbaar zijn, wordt de homografie direct berekend. Bij minder punten wordt een residual transformatie geschat op basis van de zichtbare punten (similarity transform of pure translatie).

2. WOFTSAM (WOFT + SAM-H)

WOFTSAM is een hybride tracker die de precisie van WOFT combineert met de robuustheid van SAM-H voor herdetectie.

• Workflow:
  1. Normale tracking: Het systeem probeert de homografie te schatten via optische flow (WFH-module) met pre-warpen op basis van de pose van het vorige frame (zoals in WOFT).
  2. Foutdetectie: Als de schatting faalt (bijv. te weinig inliers door occlusie of blur), wordt de herdetectie-modus geactiveerd.
  3. Herdetectie: Het systeem gebruikt de homografie geschat door SAM-H als een robuuste "pre-warp" om de optische flow-module opnieuw te proberen.
  4. Fallback: Als zelfs de tweede poging faalt, wordt de homografie van SAM-H direct als output gebruikt.

Belangrijkste Bijdragen

1. SAM-H: Een nieuwe methode voor langdurige homografie-tracking gebaseerd op segmentatiemaskers, die zeer robuust is tegen verschijnselen zoals blur en ontbrekende textuur.
2. WOFTSAM: Een planaire tracker die de state-of-the-art prestaties van WOFT aanzienlijk verbetert door de robuuste herdetectie van SAM-H te integreren.
3. Verbeterde Ground Truth: De auteurs hebben de ground-truth annotaties van de initiële frames van de PlanarTrack benchmark opnieuw en nauwkeuriger (sub-pixel) gemaakt. Ze tonen aan dat onnauwkeurige initiële annotaties een grote invloed hebben op de evaluatie van high-precision methoden.

Resultaten

De methoden zijn geëvalueerd op twee benchmarks: POT-210 en PlanarTrack.

• State-of-the-art Prestaties: WOFTSAM behaalt de beste resultaten op beide datasets.
  • Op PlanarTrack overtreft het de tweede beste methode (WOFT) met een grote marge: +12.4% op de p@15-metriek en +15.2% op de p@5-metriek.
  • Op POT-210 halveert WOFTSAM bijna het aantal mislukkingen (fouten > 15px) ten opzichte van de baseline WOFT.
• Complementariteit:
  • SAM-H excelleert bij objecten zonder textuur, reflecties, transparantie en bij herdetectie na verlies.
  • WOFT (en WOFTSAM) excelleert bij objecten met rijke textuur en hoge precisie-eisen, maar faalt bij herdetectie.
  • De combinatie (WOFTSAM) benut de sterke punten van beide: precisie waar mogelijk, en robuustheid waar nodig.
• Impact van Ground Truth: De analyse toont aan dat meer dan de helft van het prestatieverschil tussen WOFTSAM en SAM-H op PlanarTrack te wijten was aan onnauwkeurige initiële annotaties in de originele dataset. Met de nieuwe, nauwkeurige annotaties presteren optische-flow-methoden aanzienlijk beter.

Betekenis en Toekomstperspectief

Dit paper is significant omdat het een brug slaat tussen twee verschillende benaderingen in objecttracking: segmentatie (goed voor robuustheid en lange termijn) en optische flow/homografie (goed voor geometrische precisie).

• Robuustheid: Het lost het probleem van "verloren doelwitten" op in uitdagende scenario's (blur, occlusie, reflectie) waar traditionele trackers falen.
• Benchmarking: Het benadrukt de noodzaak van extreem nauwkeurige ground-truth annotaties, vooral bij benchmarks met grote schaalveranderingen, en levert een verbeterde dataset aan de gemeenschap.
• Toepassingen: De technologie is direct toepasbaar in Augmented Reality (AR), robotica en 3D-reconstructie, waar betrouwbare tracking onder realistische, onvoorspelbare omstandigheden cruciaal is.

De auteurs merken wel op dat er nog uitdagingen zijn, zoals het volgen van niet-vierkante objecten, het onderscheiden van doelwitten in groepen met identieke distractoren, en het volledig oplossen van symmetrische objecten zonder contextinformatie.