Match4Annotate: Propagating Sparse Video Annotations via Implicit Neural Feature Matching

Het paper introduceert Match4Annotate, een lichtgewicht framework dat testtijd-geoptimaliseerde, impliciete neurale feature matching gebruikt om zowel intra- als inter-video annotaties van punten en maskers te propageren, wat leidt tot state-of-the-art resultaten op uitdagende medische ultrasound-datasets.

De kern

Stel je voor dat je een heel dure, slimme robot hebt die heel goed kan kijken naar medische beelden, zoals echografie's van het hart of spieren. Maar er is een groot probleem: om deze robot te leren wat hij moet zien, moet een menselijke expert (zoals een arts) minutenlang naar elk plaatje kijken en met de hand cirkels trekken om organen te markeren of stipjes te zetten. Dit is extreem duur en tijdrovend. Het is alsof je een hele film moet maken, maar je moet elke seconde apart tekenen.

De onderzoekers van dit paper (Match4Annotate) hebben een slimme oplossing bedacht om die handmatige tekenwerk te versnellen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Stipjes" en de "Vlekken"

Normaal gesproken zijn er twee soorten robots:

• De Volger: Deze kan een stipje in een video volgen terwijl het beweegt (bijvoorbeeld een hartslag), maar hij kan dat stipje niet overzetten naar een andere video van een ander persoon. Hij is als een hond die alleen zijn eigen baas volgt, niet die van de buurman.
• De Zoeker: Deze kan zoeken naar overeenkomsten tussen twee losse foto's (bijvoorbeeld "dit is een knie, dat is ook een knie"), maar hij raakt de draad kwijt als het beeld vaag is of als het snel beweegt. Hij maakt vaak fouten, zoals links en rechts door elkaar halen.

2. De Oplossing: Match4Annotate (De "Slimme Vertaler")

Match4Annotate is een nieuw systeem dat doet alsof het een levendige, vloeibare kaart tekent van de video.

Stel je voor dat je een video hebt van een hart dat klopt. In plaats van alleen naar de pixels te kijken, bouwt Match4Annotate een onzichtbaar, continu web van informatie door de hele video heen.

• Het "Onzichtbare Web" (SIREN): Het systeem neemt de beelden en maakt er een soort "damp" van. In deze damp zit alle informatie over hoe het hart eruitziet, niet als losse blokjes, maar als een gladde, vloeiende massa. Hierdoor kan het systeem vragen stellen aan elk puntje in de video, zelfs tussen de pixels in. Het is alsof je van een pixelated foto een 4K-foto maakt, maar dan met betekenis.
• De "Stroomstroom" (Flow): Het systeem leert ook hoe de beelden bewegen. Het is alsof je een rivier ziet stromen. Als je een steen (een stipje) in de rivier legt, weet het systeem precies waar die steen naartoe drijft, zelfs als de stroom kromt. Dit helpt om stipjes en vormen correct te verplaatsen van het ene moment naar het andere, of van de ene patiënt naar de andere.

3. Hoe het in de praktijk werkt

Stel, een arts tekent maar één keer een lijn om het hart op het eerste plaatje van een video.

1. Binnen dezelfde video: Het systeem gebruikt zijn "stroomstroom" om die lijn automatisch mee te laten drijven naar alle volgende plaatjes. Het blijft soepel en maakt geen haperingen.
2. Naar een andere video: Dit is de echte truc. Omdat het systeem een "gladde kaart" heeft gemaakt, kan het die kaart gebruiken om te zeggen: "Ah, dit stukje hart in video A lijkt precies op dit stukje in video B." Het kan de lijn van de ene patiënt overzetten naar de andere, zelfs als hun hart iets anders vormt.

4. Waarom is dit zo cool?

• Het is snel: Het systeem hoeft niet dagenlang te leren. Het past zich binnen enkele minuten aan op een gewone computer (zoals een gaming laptop) aan de specifieke video die je hebt.
• Het is slim: Het maakt minder fouten dan oude methoden. Oude methoden verwarren vaak links en rechts (zoals een spiegelbeeld), maar Match4Annotate houdt de orde in de lijnen vast.
• Het bespaart geld: In plaats dat een arts urenlang moet tekenen, doet de robot 90% van het werk. De arts hoeft alleen nog maar te controleren.

Samenvattend in een metafoor

Stel je voor dat je een heleboel verschillende kaarten van steden hebt, maar je hebt maar één keer de route van huis naar werk getekend op de kaart van Amsterdam.

• Oude methoden proberen die route te kopiëren naar de kaart van Rotterdam, maar ze vergeten dat de straten anders lopen, of ze tekenen de route door een park heen waar geen weg is.
• Match4Annotate maakt eerst een 3D-model van de hele wereld van de straten. Omdat het begrijpt hoe straten over het algemeen werken, kan het de route van Amsterdam perfect vertalen naar Rotterdam, zelfs als de straten er anders uitzien.

Kortom: Match4Annotate is een slimme, snelle assistent die medische video's automatisch kan "labelen" door slimme patronen te herkennen, waardoor artsen minder tijd kwijt zijn aan saaie tekenwerk en meer tijd hebben voor patiënten.

Technische samenvatting

Probleemstelling

Het verkrijgen van per-frame video-annotaties (zoals pixelniveau maskers of getrackte punten) is een grote bottleneck voor het implementeren van computerzichtsystemen in gespecialiseerde domeinen zoals medische beeldvorming. Expert-labeling is extreem duur en tijdrovend (vaak $200–500/uur).
Bestaande oplossingen hebben fundamentele beperkingen:

• Video-trackers en segmentatiemodellen (bijv. SAM2, CoTracker3) kunnen labels binnen één video-propageren, maar vereisen initialisatie per video en kunnen niet generaliseren naar andere video's.
• Klassieke correspondentie-pipelines werken vaak op door detectoren gekozen sleutelpunten en falen in scènes met weinig textuur (zoals echografie).
• Dense feature matching en one-shot segmentatie kunnen wel cross-video propagatie, maar missen vaak spatiotemporele gladheid en bieden geen uniforme ondersteuning voor zowel punten als maskers.

Methodologie: Match4Annotate

Match4Annotate is een lichtgewicht framework dat annotaties (punten en maskers) zowel binnen een video (intra-video) als tussen verschillende video's (inter-video) kan overdragen. De methode bestaat uit drie kerncomponenten:

1. Implicit Neural Feature Representation (Spatiotemporeel Veld):

   • In plaats van te werken met de oorspronkelijke, lage-resolutie features van een Vision Foundation Model (VFM) zoals DINOv3, past de methode een SIREN-netwerk (Sinusoidal Representation Networks) aan op testtijd (test-time).
   • Dit netwerk leert een continue functie $f_\theta(x, y, t)$ die ruimtelijke coördinaten $(x, y)$ en tijd $t$ omzet in hoge-resolutie feature-vectoren.
   • Dit creëert een glad, continu spatiotemporeel feature-veld dat vragen toelaat op willekeurige resoluties, wat essentieel is voor het vermijden van interpolatie-artefacten en het handhaven van semantische consistentie in medische beelden.

2. Flow-Guided Correspondence Matching:

   • Om de matching tussen een bron- en doelframe te sturen, wordt een tweede SIREN-netwerk $g_\phi$ getraind om een vervormingsveld (displacement field) te voorspellen.
   • Dit netwerk leert per-coördinaat verplaatsingen $(\Delta x, \Delta y)$ om de bron naar het doel te transformeren.
   • Deze voorspelde verplaatsing dient als een ruimtelijke prior (via een Gaussische kernel) die de zoekruimte voor feature-matching beperkt. De uiteindelijke corresponderende punten worden bepaald door een combinatie van cosine-相似iteit van de features en de waarschijnlijkheid gebaseerd op de voorspelde stroom.

3. Efficiënte Testtijd-Training:

   • Het model wordt getraind op individuele video's op consument hardware (bijv. RTX 4090) binnen enkele minuten.
   • Er is geen menselijke interactie nodig na de initiële annotatie van het bronframe.

Propagatie van Maskers:
Voor segmentatiemaskers wordt geen enkel randpunt gebruikt, maar een interior point method. Er worden dicht op elkaar liggende punten binnen het masker geëxtraheerd (via Euclidische afstandstransformatie), gepropageerd via de flow-guided matching, en vervolgens weer omgezet naar een binair masker via Kernel Density Estimation (KDE). Dit maakt het systeem robuuster tegen fouten in individuele punten.

Belangrijkste Bijdragen

• Universeel Framework: Het eerste framework dat zowel intra-video als inter-video propagatie ondersteunt voor zowel punten als maskers in één pipeline.
• SIREN-based Feature Upsampling: Een nieuwe aanpak om DINOv3-features te upsamplen naar een continue, hoge-resolutie spatiotemporeel veld, wat zorgt voor betere generalisatie dan directe feature-matching.
• Flow-Gestuurde Matching: Een strategie die een geleerde stroom-prior combineert met feature-matching om de betrouwbaarheid van correspondenties te verhogen, vooral in domeinen met domeinverschuiving (domain shift).
• State-of-the-Art Resultaten: Validatie op drie uitdagende klinische echografiedatasets (EchoNet, MSK-POI, MSK-Bone).

Resultaten

De evaluatie vond plaats op drie datasets: EchoNet-Dynamic (hart-echografie), MSK-POI (spierbeweging) en MSK-Bone (botsegmentatie).

• Inter-video Propagatie (Cross-Video):
  • Match4Annotate presteert state-of-the-art voor cross-video propagatie.
  • Het overtreedt dense feature matching-methoden (zoals RoMa, MATCHA, DIFT) significant op de PCK-maatstaf (Percentage of Correct Keypoints), vooral bij grotere tolerantiedrempels.
  • Voor maskers presteert het met slechts één bronframe beter dan one-shot segmentatiemethoden (zoals UniverSeg en Matcher) en komt het in de buurt van multi-shot methoden (die meerdere voorbeelden nodig hebben).
• Intra-video Propagatie:
  • Voor binnen-video tracking is de prestatie concurrerend met gespecialiseerde trackers (zoals CoTracker3 en TAPNext), hoewel deze gespecialiseerde modellen soms iets beter presteren op puur temporale consistentie.
  • Het biedt echter het unieke voordeel dat het ook cross-video propagatie mogelijk maakt, wat gespecialiseerde trackers niet kunnen.

Betekenis en Impact

Match4Annotate biedt een praktische en schaalbare oplossing voor het verminderen van de labelkosten in gespecialiseerde domeinen.

• Efficiëntie: Het elimineert de noodzaak voor dure, frame-per-frame annotatie door expert-labels automatisch te propageren naar nieuwe video's van dezelfde anatomie.
• Toegankelijkheid: Omdat het op consument hardware werkt en geen enorme rekenkracht vereist, democratiseert het de toegang tot grote datasets voor medische beeldanalyse.
• Robuustheid: Door gebruik te maken van een gladde, impliciete representatie en stroom-priors, is het beter bestand tegen domeinverschuivingen en lage textuur dan bestaande methoden, wat cruciaal is voor medische toepassingen zoals echografie.

Kortom, Match4Annotate combineert de kracht van foundation modellen met impliciete neurale representaties om een brug te slaan tussen de beperkingen van huidige trackers en de behoeften van schaalbare, medische video-annotatie.