💻 computer science

GMOS: Grounding Moving Object Segmentation in 3D Space and Time

Dit artikel introduceert GMOS, een nieuw raamwerk dat bewegingsobjectsegmentatie verankert in de driedimensionale ruimte en tijd om de beperkingen van op 2D-gebaseerde en op volgordenniveau werkende benaderingen te overwinnen, en dat state-of-the-art prestaties bereikt op het nieuw samengestelde GMOS-2K-dataset en een tijdelijk fijnkorrelig evaluatieprotocol, terwijl het snelle, online inferentie mogelijk maakt.

Oorspronkelijke auteurs: Junyu Xie, Tengda Han, Weidi Xie, Andrew Zisserman

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junyu Xie, Tengda Han, Weidi Xie, Andrew Zisserman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een raam een drukke straatscène bekijkt. Sommige mensen lopen, een auto rijdt voorbij, maar de bomen en gebouwen blijven stilstaan. Stel je nu voor dat het raam zelf (de camera) ook beweegt, misschien op een trillende hand of in een voertuig dat hard rijdt.

Het probleem:
Huidige computervisie-tools die proberen te achterhalen "wat beweegt", lijken op een rechercheur die alleen een wazige, tweedimensionale schets van de scène heeft. Ze vertrouwen op vooraf berekende aanwijzingen (zoals optische flow) die geen begrip hebben van diepte of de driedimensionale ruimte. Hierdoor raakt de tool in de war als de camera beweegt en denkt dat de hele wereld beweegt, of het mist objecten die stoppen en weer beginnen te bewegen.

Bovendien kijken deze tools meestal naar het hele filmpje en zeggen: "Die vogel bewoog op een bepaald moment, dus ik teken een kader om hem voor de hele film." Het maakt hen niet uit of de vogel momenteel stil op een tak zit; ze weten alleen dat hij eerder bewoog. Dit is te onhandig voor real-time toepassingen.

De oplossing: GMOS
De auteurs introduceren GMOS (Grounding Moving Object Segmentation). Denk aan GMOS als een superintelligente, 3D-bewuste beveiliger die het filmpje frame voor frame bekijkt.

Zo werkt het, met eenvoudige analogieën:

1. De "Proposer" (De Rechercheur)

In plaats van naar het hele filmpje tegelijk te kijken, kijkt GMOS naar een klein, 0,5-seconde tijdssnede (zoals een snelle snapshot).

Het 3D-brein: Het gebruikt een "geometrische encoder" (getraind op 3D-reconstructie) om de diepte van de scène te begrijpen. Het weet het verschil tussen een boom die zwaait omdat de camera trilt, en een vogel die vliegt omdat hij beweegt.
Het segmentatie-brein: Het gebruikt een krachtig visueel model (SAM2) om vormen en objecten te herkennen.
De beslissing: Het voegt deze twee breinen samen om te vragen: "Beweegt dit specifieke object op dit moment?" Zo ja, dan tekent het een masker eromheen. Als het object stilstaat, negeert het het.

2. De "Propagator" (De Tracker)

Zodra de "Proposer" een bewegend object in een kort venster heeft opgemerkt, neemt de "Propagator" het over. Het is als een keten van mensen die een boodschap langs elkaar doorgeven. Het koppelt de korte-termijndetecties aan elkaar om een soepele, continue spoor van het object over het hele filmpje te creëren, zodat de vogel zijn identiteit behoudt, zelfs als hij even achter een boom verdwijnt.

3. De "GMOS-S" (De Snelheidser)

Voor situaties waar snelheid alles is (zoals een live videofeed), hebben ze GMOS-S ontwikkeld. Deze versie slaat de complexe tracking van individuele objecten over en beantwoordt slechts één vraag: "Beweegt er iets in dit frame?" Het produceert één enkel "beweging versus statisch" masker. Het is als een bewegingssensor die gewoon zegt "Beweging gedetecteerd!" zonder te noemen wie er beweegt.

4. De nieuwe regelboek: MOS-I

Het artikel introduceert ook een nieuwe manier om deze systemen te testen, genaamd MOS-I ("I" voor Instantaneous).

Oude regel: "Als de vogel op enig moment in het filmpje bewoog, moet hij in elk frame worden gemarkeerd, zelfs als hij slaapt."
Nieuwe regel (MOS-I): "Markeer de vogel alleen als hij echt met zijn vleugels slaat. Als hij slaapt, laat hem dan met rust."
Dit dwingt de AI om precies te zijn over wanneer dingen bewegen, niet alleen dat ze bewogen.

5. De trainingsgrond: GMOS-2K

Om dit systeem te leren, bouwden de auteurs een enorm nieuw dataset genaamd GMOS-2K. Ze namen duizenden bestaande video's en handmatig geannoteerd om precies te markeren wanneer elk object bewoog en wanneer het stilstond. Het is alsof je een leerboek maakt waarbij de antwoorden niet alleen "de vogel bewoog" zijn, maar "de vogel bewoog van seconde 1 tot 5, stopte toen, en bewoog weer bij seconde 10".

De resultaten

Nauwkeurigheid: GMOS is beter in het vinden van bewegende objecten in de 3D-ruimte dan eerdere methoden, zelfs als de camera trilt of de scène druk is.
Snelheid: Het draait ongeveer drie keer sneller dan de vorige beste methoden omdat het niet hoeft te wachten op trage, vooraf berekende 2D-aanwijzingen.
Veelzijdigheid: Het werkt ook goed bij standaard taken voor video-objectsegmentatie, wat bewijst dat het begrijpen van beweging helpt bij algemeen video-onderstanding.

Kortom, GMOS is een systeem dat de 3D-wereld en het verstrijken van de tijd tegelijkertijd begrijpt, waardoor het kan zeggen: "Die auto beweegt op dit moment," terwijl het negeert dat de auto vijf minuten geleden geparkeerd stond.

Technische Samenvatting: GMOS – Verankering van Bewegende Objectsegmentatie in 3D-Ruimte en Tijd

1. Probleemdefinitie en Beperkingen van Huidige Benaderingen

Bewegende Objectsegmentatie (MOS) heeft tot doel objecten die onafhankelijk van de camera bewegen, te ontdekken, te segmenteren en te volgen. Deze mogelijkheid is fundamenteel voor toepassingen zoals autonoom rijden, het detecteren van gecamoufleerde objecten en videosurveillance, evenals voor methoden voor 3D/4D-scèneherconstructie die dynamische objecten moeten scheiden van statische achtergronden.

De auteurs identificeren twee fundamentele beperkingen in bestaande MOS-methoden:

Gebrek aan 3D-bewustzijn: Huidige methoden vertrouwen sterk vooraf berekende 2D-auxiliaire modaliteiten (zoals optische stroming, punttrajecten of dieptekaarten). Deze invoer mist 3D-geometrische informatie, waardoor methoden kwetsbaar zijn bij grote camerabewegingen of zware diepteparallax. Bovendien levert het genereren van deze auxiliaire invoer aanzienlijke voorverwerkingskosten op.
Grove Temporele Granulariteit: Bestaande benchmarks en methoden behandelen beweging doorgaans als een attribuut op sequentieniveau. Ze maskeren elk object dat op enig moment in de videosequentie beweegt, ongeacht of het object op dat moment in beweging is. Dit negeert de instantane bewegingstoestand van objecten, wat online, real-time implementatie uitsluit, en faalt in het onderscheid maken tussen objecten die tijdelijk statisch zijn en objecten die werkelijk stationair zijn.

2. Methodologie: Het GMOS-Framewerk

De auteurs stellen GMOS (Grounding Moving Object Segmentation) voor, een feed-forward framework dat direct werkt op RGB-video om 3D-bewuste, temporeel fijnmazige segmentatie te produceren zonder auxiliaire invoer. Het framework volgt een proposer-propagator-ontwerp.

2.1 De Proposer (Per-frame Voorspelling)

De proposer werkt op een korte temporele venster (ongeveer 0,5 seconden) gecentreerd rond een query-frame. Het fuseert geometrische en segmentatiekenmerken om objectvoorstellingen en bewegingstoestanden voor het middelste frame te genereren.

Geometrische Encoder: Een bevroren $\pi^3$ -encoder (een feed-forward 3D-herconstructiemodel) verwerkt het korte temporele venster om geometrische kenmerken te extraheren. Dit stelt het model in staat door de camera veroorzaakte parallax te onderscheiden van onafhankelijke objectbeweging. Alleen het kenmerk van het middelste frame wordt behouden, omdat inter-frame correspondentie wordt gecodeerd via de cross-frame-aandacht van het model.
Segmentatie-encoder: Een bevroren SAM2-encoder verwerkt het query-frame om sterke objectpriors en hoogresolutie segmentatiekenmerken te leveren.
Kenmerkfusie en Decodering: Geometrische en segmentatiekenmerken worden gefuseerd en via een transformer-decoder met $N$ $N$ leerbare objectqueries geleid. De decoder geeft als output:
- Segmentatiemaskers voor bewegende objecten.
- Een binaire bewegingstoestand ( $m=1$ als bewegend, $0$ als statisch).
- Geschatte IoU en betrouwbaarheidsscores.
Trainingsdoel: De auteurs introduceren een op vertrouwen gebaseerde loss die automatisch ruisende frame-niveau bewegingsannotaties nabij statisch-bewegend overgangen verlaagt. Dit vermindert labelambiguïteit waar de toestand van een object abrupt wisselt.

2.2 De Propagator (Temporele Consistentie)

Om per-frame voorstellingen te koppelen aan coherente objecttracks over de volledige video, maakt GMOS gebruik van een propagator gebaseerd op een SAM2-videopredictor.

Mechanisme: De propagator neemt de hoogwaardige voorstellingen voor bewegende objecten van de proposer (gefilterd op bewegingswaarschijnlijkheid en geschatte IoU) en gebruikt deze als prompts om tracks in de SAM2-stand bij te werken of te initialiseren.
Modi:
- Online Procedure: Een enkele causale voorwaartse doorgang vanaf het eerste frame. Het ondersteunt MOS-I (Instantaneous) door maskers en bewegingstoestanden te streamen terwijl de video wordt verwerkt. Het kan geen maskers herstellen voor objecten die aanvankelijk statisch zijn en pas later bewegen.
- Offline Procedure: Een tweestapsproces. Het voert eerst de online procedure uit, selecteert een ankerframe met de hoogste geaggregeerde voorspelde IoU, en voert vervolgens bidirectionele propagatie (voorwaarts en achterwaarts) uit om dichte maskers voor alle frames te herstellen, waardoor zowel conventionele MOS als MOS-I worden ondersteund.

2.3 GMOS-S (Variant Voorgrond-Achtergrond)

Voor implementaties waarbij efficiency cruciaal is, introduceren de auteurs GMOS-S, een variant die alle bewegende objecten voorspelt als een enkel binair voorgrondmasker. Het verwijdert de op queries gebaseerde transformer-decoder en de propagator, wat resulteert in een end-to-end model met aanzienlijk lagere inferentielatentie.

3. Dataset en Evaluatieprotocol

3.1 GMOS-2K Dataset

Om training en evaluatie in dit regime te ondersteunen, hebben de auteurs GMOS-2K samengesteld, een dataset van 2.210 real-world video's afkomstig uit vijf gevestigde Video Object Segmentation (VOS)-benchmarks (DAVIS17, YTVOS19, OVIS, MoCA-Mask, HOI4D).

Kernkenmerk: In tegenstelling tot standaard VOS-datasets, bevat GMOS-2K per-object temporele bewegingsannotaties. Het specificeert de exacte tijdsintervallen waarin elk object actief beweegt, en onderscheidt deze van statische objecten of objecten die tijdelijk stilstaan.
Curatie: De dataset is gefilterd om ervoor te zorgen dat alle bewegende objecten ground-truth maskers hebben. Video's waarbij objecten gedurende de volledige sequentie niet bewegen, ondergingen Temporeel Fijnmazige Annotatie (TFA) om bewegingsintervallen te labelen.

3.2 MOS-I Evaluatieprotocol

De auteurs formaliseren MOS-I ("I" voor Instantaneous), een temporeel fijnmazig evaluatieprotocol.

Definitie: In tegenstelling tot conventionele MOS, die maskers voor alle frames scoort als een object zich ergens in de sequentie beweegt, scoort MOS-I segmentatiemaskers alleen op frames waar het object actief beweegt.
Metrieken:
1. Bewegend-object Jaccard ( $J_{mov}$ ): Segmentatieaccuraatheid op actief bewegende frames.
2. Aantal vals-positieven (FP count): Straft het voorspellen van beweging voor statische of achtergrondobjecten.
3. Gemiddelde temporele IoU (mtIoU): Een gezamenlijke maat voor detectieaccuraatheid en onderdrukking van vals-positieven.

4. Experimentele Resultaten

GMOS werd geëvalueerd op MOS-, MOS-I- en Unsupervised Video Object Segmentation (UVOS)-benchmarks.

MOS Benchmarks: GMOS behaalt state-of-the-art (SOTA) resultaten op alle conventionele MOS-benchmarks (DAVIS16-M, DAVIS17-M, SegTrackv2, FBMS-59, MoCA, YTVOS19-M). Het presteert aanzienlijk beter dan eerdere methoden, met name op datasets met dichte objectinteracties (YTVOS19-M) en gecamoufleerde objecten (MoCA).
MOS-I Benchmarks: Op de nieuwe MOS-I-benchmarks (DAVIS17-IM, YTVOS19-IM) overtreft GMOS de vorige SOTA met aanzienlijke marges (bijvoorbeeld +13,4 in $J_{mov}$ op YTVOS19-IM). De resultaten tonen aan dat het behandelen van beweging als een attribuut op sequentieniveau een significante bottleneck is voor instantane segmentatie.
UVOS Benchmarks: GMOS generaliseert ook goed naar onbewaakte VOS (DAVIS16/17), en behaalt SOTA op DAVIS17 en concurrerende resultaten op DAVIS16, ondanks dat het voornamelijk is getraind voor bewegende objectsegmentatie.
Efficiency: GMOS draait ongeveer drie keer sneller dan eerdere multi-object MOS-methoden (bijvoorbeeld 0,38s/frame versus 1,79s/frame voor FlowSAM). GMOS-S is nog sneller (0,26s/frame).

5. Betekenis en Claims

Het artikel stelt dat GMOS een verschuiving vertegenwoordigt in hoe bewegende objectsegmentatie wordt benaderd door de taak te verankeren in 3D-ruimte en tijd:

3D-Verankering: Door feed-forward 3D-herconstructiemodellen ( $\pi^3$ ) direct op RGB-video toe te passen, bereikt GMOS robuustheid tegen camerabeweging en diepteparallax zonder afhankelijkheid van foutgevoelige 2D-auxiliaire invoer zoals optische stroming.
Temporele Verankering: Door het MOS-I-protocol en de voorspelling van de instantane bewegingstoestand in te voeren, maakt GMOS fijnmazige, online segmentatie mogelijk die de dynamische toestand van objecten frame-per-frame nauwkeurig weerspiegelt.
Efficiency: Het framework ondersteunt online inferentie en streaming-implementatie, waardoor het geschikt is voor real-time toepassingen.
Ressourcenbijdrage: De release van GMOS-2K en het MOS-I-protocol biedt een unificatiebron en evaluatiestandaard voor het ontwikkelen van temporeel fijnmazige MOS-methoden, en adresseert het gebrek aan datasets die onderscheid maken tussen bewegende en tijdelijk statische objecten.

De auteurs concluderen dat GMOS een nieuwe state-of-the-art neerzet terwijl het aanzienlijk sneller draait dan eerdere kunst, en zo effectief de kloof overbrugt tussen hoogaccurate segmentatie en eisen voor real-time implementatie.