DynEoMT: Learning Object Dynamicity from Online Segmentation Queries
DynEoMT is een online framework dat query-gebaseerde videosegmentatie aanvult om regio-niveau objectdynamiek (bewegend versus statisch) te voorspellen zonder optische flow, diepte of camerapoza vereist, waarbij sterke prestaties worden behaald door middel van een nieuwe offline supervisiepipeline getraind op camera-gecompenseerde optische flow.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computer vision worden machines steeds beter in het herkennen van wat er op een foto te zien is. Ze kunnen een auto, een persoon of een boom identificeren en er een nauwkeurige omtrek omheen tekenen. Maar er is een subtiel verschil tussen het zien van een object en het begrijpen hoe het beweegt. Wanneer een camera door een scène beweegt, lijkt alles in het gezichtsveld te verschuiven. Een geparkeerde auto kan lijken te glijden over het scherm simpelweg omdat de camera draait, terwijl een wandelende voetganger beweegt om zijn eigen redenen. Voor een machine is het essentieel om het onderscheid te maken tussen objecten die uit zichzelf bewegen en objecten die alleen lijken te bewegen omdat de camera beweegt. Dit vermogen om het verschil te zien, is cruciaal voor robots die de wereld moeten navigeren of voor systemen die kaarten van hun omgeving maken. Als een robot een stilstaand gebouw aanziet voor een bewegend obstakel, of een echt bewegende auto negeert omdat hij denkt dat het gebouw beweegt, stort zijn begrip van de wereld in.
Onderzoekers hebben computers al lang geleerd om objecten door de tijd heen te volgen, waarbij ze een consistent label behouden voor een specifieke auto of persoon terwijl deze door een video beweegt. Echter, deze systemen stoppen meestal bij het identificeren van het object en de locatie ervan; ze geven niet expliciet aan of dat object onafhankelijk beweegt of slechts een statisch deel van de achtergrond is. Een nieuwe studie introduceert een methode genaamd DynEoMT, die deze ontbrekende laag van begrip toevoegt. Het systeem leert videoframes en de gegevens die het al over objecten heeft verzameld te analyseren, en besluit vervolgens voor elk gevolgd gebied of het dynamisch of statisch is. De belangrijkste prestatie hier is dat het systeem dit doet zonder complexe bewegingspatronen te berekenen, diepte te meten of de fysieke positie van de camera te kennen. Het leert de bewegingstoestand direct af te leiden uit de manier waarop het het object zelf volgt.
Om een computer deze vaardigheid aan te leren, moesten de onderzoekers eerst een manier creëren om de gegevens te labelen, aangezien bestaande video-datasets deze specifieke informatie niet bevatten. Ze bouwden een offline proces dat fungeert als een leraar. Dit proces bekijkt paren van videoframes en berekent hoe pixels tussen hen in bewegen. Vervolgens schat het in hoeveel van die beweging wordt veroorzaakt door de camera zelf en trekt dat ervan af. Wat overblijft is de "residuele" beweging, die de werkelijke beweging van objecten in de wereld vertegenwoordigt. Als een gebied significante beweging vertoont nadat de beweging van de camera is verwijderd, wordt het als dynamisch gelabeld. Als het weinig tot geen beweging vertoont, wordt het als statisch gelabeld. De onderzoekers pasten deze logica toe op vier belangrijke video-datasets, variërend van semantische segmentatie, waarbij elke pixel een categorie krijgt, tot instance segmentatie, waarbij individuele objecten apart worden gevolgd. Dit creëerde een enorme set trainingsvoorbeelden waarbij elk objectmasker werd voorzien van een label dat aangeeft of het bewoog of stilstond.
Met deze nieuwe trainingsdata hebben de onderzoekers een bestaand videomodell voor segmentatie aangepast. Ze voegden een klein, lichtgewicht beslissingscomponent, of "head", toe aan het systeem. Deze component kijkt naar de interne representatie van elk object dat het model volgt en voorspelt of het beweegt of stilstaat. Cruciaal is dat deze voorspelling in realtime gebeurt terwijl de video speelt. Het systeem gebruikt alleen het huidige beeld en de informatie die het uit het vorige frame heeft meegenomen. Het kijkt niet terug naar oude beelden, het berekent geen optische flow en het heeft geen extra sensoren nodig. Het model leert deze voorspelling te maken naast zijn primaire taak van het tekenen van contouren rond objecten, waardoor wordt gewaarborgd dat de nieuwe taak de mogelijkheid om te zien en te volgen niet verstoort.
De resultaten laten zien dat deze aanpak effectief werkt bij verschillende soorten videodata. Op een grote dataset van video panoptische segmentatie identificeerde het systeem de bewegingstoestand van objecten met een nauwkeurigheid van 84,3 procent. Op andere datasets gericht op het volgen van individuele instanties, varieerde de nauwkeurigheid van 68,0 tot 87,6 procent. Misschien wel het belangrijkste is dat het toevoegen van deze nieuwe capaciteit de oorspronkelijke prestaties van het systeem niet heeft geschaad. Het vermogen om nauwkeurige maskers te tekenen en de identiteit van objecten te blijven volgen, bleef bijna exact hetzelfde als voorheen. De onderzoekers ontdekten dat de interne signalen die het model gebruikte om objecten te volgen, al voldoende informatie bevatten om te bepalen of die objecten bewogen. Door simpelweg een kleine laag toe te voegen om die signalen te interpreteren, kreeg het systeem een nieuw begrip van de wereld zonder een aparte, complexe bewegingsverwerkingspijplijn nodig te hebben.
Dit werk demonstreert dat het onderscheid tussen een bewegend object en een statisch object direct geleerd kan worden van de manier waarop een model objecten door de tijd heen volgt. Het suggereert dat toekomstige systemen ontworpen voor robotica of autonome navigatie een robuuster begrip van hun omgeving kunnen krijgen zonder de zware computationele kosten van speciale bewegingsanalyse-instrumenten. De methode rust op een eenvoudig principe: als je een object kunt volgen, kun je waarschijnlijk ook zien of het uit zichzelf beweegt. De onderzoekers hebben hun code publiekelijk beschikbaar gesteld, zodat anderen deze bevindingen kunnen reproduceren en kunnen voortbouwen op een systeem dat niet alleen ziet wat er is, maar ook hoe het zich gedraagt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.