Human Behavior Recognition Based on Graph Neural Network and Cross-modal Collaborative Attention Mechanism
Dit artikel stelt Gnet_CAM voor, een nieuw model voor menselijke gedragsherkenning dat visuele, skeletale en audio-gegevens integreert via grafische neurale netwerken en een hiërarchisch cross-modaal collaboratief aandachtmechanisme om robuuste prestaties te bereiken in complexe scenario's zoals occlusie en variërende verlichting, zoals aangetoond door de superieure nauwkeurigheid op de NTU RGB+D120-dataset en een zelfgegenereerde uitdagende omgeving-dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren begrijpen wat mensen aan het doen zijn. Je zou kunnen denken: "Makkelijk! Geef hem gewoon een camera." Maar hier is de crux: camera's zijn gemakkelijk te misleiden. Als een persoon achter een pilaar stapt, verliest de robot het zicht op diegene. Als de lichten flikkeren of de zon de lens verblindt, wordt de robot duizelig. Het is alsof je een vriend probeert te herkennen in een drukke, donkere kamer met alleen je ogen; soms kun je simpelweg niet genoeg zien.
Om dit op te lossen, proberen wetenschappers robots "superzintuigen" te geven. In plaats van alleen maar te kijken, kunnen ze ook "luisteren" naar de geluiden van beweging en het "voelen" van het skelet van het lichaam terwijl het beweegt, zelfs als de huid verborgen is. Ze gebruiken iets dat Graph Neural Networks wordt genoemd, wat een chique manier is om te zeggen dat ze een kaart tekenen van hoe lichaamsdelen (zoals ellebogen en knieën) met elkaar verbonden zijn, een soort stokfiguur-tekening die weet hoe hij moet bewegen. Ze gebruiken ook Attention Mechanisms, die als een spotlight werken die de robot vertelt: "Hey, kijk nu naar de handen, negeer de achtergrond!" De grote vraag is: hoe krijgen we de robot om deze verschillende zintuigen — zicht, geluid en skelet — te combineren tot één perfect begrip, vooral wanneer de zaken rommelig en chaotisch worden?
Dit artikel introduceert een nieuw, slim systeem genaamd Gnet_CAM dat precies probeert te antwoorden op die vraag. Denk aan dit als een team van drie detectives die samenwerken om een mysterie op te lossen: één detective heeft een camera (Visueel), één een skelettracker (Skeletaal) en één een supergevoelige microfoon (Audio). In het verleden hadden deze detectives misschien alleen maar hun aanwijzingen naar elkaar geschreeuwd of hun aantekeningen bij elkaar geplakt, wat vaak tot verwarring leidde.
De auteurs van dit artikel zeggen: "Nee, laten we ze op de juiste manier met elkaar laten praten." Ze bouwden een systeem waarbij de microfoon niet alleen luistert; de microfoon stuurt de andere detectives ook actief aan. Als de audio-detective een "krakende deur" hoort, stuurt hij een signaal naar de camera- en skeletdetectives om onmiddellijk op de deur en de handen in de buurt daarvan te focussen. Ze noemen dit een Cross-modal Collaborative Attention Mechanism. Het is als een dirigent in een orkest die de viool en de trommel precies vertelt wanneer ze moeten spelen, zodat ze perfect samen klinken, in plaats van gewoon tegelijkertijd hard te spelen.
Om dit werkend te krijgen, creëerden ze een "dynamische kaart". Meestal is een skeletkaart statisch — het weet dat een hand verbonden is met een arm. Maar dit nieuwe systeem voegt "virtuele randen" toe. Stel je onzichtbare touwen voor die van een lichaamsdeel naar een geluidsbron rekken. Als je een klap hoort, verbindt een virtuele draad je oren onmiddellijk met je handen op de kaart, wat de robot helpt de actie te begrijpen, zelfs als de handen gedeeltelijk verborgen zijn.
De onderzoekers hebben dit idee op twee manieren getest. Eerst gebruikten ze een standaard, schone dataset genaamd NTU RGB+D 120, wat lijkt op een oefengym met perfect licht. Hier bereikte hun nieuwe methode een nauwkeurigheidspercentage van 93,1%, waarmee ze de vorige beste methoden versloeg. Maar de echte test was in een "harde" omgeving die ze zelf hebben gebouwd, die een stoffige, slecht verlichte fabriek simuleert met veel obstakels (ernstige occlusie). In dit rommelige scenario bereikte hun systeem een nauwkeurigheid van 93,9%. Dit was een enorme sprong — meer dan 8% beter dan het beste bestaande model dat niet hun speciale "teamwerk"-aanpak gebruikte.
De onderzoekers hebben ook "ablatie-experimenten" uitgevoerd, wat een wetenschappelijke manier is om te zeggen dat ze het systeem uit elkaar hebben gehaald om te zien welk onderdeel het zware werk doet. Ze ontdekten dat als ze de "virtuele aandacht-randen" (de onzichtbare touwen die geluid met het lichaam verbinden) zouden verwijderen, de nauwkeurigheid met 6,2% zou dalen. Als ze de audio volledig zouden verwijderen, zou deze met 7,7% dalen. Dit bewijst dat de magie niet alleen zit in het hebben van een microfoon; het zit in de manier waarop het systeem het geluid gebruikt om het visuele en het skelet-tracking actief aan te sturen.
De auteurs zijn er vol vertrouwen over dat deze aanpak robots veel robuuster maakt, wat betekent dat ze niet in de war raken wanneer de wereld rommelig wordt. Ze geven echter ook toe dat er nog hindernissen zijn. Het systeem vereist momenteel dat alle drie de zintuigen (zicht, geluid, skelet) perfect gesynchroniseerd zijn, wat moeilijk te realiseren is in de echte wereld als een camera achterloopt op een microfoon. Ze merken ook op dat het systeem computationeel zwaar is, wat betekent dat het nu misschien te traag is voor een klein, op batterijen werkend apparaat. Maar voor nu suggereert dit artikel dat door verschillende zintuigen te laten "samenwerken" in plaats van alleen maar naast elkaar te laten "bestaan", we machines kunnen bouwen die menselijk gedrag begrijpen met veel scherpere ogen en oren, zelfs in de donkerste, meest rommelige kamers.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.