Skarimva: Skeleton-based Action Recognition is a Multi-view Application

Dit artikel toont aan dat het gebruik van meervoudige camerablikken voor het trianguleren van nauwkeurigere 3D-skeletten de prestaties van bestaande actieherkenningsmodellen aanzienlijk verbetert, waardoor meervoudige camera's als standaardopstelling voor toekomstig onderzoek worden aanbevolen.

De kern

Titel: Waarom meer camera's je robot slimmer maken (en waarom één camera niet genoeg is)

Stel je voor dat je een robot wilt leren om menselijke bewegingen te begrijpen, zoals dansen, vechten of zwaaien. De robot kijkt niet naar de foto's van mensen, maar alleen naar een 'skelet' van lijntjes en stippen (de gewrichten) dat op het scherm wordt getekend. Dit heet skelet-gebaseerde actieherkenning.

De onderzoekers van dit paper hebben een interessante ontdekking gedaan: Het probleem zit niet in de hersenen van de robot (het algoritme), maar in de ogen (de camera's).

Hier is de uitleg in gewone taal:

1. Het probleem: De "Slechte Foto"

Tot nu toe hebben onderzoekers vooral geprobeerd de "hersenen" van de robot slimmer te maken. Ze bouwden complexere algoritmen, net als het proberen om een slechte foto te verbeteren door er een heel duur frame omheen te bouwen. Maar de foto zelf was vaak wazig.

Waarom? Omdat de meeste systemen maar één camera gebruiken.

• Analogie: Stel je voor dat je probeert te raden hoe ver een bal van je af staat, terwijl je één oog dichtknijpt. Je kunt de diepte niet goed inschatten. Als iemand zijn hand voor zijn gezicht houdt (verhulling), zie je de rest niet meer.
• In de wereld van robots betekent dit: als een camera een hand niet ziet, of de afstand verkeerd inschat, wordt het "skelet" dat de computer ziet, vervormd. De robot denkt dan: "Oh, deze persoon tilt zijn arm niet op, maar zijn arm is gewoon verdwenen."

2. De oplossing: De "3D-bril"

De onderzoekers zeggen: "Laten we stoppen met één camera en er gewoon drie gebruiken."

• Analogie: Denk aan hoe jij en ik zien. We hebben twee ogen. Door met beide ogen te kijken, kunnen we diepte waarnemen (stereoscopie). Als je drie camera's rondom een persoon zet, kun je precies berekenen waar elk gewricht in de ruimte zit, zelfs als één camera wordt geblokkeerd.
• Ze hebben een nieuwe methode bedacht om de beelden van deze drie camera's samen te voegen tot één perfect, 3D-skelet. Het is alsof je van een wazige, platte tekening overschakelt op een kristalheldere 3D-modelfiguur.

3. Het resultaat: Een enorme sprong voorwaarts

Toen ze deze nieuwe, perfecte skeletten gebruikten met bestaande robot-hersenen, gebeurde er iets wonderlijks:

• De fouten in de herkenning daalden met meer dan 50%.
• De robot werd plotseling veel slimmer, zonder dat ze de algoritmes zelf hadden veranderd.

De les: De kwaliteit van de input (de camera's) was de "zwakke schakel". Zolang je met een slechte foto werkt, kan de slimste computer ter wereld het niet goed doen.

4. Is dit duur of moeilijk?

Je zou denken: "Oh, drie camera's? Dat is veel werk en duur!"
Maar de onderzoekers zeggen: Nee, eigenlijk niet.

• Voor de gemiddelde gebruiker: Je kunt twee of drie goedkope USB-camera's kopen, ze ergens neerzetten en ze kalibreren met een schaakbordpatroon (of zelfs met je telefoon). Het kost weinig moeite.
• Voor bedrijven: In sportanalyses, beveiliging of robotica worden al vaak meerdere camera's gebruikt. Het toevoegen van één extra camera is een verwaarloosbare kostenpost vergeleken met het enorme voordeel dat je krijgt.
• Snelheid: De computers die we nu hebben (zoals een goede gaming-PC) kunnen dit in echt real-time doen. Het is net zo snel als het filmen zelf.

5. Wat betekent dit voor de toekomst?

De onderzoekers concluderen dat we "skelet-herkenning" moeten zien als een meerdere-camera probleem.
Het is alsof we jarenlang geprobeerd hebben om een auto te laten rijden door alleen de motor te verbeteren, terwijl we vergeten waren dat de banden leeg waren. Door de banden (de camera's) te vervangen, rijdt de auto plotseling veel soepeler.

Kortom:
Als je een systeem wilt bouwen dat menselijke bewegingen goed begrijpt, stop dan met zoeken naar de allerbeste software. Koop in plaats daarvan gewoon een paar extra camera's. Het is goedkoper, makkelijker en maakt je systeem direct veel slimmer.

(De auteurs hebben hun code zelfs openbaar gemaakt, zodat iedereen dit zelf kan uitproberen!)

Technische samenvatting

Probleemstelling

Hoewel er veel onderzoek wordt gedaan naar het verbeteren van machine learning-algoritmen voor actieherkenning op basis van skeletdata (skeleton-based action recognition), wordt er weinig aandacht besteed aan de kwaliteit van de invoerdata zelf.

• Huidige beperking: De meeste bestaande datasets (zoals NTU-RGBD) zijn opgenomen met één camera of met niet-gekalibreerde camera's. Dit leidt tot onnauwkeurige 3D-skeletten door problemen zoals occlusie (lichaamsdelen die elkaar verbergen) en diepteambiguïteit (moeilijkheid om diepte te schatten vanuit één perspectief).
• Gevolg: De prestaties van state-of-the-art modellen lijken te stagneren (plateau-effect), wat suggereert dat de kwaliteit van de invoerdata de beperkende factor is, en niet het algoritme.

Methodologie

De auteurs stellen voor om actieherkenning te behandelen als een multi-view applicatie in plaats van een single-view probleem. De kern van hun aanpak bestaat uit drie stappen:

1. Herstel van Camera-parameters:

   • Omdat de originele NTU-RGBD-dataset geen camera-calibratie of synchronisatie bevat, hebben de auteurs een reconstructieprocedure ontwikkeld.
   • Ze gebruiken iteratieve uitsluiting van outliers om intrinsieke en extrinsieke camera-parameters te schatten door de reprojectie-error van de bestaande skeletten te minimaliseren.
   • Ze schatten ook de temporale alignement (synchronisatie) tussen de video-streams.

2. Multi-view Triangulatie:

   • Met de herstelde parameters wordt de state-of-the-art RapidPoseTriangulation estimator gebruikt.
   • Dit systeem trianguleert 3D-skeletten vanuit meerdere camera's, wat resulteert in nauwkeurigere 3D-posities en het oplossen van occlusieproblemen.
   • Het systeem ondersteunt whole-body schatting, inclusief gezichtspunten en vingertoppen.

3. Data Processing en Tracking:

   • Skeletten worden over tijd gekoppeld aan personen via een afstandsbased tracking-algoritme.
   • Korte tracks worden verwijderd als valse detecties, en niet-overlappende tracks worden samengevoegd.
   • De dataset wordt beperkt tot de twee langste tracks (aangezien de dataset maximaal twee personen bevat).

4. Model Training:

   • Drie bestaande GCN-modellen (MSG3D, DG-STGCN, ProtoGCN) zijn getraind op de nieuwe, verbeterde skeletdata.
   • In tegenstelling tot eerdere werken die multi-stream ensembling gebruikten, worden hier alle invoermodaliteiten (gewrichten, botten, beweging) in één model samengevoegd.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het paper betoogt dat skelet-based actieherkenning fundamenteel een multi-view probleem is en dat toekomstig onderzoek dit als standaardopstelling moet zien.
• Open Source Implementatie: De volledige code voor de calibratie, triangulatie en training is open-source gemaakt (via GitLab), inclusief de nieuwe dataset-versies.
• Nieuwe State-of-the-Art: Het demonstreert dat het verbeteren van de invoerdata (via multi-view triangulatie) grotere prestatiewinst oplevert dan het ontwikkelen van complexere algoritmen.
• Analyse van Whole-Body Data: Het onderzoekt het effect van het toevoegen van gezicht- en vingerpunten, en concludeert dat niet alle extra punten noodzakelijk zijn voor elke taak (overfitting risico).

Resultaten

De experimenten zijn uitgevoerd op de populaire NTU-RGBD-60 en NTU-RGBD-120 datasets.

• Significante Accuraciteitswinst:
  • De foutenratio werd met meer dan 50% verlaagd ten opzichte van de originele single-view skeletten.
  • Op de NTU-RGBD-60 dataset (xsub split) bereikte het ProtoGCN-model met de nieuwe data 97,5% nauwkeurigheid (tegenover ~93,8% voor de vorige state-of-the-art).
  • Op de NTU-RGBD-120 dataset werd 95,4% bereikt (tegenover ~91,7%).
• Vergelijking met Andere Methoden:
  • De multi-view triangulatie overtreft aanzienlijk methoden die alleen 2D-pose-estimators verbeteren (PoseConv3D) of single-view 2D-naar-3D lifting gebruiken (NTU-X).
  • Het gebruik van meerdere camera's lost diepteambiguïteit en occlusie op, wat single-view lifting-methoden niet kunnen doen.
• Few-Shot Learning:
  • De nieuwe skeletten verbeteren ook het vermogen om nieuwe acties te leren met weinig voorbeelden (one-shot learning), waarbij de nauwkeurigheid steeg van ~69% naar 76%.
• Real-time Capabiliteit:
  • Ondanks het verwerken van meerdere camera-streams, is het systeem real-time capable. De pose-estimator draait op ~130 FPS (sneller dan de 30 FPS camera's), en de modellen zelf zijn klein genoeg voor snelle inferentie.

Betekenis en Conclusie

Het paper concludeert dat de kwaliteit van de invoerdata momenteel de belangrijkste bottleneck is voor de prestaties van actieherkenningssystemen.

• Kosten-batenverhouding: Het gebruik van meerdere camera's is relatief goedkoop en eenvoudig (bijv. meerdere USB-camera's of smartphone-camera's) en levert een enorme prestatieverbetering op. De extra complexiteit weegt niet op tegen de winst in nauwkeurigheid.
• Toekomstige Richting: De auteurs bevelen aan dat toekomstig onderzoek multi-view setups als standaard accepteert. Dit maakt het mogelijk om bestaande modellen aanzienlijk te verbeteren zonder de algoritmes zelf fundamenteel te hoeven veranderen.
• Praktische Toepassing: De aanpak is toepasbaar in professionele settings (surveillance, robotica) en consumentenapplicaties, zelfs met ruwe calibratie en zonder perfecte synchronisatie.

Kortom: "Skarimva" bewijst dat het verbeteren van de fysieke data-acquisitie (meerdere hoeken) effectiever is dan het verder verfijnen van de software-algoritmen voor bestaande, inferieure data.