Proper Body Landmark Subset Enables More Accurate and 5X Faster Recognition of Isolated Signs in LIBRAS

Dit artikel toont aan dat een zorgvuldig geselecteerd subset van lichaamslandmarken, gecombineerd met spline-gebaseerde imputatie, de herkenning van geïsoleerde LIBRAS-gebaren niet alleen even accuraat maakt als geavanceerde methoden, maar ook meer dan vijf keer sneller verwerkt.

De kern

Stel je voor dat je een tolk bent voor een taal die niet met geluid, maar met bewegingen wordt gesproken: de Braziliaanse Gebarentaal (LIBRAS). Om een computer deze taal te laten begrijpen, moeten we eerst de handen, het gezicht en het lichaam van de gebaarder "in kaart brengen".

Deze paper is als het ware een recept voor een snellere en slimmere tolk. Hier is het verhaal, vertaald naar alledaags Nederlands:

Het Probleem: De Zware Trui

Vroeger gebruikten onderzoekers een zware, dure "trui" om de bewegingen te volgen. Dit heet OpenPose. Het was heel nauwkeurig, maar het was ook zwaar en traag. Het was alsof je een vrachtwagen gebruikt om een postpakketje te bezorgen: het komt wel aan, maar het duurt lang en kost veel brandstof.

De onderzoekers dachten: "Waarom gebruiken we geen snellere scooter?" Ze stapten over op MediaPipe, een lichtgewicht systeem dat veel sneller is. Maar toen gebeurde er iets raars: de scooter was wel snel, maar hij verloor de weg. De computer werd heel slecht in het begrijpen van de gebaren. Het was alsof je een snelle auto hebt, maar de bestuurder blind is.

De Oplossing: De Slimme Selectie

De onderzoekers ontdekten dat het probleem niet de scooter was, maar dat ze te veel informatie probeerden te verwerken. De MediaPipe-scooter gaf 543 verschillende punten (landmarks) op het lichaam door: elke punt op het gezicht, elke vinger, elke knie.

Stel je voor dat je een recept probeert te volgen, maar de kok geeft je een lijst met 543 ingrediënten, inclusief de zoutkorrels in de lucht en de stofdeeltjes op het aanrecht. Je wordt er alleen maar van in de war.

De oplossing was simpel: Kies alleen de belangrijkste ingrediënten.
Ze testten verschillende strategieën om te zien welke punten echt nodig zijn voor een gebaar.

• De "Alles-in-één" aanpak: Alle 543 punten gebruiken. (Resultaat: Verwarring en slechte resultaten).
• De "Slimme Selectie": Ze keken naar winnende strategieën uit andere wedstrijden (zoals de Google ASL Challenge). Ze kozen alleen de punten die echt belangrijk zijn: de vorm van de handen, de positie van de lippen en de grote bewegingen van de schouders en armen.

Het resultaat? Door alleen de "sterke spelers" op het veld te houden, werd de computer plotseling veel slimmer. Het was alsof je een team hebt dat stopt met rennen in de rondte en zich focust op het scoren van doelpunten.

De "Kleefband"-Truc (Interpolatie)

Soms mist de camera een puntje (bijvoorbeeld als een hand even wegvalt of de belichting slecht is). In het verleden was dit een ramp.
De onderzoekers gebruikten een slimme truc: Spline-interpolatie.
Stel je voor dat je een rijtje steentjes hebt, maar er mist er één. Je kunt de ontbrekende steen niet zien, maar je kunt wel een rechte lijn trekken tussen de steen ervoor en de steen erachter om te raden waar die ontbrekende steen had moeten zitten.
Dit "repareren" van de ontbrekende stukjes zorgde voor een enorme verbetering in de nauwkeurigheid.

Het Eindresultaat: Sneller en Beter

Door deze twee dingen te doen (alleen de juiste punten kiezen + ontbrekende punten slim invullen), bereikten ze iets wonderlijks:

1. Snelheid: Het systeem is nu 5 tot 6 keer sneller dan de oude zware methode. Het is alsof je van de vrachtwagen bent gegaan naar een sportauto die toch net zo goed (of zelfs beter) presteert.
2. Nauwkeurigheid: Ze zijn zelfs beter geworden dan de beste methoden die er tot nu toe waren, zelfs al gebruikten ze een lichter systeem.

Samenvatting in één zin

Deze paper laat zien dat je niet per se een zware, trage computer nodig hebt om gebarentaal te begrijpen; als je slim kiest welke bewegingen je bekijkt en de kleine foutjes slim oplost, kun je een systeem bouwen dat 5 keer sneller is en beter werkt dan de huidige top.

Het is een bewijs dat soms "minder is meer", zolang je maar de juiste "minder" kiest.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Proper Body Landmark Subset Enables More Accurate and 5X Faster Recognition of Isolated Signs in LIBRAS", geschreven in het Nederlands.

Probleemstelling

Het herkennen van geïsoleerde gebaren in de Braziliaanse Gebarentaal (LIBRAS) is een cruciale stap voor toegankelijke technologieën voor dove en slechthorende personen. Bestaande state-of-the-art methoden (zoals die van Alves et al.) gebruiken vaak OpenPose voor het extraheren van lichaamslandmarks (skeletpunten) en bereiken hoge nauwkeurigheid. Echter, OpenPose heeft een hoge computationele kost, wat de verwerkingstijd beperkt en real-time toepassingen bemoeilijkt.

Een alternatief is het gebruik van MediaPipe, een lichtgewicht framework dat aanzienlijk sneller is. Eerdere proefnemingen toonden echter aan dat het simpelweg vervangen van OpenPose door MediaPipe (met gebruik van alle 543 landmarks) leidde tot een drastische daling in herkenningsnauwkeurigheid. De kernvraag van dit onderzoek is: Hoe kan men de snelheid van MediaPipe behouden zonder in te boeten aan nauwkeurigheid bij de herkenning van LIBRAS-gebaren?

Methodologie

De auteurs stellen een framework voor dat MediaPipe combineert met slimme selectie van landmarks en data-imputatie. Het proces verloopt als volgt:

1. Landmark Extractie:

   • Gebruik van het MediaPipe Holistic-model om 543 landmarks te detecteren (468 voor het gezicht, 33 voor de houding/pose, en 42 voor de handen).
   • In tegenstelling tot eerdere werken die OpenPose gebruikten, wordt hier gekozen voor MediaPipe vanwege de snelheid.

2. Selectie van Landmark-subsets:
   Om de redundantie en ruis (vooral van het dichte gezichtsmesh) te verminderen, worden vijf strategieën vergeleken:

   • Baseline (All): Alle 543 landmarks.
   • Laines: 68 landmarks (focus op lippen, schouders, armen en handen).
   • Arcanjo: 75 landmarks (pose en handen, zonder gedetailleerd gezicht).
   • ASL-1st: 118 landmarks (focus op handen en gezicht, zonder lichaamspositie).
   • ASL-2nd: 80 landmarks (een subset van de winnaar van de Google ASL Signs Challenge, focus op lippen, handen en een kern van pose-landmarks voor context).

3. Imputatie van ontbrekende data:

   • MediaPipe kan soms landmarks missen door ruis of occlusie.
   • De auteurs gebruiken spline-gebaseerde imputatie (stuksgewijze kubische spline interpolatie) om ontbrekende waarden te schatten op basis van een tijdsvenster van 5 frames. Dit zorgt voor gladde, kinematisch plausibele trajecten.

4. Encodering en Classificatie:

   • De geselecteerde en geïmputeerde landmarks worden omgezet in 2D skeletafbeeldingen (via Skeleton-DML), waarbij de ruimtelijke structuur en temporele dynamiek worden gecodeerd.
   • Deze afbeeldingen worden ingevoerd in een ResNet-18 (geinitialiseerd met ImageNet-weights) voor classificatie.
   • Het trainingsprotocol gebruikt een Leave-One-Person-Out (LOPO) validatie, wat cruciaal is voor generalisatie naar nieuwe gebruikers.

Belangrijkste Bijdragen

1. Optimalisatie van Landmark-subsets: Het aantonen dat het gebruik van een specifieke subset van landmarks (in plaats van alle data) de nauwkeurigheid van MediaPipe aanzienlijk verbetert en zelfs de prestaties van zwaardere methoden kan evenaren of overtreffen.
2. Effectiviteit van Spline-Imputatie: Het bewijzen dat het nabewerken van ruwe landmark-data met spline-interpolatie essentieel is om de instabiliteit van MediaPipe te compenseren en de nauwkeurigheid te verhogen.
3. Significante Snelheidswinst: Het leveren van een oplossing die 5x sneller is dan de bestaande state-of-the-art methode (gebaseerd op OpenPose), terwijl de nauwkeurigheid wordt behouden of verbeterd.
4. Nieuwe State-of-the-Art: Het bereiken van nieuwe records op twee populaire LIBRAS-datasets (MINDS-Libras en LIBRAS-UFOP) met een efficiënter framework.

Resultaten

De experimenten zijn uitgevoerd op de datasets MINDS-Libras en LIBRAS-UFOP.

• Nauwkeurigheid:

  • De ASL-2nd strategie (80 landmarks) presteerde het beste.
  • Op MINDS-Libras werd een F1-score van 0,94 bereikt (vergelijkbaar met de beste bestaande methoden).
  • Op LIBRAS-UFOP werd een F1-score van 0,91 bereikt, wat een verbetering is van +11% ten opzichte van de referentiemethode van Alves et al. [3].
  • De spline-imputatie zorgde voor een extra verbetering van de F1-score met 4 tot 18 procentpunten, afhankelijk van de dataset en strategie.

• Snelheid (Performance):

  • Landmark-extractie: MediaPipe was 6,7x sneller dan OpenPose (gemiddeld 4,4 seconden vs. 28,7 seconden per video).
  • Totale Pipeline: De volledige herkenningstijd (extractie + inferentie) was 5,6x sneller.

• Vergelijking: De methode presteerde beter dan recente werken (zoals Naz et al. en De Castro et al.) op de LIBRAS-UFOP dataset, zelfs wanneer die werken geen LOPO-validatie gebruikten (wat vaak leidt tot overoptimistische resultaten).

Betekenis en Conclusie

Dit onderzoek toont aan dat het gebruik van zware frameworks zoals OpenPose niet langer noodzakelijk is voor hoogwaardige gebarenherkenning. Door een geoptimaliseerde subset van landmarks te combineren met robuste data-imputatie, kan men een lichtgewicht framework zoals MediaPipe gebruiken om zowel hoge nauwkeurigheid als real-time snelheid te bereiken.

De bevindingen zijn significant voor de ontwikkeling van schaalbare, toegankelijke technologieën voor dove en slechthorende personen, zoals zelfstudieplatforms, woordenboeken en zoekfuncties in videobestanden. De auteurs plannen om deze methode uit te breiden naar andere gebarentalen en naar continue gebarenherkenning (zinsniveau).