A HamNoSys-Guided Dataset and Baselines for Fine-Grained Isolated Handshape Recognition in Sign Language
Dit artikel introduceert een grootschalige, op HamNoSys gebaseerde dataset van 144.000 RGB-beelden van 15 deelnemers voor 160 handvormklassen en stelt de baseline-prestaties vast met behulp van diverse deep learning- en machine learning-modellen onder zowel subject-afhankelijke als leave-one-subject-out evaluatieprotocollen om fijnmazige gebarentaalherkenning te bevorderen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Gebarentalen zijn volledige, complexe talen met een eigen grammatica en structuur, die door miljoenen mensen over de hele wereld worden gebruikt. Net zoals gesproken talen zijn opgebouwd uit klanken, zijn gebarentalen opgebouwd uit fysieke bewegingen van de handen, het gezicht en het lichaam. Een van de meest cruciale bouwstenen is de vorm die de hand aanneemt. Een lichte buiging in een vinger of een andere positie van de duim kan de betekenis van een gebaar volledig veranderen, net zoals de verandering van een enkele letter één woord in een ander kan veranderen. Om deze talen te kunnen begrijpen of vertalen, moeten computers eerst leren om deze specifieke handvormen met hoge precisie te herkennen. Het is echter moeilijk om een computersysteem te creëren dat dit kan doen, omdat menselijke handen sterk van persoon verschillen en de verschillen tussen vergelijkbare handvormen ongelooflijk subtiel kunnen zijn.
Onderzoekers zoeken al lang naar een manier om deze handvormen te beschrijven in een universele taal die niet aan slechts één land of cultuur toebehoort. Een dergelijk systeem, bekend als het Hamburg Notatiesysteem, werkt als een gedetailleerde kaart voor handconfiguraties, waarbij ze worden onderverdeeld in specifieke onderdelen zoals vingerselectie en duimpositie. Hoewel dit systeem een duidelijke definitie geeft van hoe een handvorm eruit zou moeten zien, is er een gebrek aan gegevens uit de echte wereld om computers te leren hoe ze deze vormen moeten herkennen wanneer ze door echte mensen worden uitgevoerd. Zonder een grote collectie echte afbeeldingen die deze specifieke vormen laten zien, hebben computerprogramma's moeite met generaliseren en falen ze vaak wanneer ze een nieuw persoon of een iets andere hoek tegenkomen.
Om dit gat te dichten, heeft een team van onderzoekers een nieuwe, enorme dataset gemaakt die ontworpen is om computers te leren hoe ze 160 verschillende handvormen kunnen herkennen. Ze vertrouwden niet op door de computer gegenereerde afbeeldingen of eenvoudige tekeningen; in plaats daarvan namen ze echte mensen op. Vijftien vrijwilligers, allen studenten, kregen de opdracht om elke van de 160 specifieke handvormen te vormen die in de officiële tabel staan. De onderzoekers richtten een gecontroleerde omgeving in met een witte achtergrond en een camera met een hoge definitie. Elke deelnemer hield hun hand in de vereiste vorm en draaide deze langzaam rond, waardoor de camera de beweging vanuit verschillende hoeken kon vastleggen. Dit proces genereerde 144.000 individuele kleurenafbeeldingen, wat een rijke bibliotheek opleverde waarin elke afbeelding precies is gelabeld met de handvorm die het vertegenwoordigt.
De onderzoekers testten vervolgens hoe goed verschillende computermodellen konden leren van deze nieuwe bibliotheek. Ze probeerden twee hoofdbenaderingen. De eerste benadering bekeek de afbeeldingen als geheel, vergelijkbaar met hoe een mens dat zou doen, met de focus op het algemene uiterlijk van de hand, de huidskleur en de belichting. De tweede benadering negeerde de afbeelding volledig en concentreerde zich alleen op de wiskundige coördinaten van eenentwintig specifieke punten op de hand, zoals de toppen van de vingers en de gewrichten. Ze testten deze modellen op twee verschillende manieren. In de eerste test werd de computer getoond aan afbeeldingen van mensen die zij al hadden gezien tijdens hun training, wat een scenario simuleert waarin het systeem de gebruiker kent. In de tweede, veel moeilijkere test, werd de computer getoond aan afbeeldingen van mensen die zij nog nooit hadden ontmoet, waardoor de computer gedwongen werd om te vertrouwen op wat zij hadden geleerd over de vormen zelf in plaats van op de specifieke persoon die ze uitvoert.
De resultaten toonden een duidelijk onderscheid tussen het kennen van een persoon en het kennen van een vorm. Wanneer de computer werd getest op mensen die zij al hadden gezien, presteerde het zeer goed, waarbij het de handvorm in meer dan 86 procent van de gevallen correct identificeerde met behulp van het beste op afbeelding gebaseerde model. Echter, wanneer de computer geconfronteerd werd met een nieuw persoon die zij nog nooit waren tegengekomen, daalde de nauwkeurigheid aanzienlijk tot ongeveer 45 procent. Deze scherpe daling laat zien dat hoewel computers goed zijn in het herkennen van patronen in bekende gezichten, ze nog steeds moeite hebben met het scheiden van de universele vorm van een gebaar van de unieke manier waarop een specifiek individu het uitvoert. De studie vond ook dat de modellen de meeste fouten maakten met handvormen die bijna identiek zijn en slechts verschillen in een minuscuul detail, zoals de buiging van een enkele vinger of de positie van de duim.
Dit werk biedt een solide fundament voor toekomstige technologie. Door een grote, evenwichtige collectie van echte afbeeldingen aan te bieden en te testen hoe computers omgaan met nieuwe gebruikers, hebben de onderzoekers een standaardinstrument voor het vakgebied gecreëerd. De dataset stelt wetenschappers in staat om betere systemen te bouwen die uiteindelijk kunnen helpen bij het vertalen van gebarentaal naar tekst of spraak voor hen die niet kunnen horen, of om doven te helpen gemakkelijker te communiceren met horende mensen. Hoewel de huidige modellen nog steeds moeite vinden met het herkennen van gebaren van vreemden, biedt de nieuwe bron onderzoekers een duidelijk pad vooruit om deze systemen te verbeteren, zodat toekomstige technologie de subtiele, prachtige complexiteit van menselijke handen kan begrijpen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.