Bridging communication between hearing and visually impaired individuals via speech recognition and synthesis
Dit artikel presenteert een kosteneffectieve, uitsluitend op software gebaseerde Spraakherkennings- en Synthesetool (SRST), ontwikkeld in MATLAB, die bidirectionele communicatie tussen slechthorende en visueel beperkte individuen faciliteert door spraak om te zetten in hoogcontrasttekst en tekst naar gesynthetiseerde spraak, waarbij een operationele efficiëntie van ongeveer 90% wordt bereikt zonder dat er gespecialiseerde hardware vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de wereld van communicatie voor als een gigantisch, bruisend feestje waar iedereen met elkaar probeert te praten. Voor de meeste mensen is dit gemakkelijk: je spreekt, je vriend hoort je, zij spreken terug, en jij ziet hun lippen bewegen. Maar voor sommige gasten is het feestje een beetje kapot. Als je de muziek niet kunt horen (gehoorbeperkt), voelt het gesprek als het kijken naar een stomme film waarbij je de grappen mist. Als je het scherm niet kunt zien (visueel beperkt), hoor je misschien de muziek, maar heb je geen idee waar de film over gaat omdat je de ondertiteling niet kunt lezen.
Dit artikel bevindt zich in de hoek van de wetenschap genaamd "Assistive Technology" (ondersteunende technologie), wat in fe�ringa de discipline is van het bouwen van hulpmiddelen om mensen met een beperking deel te laten uitmaken van het feestje. Om te begrijpen wat deze onderzoekers hebben gedaan, moet je weten over twee belangrijke trucs die computers gebruiken om met mensen te praten. De eerste is Spraakherkenning, wat een soort supersnelle vertaler is die naar je stem luistert en deze omzet in geschreven woorden op een scherm. De tweede is Spraaksynthese, wat het tegenovergestelde is: het neemt geschreven woorden en gebruikt een computerstem om ze hardop voor te lezen. Meestal zijn deze hulpmiddelen ontworpen voor mensen die kunnen horen maar niet kunnen zien, of andersom. Maar wat gebeurt er wanneer een persoon die niet kan horen probeert te praten met een persoon die niet kan zien? Ze zitten vast in een lus waarbij de één het antwoord niet kan horen, en de ander de vraag niet kan lezen. Dit artikel probeert die specifieke kapotte lus te repareren.
De onderzoekers, een team van de Aksum Universiteit in Ethiopië, bouwten een digitale brug genaamd de Speech Recognition and Synthesis Tool (SRST). Denk aan het als een tweeweg-walkie-talkie die niet alleen geluid doorgeeft, maar ook direct geluid vertaalt naar tekst en tekst terug naar geluid. Hun doel was om een systeem te creëren waarbij een gehoorbeperkt persoon in een microfoon kan spreken, zodat hun woorden direct verschijnen als grote, duidelijke tekst op een scherm voor een blinde persoon om te "horen" via een computerstem, en vervolgens de blinde persoon terug kan spreken, waarbij hun stem verandert in tekst voor de gehoorbeperkte persoon om te lezen.
Het coole aan dit project is dat ze geen flitsende nieuwe robots of dure hardware hebben gebouwd. In plaats daarvan hebben ze een slim softwareprogramma geschreven dat op een standaardcomputer draait met een gewone microfoon en luidspreker. Het is alsof je een normale laptop verandelt in een magisch communicatieapparaat. Het systeem werkt in twee hoofdrichtingen. Aan de ene kant luistert het naar de stem van een blinde persoon. Het hakt het geluid in kleine stukjes, analyseert de unieke patronen van de spraak (zoals een vingerafdruk voor geluid) en koppelt die patronen aan een lijst met woorden die het heeft geleerd. Zodra het heeft begrepen wat er gezegd is, print het de woorden op het scherm in hoog contrast zodat de gehoorbeperkte persoon ze kan lezen. Aan de andere kant typt de gehoorbeperkte persoon een bericht. De computer neemt vervolgens deze letters en naait kleine vooraf opgenomen fragmenten van menselijke spraak (genaamd "diphones") aan elkaar om een nieuwe stem te creëren die het bericht hardop voorleest aan de blinde persoon.
Het team testte hun creatie door mensen in een lawaaierige universiteitslab in het systeem te laten spreken. Ze ontdekten dat het systeem vrij goed werkt en de boodschap ongeveer 90% van de tijd correct weergeeft. Het was iets beter in het herkennen van geïsoleerde woorden (ongeveer 91,2%) dan het begrijpen van zinnen in een stille kamer (89,5%), en het zakte iets meer wanneer er achtergrondruis aanwezig was (84,1%). De auteurs suggereren dat de enkele fouten voorkamen omdat sommige woorden voor het "oor" van de computer erg op elkaar lijken, zoals tweelingen in een menigte.
Ze ontdekten ook dat het systeem flexibel is. Omdat ze geen complexe grammaticaregels hard-coded hebben, kon het systeem een mix van talen aan en herkende het succesvol woorden uit het Engels, Tigrinya en Amhaars in hetzelfde gesprek. Ze geven echter toe dat het systeem nog niet perfect is. Het raakt soms in de war door plotselinge harde geluiden (zoals een schuivende stoel) die geen spraak zijn, en het kan een beetje traag zijn als de computer te veel woorden tegelijk moet controleren.
De onderzoekers concluderen dat hoewel dit een werkend prototype is en geen afgewerkt commercieel product, het bewijst dat een goedkope, enkel softwarematige oplossing succesvol de kloof tussen deze twee gemeenschappen kan overbruggen. Ze suggeren dat het in de toekomst toevoegen van een vertaallaag ervoor kan zorgen dat mensen verschillende talen spreken en elkaar toch begrijpen, en dat het gebruik van betere microfoons kan helpen om het systeem achtergrondruis te laten negeren. Voor nu hebben ze echter een solide fundament gelegd—een digitale handdruk—die laat zien hoe technologie kan helpen dat twee mensen die de wereld verschillend ervaren, eindelijk een gesprek kunnen voeren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.