Evaluating Goodness of Pronunciation and Phonological Posteriors as Objective Markers of Speech Severity in Motor Speech Disorders
Deze studie toont aan dat scores voor de kwaliteit van uitspraak afgeleid van zelfgesuperviseerde spraakrepresentaties, in het bijzonder WavLM, superieure objectieve markers dienen voor het beoordelen van de ernst van spraak bij motorische spraakstoornissen vergeleken met traditionele akoestische kenmerken en fonologische posterieure waarschijnlijkheden, terwijl ze een sterke overeenstemming vertonen met perceptuele beoordelingen van distortie en verstaanbaarheid.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren menselijke spraak te begrijpen, maar de mensen die spreken hebben een aandoening waardoor hun woorden "sluderig", "stijf" of "door elkaar" klinken. Dit is de wereld van motorische spraakstoornissen, waar het plan van de hersenen voor het bewegen van de mond een beetje in de war raakt. Decennialang hebben artsen op hun eigen oren en ervaring vertrouwd om te beoordelen hoe slecht de spraak klonk, een beetje zoals een muziekdocent die de zang van een leerling beoordeelt op gehoor. Maar menselijke oren kunnen moe worden, en verschillende docenten kunnen verschillende cijfers geven. Wetenschappers hebben geprobeerd een "spraakliniaal" te bouwen — een computerprogramma dat een geluidsgolf kan bekijken en er een objectieve score voor kan geven over hoe vervormd of onduidelijk deze is. Om dit te doen, gebruiken ze twee belangrijke hulpmiddelen: één die controleert of een geluid overeenkomt met de "correcte" woordenboekdefinitie van een woord (zoals een spellingcontrole voor klanken) en een andere die het geluid afbreekt in zijn fysieke bouwstenen, zoals te controleren of de lippen rond waren of de tong plat was. De grote vraag is: welke van deze computertools is beter in het opsporen van de problemen, en moeten ze samenwerken?
Deze studie, uitgevoerd door onderzoekers van de Mayo Clinic, besloot deze tools op de proef te stellen met een zeer specifiek woord: "catastrophe". Ze namen 489 keer de opname van mensen die dit woord zeiden — sommigen met gezonde spraak en 156 met motorische spraakstoornissen. Het team wilde zien of ze deze nieuwe, hoogtechnologische "Goodness of Pronunciation" (GoP) score konden gebruiken. Ze vergeleken deze nieuwe, hoogtechnologische GoP met de oudere, traditionele akoestische kenmerken en ook met de "phonological posterior probabilities" (het hulpmiddel dat de fysieke bouwstenen van de spraak controleert).
Dit is wat ze vonden: de nieuwe, hoogtechnologische AI-aanpak was een duidelijke winnaar. Wanneer de onderzoekers een specifieke moderne AI-model genaamd WavLM gebruikten om de spraak te analyseren, deed het een veel betere job in het matchen van de beoordelingen van de artsen over hoe vervormd of onduidelijk de spraak was, vergeleken met de ouderwetse methoden. Sterker nog, de best presterende opstelling gebruikte een methode genaamd "k-nearest neighbors" (wat zoiets is als het zoeken naar de meest vergelijkbare voorbeelden in een bibliotheek om een oordeel te vellen) in combinatie met de WavLM AI. Deze combinatie bereikte de sterkste verbinding met hoe de artsen de spraak beoordeelden.
De studie keek ook naar de andere tool, degene die de fysieke bouwstenen van de spraak controleert. Het blijkt dat dit hulpmiddel nuttig was, maar het was niet zo goed in het voorspellen van de algehele ernst van de spraakproblemen als de GoP-score dat wel was. De onderzoekers ontdekten dat hoewel de twee tools de spraak verschillend bekijken — de één controleert of het geluid het "juiste" woord is, en de ander hoe de mond bewoog — ze eigenlijk iets licht verschillends vastleggen. Echter, toen ze probeerden deze te combineren om een super-scorer te maken, deed de GoP-score al zo veel werk dat het tweede hulpmiddel niet veel extra waarde toevoegde.
Interessant genoeg controleerden de onderzoekers of leeftijd of geslacht de resultaten verstoorde. Ze vonden dat deze factoren bijna geen invloed hadden op hoe de computerscores werkten. Of de spreker nu jong of oud, man of vrouw was, het vermogen van de computer om de spraakproblemen op te sporen bleef stabiel. Dit is een grote zaak omdat het suggereert dat deze computertools vrij goed zouden kunnen werken voor een breed scala aan mensen zonder dat ze voor elke persoon opnieuw afgesteld moeten worden.
Uiteindelijk suggereert het artikel dat het gebruik van deze geavanceerde, zelf-gesuperviseerde AI-modellen om uitspraakscores te creëren een krachtige manier is om spraakbeperking objectief te meten. Hoewel de "bouwsteen"-checker zijn plek heeft voor het begrijpen van hoe de mond beweegt, is de "spellingscontrole"-stijl GoP-score het betere hulpmiddel om te vertellen hoe ernstig het spraakprobleem precies is. De onderzoekers merken er voorzichtig bij op dat dit getest is op één enkel woord dat vele malen werd herhaald, dus hoewel de resultaten veelbelovend zijn, is er meer werk nodig om te zien of dit ook even goed werkt voor lange, natuurlijke gesprekken. Maar voor nu lijkt het erop dat de toekomst van spraakbeoordeling misschien wel een zeer slimme robot is die heel nauwlettend luistert.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.