Automated Measurement of Geniohyoid Muscle Thickness During Speech Using Deep Learning and Ultrasound

Dit artikel introduceert SMMA, een volledig geautomatiseerd framework dat diep leren en skeletgebaseerde kwantificering combineert om de dikte van de geniohyoïde-spier tijdens spraak nauwkeurig te meten, waardoor grootschalige studies naar spraakmotoriek en stoornissen mogelijk worden zonder handmatige annotatie.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van een paar creatieve vergelijkingen om het begrijpelijk te maken.

De "Onzichtbare Spier" die eindelijk zichtbaar wordt

Stel je voor dat je een spier hebt diep in je keel, de geniohyoid-spier. Deze spier is als de stuurman van je kaak: hij helpt je je mond te openen en te sluiten, wat essentieel is om verschillende klinkers (zoals 'a', 'i' en 'u') te maken.

Het probleem? Deze spier zit zo diep en is zo moeilijk te zien op een echo, dat onderzoekers tot nu toe hun werk handmatig moesten doen. Het was alsof je probeerde de vorm van een vis te tekenen terwijl je blinddoekt in een modderpoel zit. Het kostte dagen, was vermoeiend en iedereen trok een beetje andere lijnen.

De Oplossing: SMMA (De Slimme Robot)

De onderzoekers van de Polytechnische Universiteit van Hongkong hebben een nieuwe computerprogramma bedacht, genaamd SMMA. Je kunt dit zien als een slimme robot-architect die twee taken uitvoert:

1. De Tekenaar (Deep Learning): De robot kijkt naar de echo-beelden en tekent automatisch de randen van de spier. Het is alsof je een zeer getalenteerde schilder hebt die in een seconde precies weet waar de spier begint en eindigt, zonder dat hij moe wordt.
2. De Meetman (Skelet-analyse): Zodra de spier is getekend, trekt de robot een onzichtbare lijn door het midden (het "skelet") en meet hij hoe dik de spier is op dat punt.

Wat hebben ze ontdekt?

Om te testen of de robot goed werkt, lieten ze hem werken met echte echo-beelden van 11 mensen die in het Kantonese dialect spraken. Ze lieten de mensen verschillende klinkers zeggen: /a:/ (zoals in "vader"), /i:/ (zoals in "sint") en /u:/ (zoals in "hoed").

Hier zijn de resultaten, vertaald naar alledaagse taal:

• De "A" is zwaar werk: Als mensen de klinker /a:/ zeggen, moeten ze hun kaak ver openen. De robot zag dat de spier dan dikker werd (gemiddeld 7,3 mm). Dit is alsof je een elastiekje uitrekt; de spier moet hard werken en wordt daardoor dikker.
• De "I" is ontspannen: Bij de klinker /i:/ houden mensen hun mond gesloten en hun kaak omhoog. De spier is dan dunner (gemiddeld 6,0 mm). De spier hoeft minder hard te werken.
• Mannen vs. Vrouwen: Mannen hadden over het algemeen iets dikkere spieren dan vrouwen (ongeveer 5-8% dikker), maar dat is gewoon omdat mannen over het algemeen grotere lichamen hebben. Het patroon van "dikker bij 'a', dunner bij 'i'" was bij iedereen hetzelfde.

Waarom is dit belangrijk?

Voorheen was het meten van deze spier als het zoeken naar een speld in een hooiberg met je blote handen. Met SMMA is het alsof je een metaaldetector hebt gekregen.

• Snelheid: Wat voorheen uren duurde, gaat nu in seconden.
• Nauwkeurigheid: De robot is bijna net zo goed als een menselijke expert (90% overeenstemming).
• Toekomst: Dit maakt het mogelijk om duizenden mensen te bestuderen. Denk aan het helpen van mensen met spraakproblemen, het monitoren van slikproblemen bij ouderen, of het begrijpen van hoe onze stem werkt.

Samenvattend

Dit onderzoek is als het vinden van een nieuwe bril voor spraakonderzoekers. Ze kunnen nu eindelijk duidelijk zien wat er in de diepte van de keel gebeurt terwijl we praten. De robot (SMMA) doet het zware werk van meten, zodat artsen en wetenschappers zich kunnen focussen op het helpen van patiënten en het begrijpen van de menselijke stem.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Automated Measurement of Geniohyoid Muscle Thickness During Speech Using Deep Learning and Ultrasound", vertaald en samengevat in het Nederlands.

Titel: Geautomatiseerde Meting van de Dikte van de Geniohyoïde Spier tijdens Spraak met Behulp van Deep Learning en Ultrasone Geluid

1. Het Probleem

Ultrasone beeldvorming is een waardevol hulpmiddel voor het bestuderen van tongdynamiek tijdens spraakproductie, omdat het real-time visualisatie biedt zonder stralingsblootstelling. Echter, de huidige research richt zich voornamelijk op het volgen van de tongcontour. De dieper gelegen geniohyoïde (GH) spier blijft grotendeels onbestudeerd, ondanks haar cruciale rol bij het beïnvloeden van de positie van het tonglichaam en de mondholte via de mechanica van het hyoïde en de kaak.

De belangrijkste obstakels voor onderzoek naar de GH-spier zijn:

• Technische uitdagingen: De spier is historisch moeilijk duidelijk te visualiseren op ultrasone beelden.
• Manuele metingen: Bestaande studies vertrouwen op handmatige metingen, wat tijdrovend, subjectief is en leidt tot grote variabiliteit tussen beoordelaars (inter-rater variability).
• Schaalbaarheid: Het gebrek aan gevalideerde geautomatiseerde tools vormt een bottleneck voor grootschalige fonetische en klinische studies.

2. Methodologie: Het SMMA Framework

De auteurs presenteren SMMA (Skeleton-based Morphometric Muscle Analysis), een volledig geautomatiseerd computervraamwerk dat twee kerncomponenten integreert om kinematische parameters van de GH-spier te extraheren uit B-mode ultrasone video.

Component 1: Geautomatiseerde Segmentatie

• Pre-processing: Ultrasone frames worden gestandaardiseerd (croppen, herschalen, normaliseren) tot 224x224 pixels.
• Deep Learning Model: Een Convolutional Neural Network (CNN) wordt getraind om de grenzen van de GH-spier te segmenteren zonder initiële handmatige input.
• Modelkeuze: Verschillende architecturen (Attention UNet, UNet, SwinUNet, DeepLab v3, UltraUNet) werden vergeleken. UltraUNet bleek de beste prestaties te leveren qua nauwkeurigheid en stabiliteit.
• Training: De modellen werden getraind met een gecombineerde verliesfunctie (Dice Loss en Focal Loss) en specifieke augmentaties voor ultrasone beelden.

Component 2: Dikte-extractie via Skeletalisatie

• Skeletalisatie: Na post-processing (morphologische operaties en Gaussische smoothing) wordt een skeletalgoritme toegepast om de mediale as (de "ruggengraat") van de spier te extraheren.
• Diktemeting: De lokale dikte wordt berekend als de dubbele afstand van een punt op het skelet tot de tegenoverliggende spiergrenzen.
• Statistische filtering: Om gevoeligheid voor randeffecten te verminderen, wordt de gemiddelde dikte ($T_{mean}$) berekend op basis van het interkwartielbereik (25e tot 75e percentiel) van de skeletpunten.
• Output: Het systeem levert zowel statische morfologische kenmerken als dynamische articulatoire analyses in de tijd.

Dataset en Validatie

• Data: 1650 geannoteerde ultrasone beelden van 11 sprekers (5 mannen, 6 vrouwen) die Kantonese klinkers produceerden.
• Validatie:
  • Segmentatie: Vergelijking tussen het model en drie getrainde annotatoren (inter-annotator overeenstemming).
  • Dikte: Vergelijking van de geautomatiseerde metingen met handmatige metingen door een ervaren sonograaf op 110 beelden.

3. Belangrijkste Resultaten

A. Validatie van Component 1 (Segmentatie)

• Menselijke consistentie: De overeenstemming tussen drie menselijke annotatoren was hoog (Gemiddelde Dice: 0.9001 – 0.9179).
• Modelprestaties: UltraUNet behaalde de beste resultaten met een Dice-score van 0.9037 en een IoU van 0.8263, wat zeer dicht bij de menselijke consistentie ligt.
• Snelheid: UltraUNet verwerkt 250 maskers per seconde op een RTX3060 GPU, wat aanzienlijk sneller is dan alternatieven zoals UNet.

B. Validatie van Component 2 (Dikte-extractie)

• Klinisch geselecteerde beelden: Voor beelden van hoge kwaliteit (waar de spier duidelijk zichtbaar is) was de correlatie met de grondwaarheid zeer sterk:
  • Pearson $r = 0.901$
  • Gemiddelde Absolute Fout (MAE): 0.53 mm
  • RMSE: 0.75 mm
• Willekeurig geselecteerde beelden: Bij willekeurige beelden (inclusief mindere kwaliteit) bleef de correlatie sterk ($r=0.707$) met een MAE van 0.88 mm.
• Conclusie: Het systeem bereikt een nauwkeurigheid die vergelijkbaar is met die van een menselijke expert.

C. Toepassing: Analyse van Geïsoleerde Klinkers
Het systeem werd toegepast om de GH-spierdikte te meten tijdens de productie van de klinkers /a:/, /i:/ en /u:/:

• Klinker-effect: Er was een significant verschil in spierdikte tussen de klinkers.
  • /a:/ (lage klinker): 7.29 mm (significante activatie).
  • /i:/ (hoge klinker): 5.95 mm.
  • /u:/: 6.65 mm.
• Fysiologische interpretatie: De grotere dikte bij /a:/ komt overeen met de actieve contractie van de GH-spier om de kaak te verlagen (mandibulaire depressie). Bij /i:/ is de activatie lager omdat de kaak omhoog gaat.
• Geslachtsverschillen: Mannen hadden over het algemeen 5-8% dikkere spieren dan vrouwen, wat waarschijnlijk een anatomische schaling weerspiegelt en geen functioneel verschil.

4. Belangrijkste Bijdragen

1. SMMA Framework: De eerste volledig geautomatiseerde pipeline voor het kwantificeren van de GH-spierdynamiek tijdens spraak, wat de noodzaak van tijdrovende handmatige annotatie elimineert.
2. Validatie van Deep Learning: Het aantonen dat UltraUNet menselijke niveaus van segmentienauwkeurigheid bereikt voor een complexe, diepe spier in ultrasone beelden.
3. Fonetische Inzichten: Het leveren van kwantitatieve, objectieve bewijzen voor de rol van de GH-spier bij klinkerproductie, specifiek het verschil in activatie tussen lage en hoge klinkers.
4. Schaalbaarheid: Het mogelijk maken van grootschalige studies over spraakmotorische controle en objectieve beoordeling van spraakstoornissen (bijv. dysartrie).

5. Betekenis en Toekomstperspectief

De studie opent nieuwe wegen voor de spraakwetenschap en klinische praktijk. Door de barrière van handmatige metingen weg te nemen, kan SMMA worden gebruikt voor:

• Grootschalig onderzoek: Systematische studies naar spraakmotorische controle bij grote populaties.
• Klinische beoordeling: Objectieve monitoring van patiënten met spraak- of slikstoornissen.
• Revalidatie: Het volgen van progressie tijdens therapie.

Beperkingen: De huidige studie heeft een beperkte steekproefgrootte (N=11), is beperkt tot het Kantonese dialect, en de nauwkeurigheid hangt sterk af van de beeldkwaliteit. Toekomstig werk moet zich richten op validatie in pathologische populaties, andere talen en het omgaan met co-articulatie in continue spraak.