Complete reconstruction of the tongue contour through acoustic to articulatory inversion using real-time MRI data

Dit artikel presenteert een methode voor het reconstrueren van het volledige tongcontour uit spraakgeluid met behulp van real-time MRI-data en deep learning, waarbij een nauwkeurigheid van 2,21 mm wordt bereikt.

De kern

Stel je voor dat je stem een geheime code is. Wanneer je spreekt, produceer je geluidsgolven die door de lucht reizen. Maar wat er echt gebeurt in je mond om die geluiden te maken? Dat is een mysterie. Je tong, lippen en kaken bewegen op een complexe manier, maar we kunnen ze niet zien als we alleen naar het geluid luisteren.

Deze paper is als een detectiveverhaal waarin onderzoekers proberen die geheime code (het geluid) terug te vertalen naar de bewegingen van de detective (de tong).

Hier is hoe ze dat deden, vertaald in simpele taal:

1. Het Probleem: De "Gaten" in de Kaart

Vroeger probeerden mensen dit op te lossen door kleine sensoren op de lippen en de tong te plakken. Maar dat was alsof je probeert de vorm van een hele berg te tekenen door alleen naar de top en de voet te kijken. Je mist het midden! Je weet niet hoe de rest van de tong eruitziet, en dat is cruciaal voor het begrijpen van spraak.

2. De Oplossing: Een Röntgenfoto in Echttime

De onderzoekers uit Frankrijk hadden een slimme truc: ze gebruikten een real-time MRI-scan.

• De Analogie: Stel je voor dat je een film maakt van iemand die spreekt, maar in plaats van een gewone camera, gebruiken ze een magische camera die door de huid heen kan kijken. Ze zagen precies hoe de tong zich bewoog, van de wortel tot de punt, terwijl de persoon sprak.
• Ze namen 3,5 uur aan beelden op van een vrouw die Frans sprak. Ze hadden dus een perfecte "landkaart" van de tongbewegingen én het bijbehorende geluid.

3. De Kunstmatige Intelligentie: De Vertaler

Nu kwam het moeilijke deel: ze wilden een computer leren om alleen maar op basis van het geluid die kaart van de tong te tekenen.

• Ze bouwden een AI-motor (een soort digitaal brein) die het geluid luistert en probeert te raden: "Ah, dit geluid klinkt alsof de tong nu hier en daar moet zijn."
• Ze probeerden verschillende manieren om deze motor te trainen:
  • Eén taak: Alleen de tong tekenen.
  • Twee taken: De tong tekenen én tegelijkertijd raden welke letterklank (fonem) er wordt uitgesproken.
  • Een "samenvatting": Ze gebruikten een trucje (een auto-encoder) waarbij de AI eerst de vorm van de tong in een klein, samengevat jasje stopte en die weer uitpakte. Dit hielp om de details scherp te houden.

4. Het Resultaat: Een Nieuw Wereldrecord

Het resultaat was verrassend goed!

• De AI kon de vorm van de tong reconstrueren met een gemiddelde foutmarge van slechts 2,21 millimeter.
• De Analogie: Dat is alsof je een foto van een mens maakt op basis van een geluidsopname, en de AI tekent de neus, ogen en mond zo nauwkeurig dat ze binnen een haarbreedte van de echte foto zitten.
• De beste versie van hun model (die gebruikmaakte van een klein stukje context uit het verleden en de toekomst van de zin) deed het het beste.

5. Waarom is dit belangrijk?

Dit is een doorbraak omdat het voor het eerst mogelijk is om de hele tong te zien, niet alleen een paar punten.

• Toepassing: Denk aan mensen die een spraakstoornis hebben of een nieuwe taal leren. Ze kunnen nu zien hoe hun tong echt beweegt en hoe dat vergelijkt met hoe het moet bewegen, puur op basis van wat ze zeggen.
• De "Grootte" van de prestatie: Vroeger was dit onmogelijk zonder sensoren in de mond. Nu kunnen we het "zien" zonder iets in de mond te hoeven plakken.

6. De "Maan en Sterren" (De beperkingen)

Natuurlijk is het niet perfect.

• De AI heeft moeite met heel snelle bewegingen, alsof je probeert een raket te tekenen terwijl hij al voorbij is gevlogen.
• Soms is er een lange pauze in een zin (bijvoorbeeld om adem te halen), en dan raakt de AI de draad kwijt.
• Ook is de MRI-machine erg luidruchtig, waardoor de mensen erin anders spreken dan in het dagelijks leven. De onderzoekers hopen dat ze dit in de toekomst kunnen oplossen.

Kortom: Deze paper laat zien dat we met slimme computers en MRI-scans eindelijk de "geheime bewegingen" van onze tong kunnen ontcijferen, puur door naar ons geluid te luisteren. Het is een enorme stap vooruit in het begrijpen van hoe wij spreken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Complete Reconstruction of the Tongue Contour Through Acoustic to Articulatory Inversion Using Real-Time MRI Data", geschreven in het Nederlands.

Probleemstelling

De akoestisch-articulatoire inversie (het reconstrueren van spraakproductieparameters uit het audiosignaal) is een complexe uitdaging vanwege de indeterminatie: verschillende vormen van het spraakkanaal kunnen hetzelfde spraakspectrum produceren. Bestaande methoden, vaak gebaseerd op diep leermethoden, gebruiken doorgaans data van elektromagnetische articulografie (EMA). EMA beperkt zich echter tot een handvol sensoren die op makkelijk toegankelijke articulatoren (zoals lippen, onderkaak en het voorste deel van de tong) worden geplakt. Hierdoor is het onmogelijk om de volledige vorm van de tong (van wortel tot punt), de farynx en het strottenhoofd te reconstrueren. Dit beperkt de bruikbaarheid van bestaande systemen aanzienlijk, aangezien deze gebieden direct invloed hebben op de lengte van het spraakkanaal.

Methodologie

Het paper presenteert een nieuwe aanpak die gebruikmaakt van Real-Time MRI (rt-MRI) data om de volledige tongcontour te reconstrueren.

• Dataset: De studie gebruikt een corpus van 2100 Franse zinnen (ongeveer 3,5 uur opname) van een vrouwelijke spreker. De data bestaat uit rt-MRI-opnames met een resolutie van 136x136 pixels en een frame rate van 50 fps, gekoppeld aan audio-opnames (16 kHz).
• Data Preprocessing:
  • Audio: MFCC's (Mel-Frequency Cepstral Coefficients) met hun eerste en tweede afgeleiden (delta en delta-delta) worden berekend. Er wordt een contextvenster van 11 frames gebruikt (5 voorafgaand, 5 volgend, 1 huidig).
  • Tongcontour: In plaats van ruwe MRI-beelden te gebruiken, worden de tongcontours geautomatiseerd getrackt met een Mask R-CNN model. Elke contour bestaat uit 50 (X, Y)-coördinaten.
  • Alignement: Omdat audio-frames (10 ms) en MRI-frames (20 ms) niet exact overeenkomen, worden de contours geïnterpoleerd om ze af te stemmen op de audio-frames.
• Model Architectuur:
  • Er wordt een Bi-LSTM (Bidirectional Long Short-Term Memory) architectuur gebruikt.
  • De input is een feature-vector van 429 dimensies (11 MFCC-frames).
  • Het model bevat een dense layer (300 eenheden), twee bidirectionele LSTM-lagen (300 eenheden elk), en extra dense layers.
  • Variaties: Er zijn twee hoofdconfiguraties onderzocht:
    1. Single-task: Alleen voorspelling van de tongcontour (100 punten).
    2. Multi-task: Gelijktijdige voorspelling van de tongcontour en fonetische segmentatie (43 Franse fonemen).
  • Autoencoder: Sommige modellen gebruiken een autoencoder om de dimensie van de latente ruimte te reduceren (van 100 punten naar een 16-dimensionale vector) voordat de contour wordt gereconstrueerd.
• Training: Het model is getraind met een combinatie van Mean Squared Error (MSE) voor de regressie (contour) en Cross Entropy voor de classificatie (fonemen). De training duurde 300 epochs met de Adam-optimizer.

Belangrijkste Bijdragen

1. Volledige Tongreconstructie: Voor het eerst wordt succesvol de volledige contour van de tong (van wortel tot punt) gereconstrueerd uitsluitend op basis van het spraaksignaal, zonder de beperkingen van EMA-sensoren.
2. Gebruik van Geoptimaliseerde MRI-data: In plaats van ruwe, laag-resolutie MRI-beelden te gebruiken (zoals in eerdere werken), worden hoogwaardige, getrackte contours gebruikt. Dit elimineert de noodzaak voor complexe post-processing van inverse beelden en verhoogt de nauwkeurigheid.
3. Vergelijking van Architecturen: Het paper biedt een uitgebreide vergelijking tussen single-task en multi-task learning, met en zonder autoencoders, en analyseert de impact van de grootte van het contextvenster.

Resultaten

De prestaties werden gemeten aan de hand van de Root Mean Square Error (RMSE) en de mediaan van de fout in millimeters.

• Beste Prestatie: Het Single-task model met een contextvenster van 1 frame (ST-1) behaalde de beste resultaten:
  • Mediaan fout: 2,21 mm (ongeveer 1,37 pixels).
  • RMSE: 2,52 mm.
• Multi-task Prestaties: Het Multi-task model met autoencoder (MT-AE) behaalde een mediaan fout van 2,28 mm en een RMSE van 2,58 mm, maar presteerde het beste op het gebied van fonemherkenning (75,54% nauwkeurigheid).
• Invloed van Context: Het verrassende resultaat is dat een smaller contextvenster (1 frame) beter presteerde dan modellen met bredere vensters (3, 5 of 7 frames), wat suggereert dat de modelarchitectuur al voldoende temporale informatie verwerkt of dat bredere vensters ruis introduceren.
• Beperkingen: Het model worstelt nog met zeer snelle tongbewegingen en pauzes binnen zinnen (bijv. ademhaling), wat leidt tot grotere afwijkingen (tot 4,61 mm in extreme gevallen).

Betekenis en Conclusie

Dit werk markeert een doorbraak in de spraaktechnologie door te bewijzen dat het mogelijk is om de volledige geometrie van de tong te reconstrueren uit spraak, met een mediane foutmarge van minder dan 2,21 mm. Dit opent de deur voor nieuwe toepassingen in:

• Spraaksynthese: Voor het genereren van natuurlijk klinkende spraak met betere articulatie.
• Revalidatie en Taalverwerving: Voor visuele feedbacksystemen waarbij patiënten of taalstudenten hun tongbewegingen kunnen corrigeren zonder invasieve sensoren.
• Spraakonderzoek: Voor een dieper inzicht in de relatie tussen akoestiek en articulatie.

De auteurs benadrukken dat de volgende stap zal zijn om deze techniek uit te breiden naar het volledige spraakkanaal en de overgang te maken van spraak opgenomen in een MRI-machine (met ruis en specifieke omstandigheden) naar natuurlijke spraak in een vrije omgeving.