💬 NLP

AURORA Model of Formant-to-Tongue Inversion for Didactic and Clinical Applications

Dit artikel introduceert het AURORA-model, een computergestuurde tool die op basis van formantwaarden de tongbeweging bij klinkers voorspelt en dient als didactisch hulpmiddel en basis voor biofeedbacktoepassingen in de fonetiek en logopedie.

Oorspronkelijke auteurs: Patrycja Strycharczuk, Sam Kirkham

Gepubliceerd 2026-03-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Patrycja Strycharczuk, Sam Kirkham

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🗣️ AURORA: De "Vertaler" tussen Geluid en Tongbeweging

Stel je voor dat je stem een orgel is. De klank die je hoort (de toonhoogte en het timbre) wordt bepaald door hoe je de pijpen (je mondholte) vormt. In de wetenschap noemen we die klankkleuren formanten. Voor een linguïst of een arts zijn dit gewoon cijfers (F1 en F2), maar voor een gewone mens is dat net zoiets als naar een ingewikkelde motorcode kijken zonder te weten hoe de motor eruitziet.

Het probleem? Mensen kunnen hun "motorcode" (de geluidscijfers) niet direct zien of voelen, maar ze kunnen wel hun tong bewegen.

De onderzoekers Patrycja Strycharczuk en Sam Kirkham hebben AURORA bedacht. Dit is een slim computerprogramma dat fungeert als een magische vertaler.

1. Wat doet AURORA eigenlijk?

AURORA kijkt naar de geluidscijfers (de formanten) en zegt dan: "Ah, dit geluid wordt gemaakt als de tong hier en daar staat!"

De Input: Je geeft het programma twee geluidscijfers.
De Output: Het toont je direct een plaatje van hoe je tong eruit moet zien om dat geluid te maken.

Het is alsof je een GPS hebt voor je tong. In plaats van te zeggen: "Ga 500 meter naar het noorden en draai dan linksaf" (wat de geluidscijfers doen), zegt de GPS: "Kijk, je moet naar dat rode puntje op de kaart" (het plaatje van de tong).

2. Waarom is dit handig? (De "Waarom"-vraag)

Stel je voor dat je een transgender persoon bent die zijn of haar stem wil laten klinken vrouwelijker. Vrouwelijke stemmen hebben vaak een hogere "F2" (een bepaald geluidscijfer).

De oude manier: De therapeut zegt: "Maak je F2 hoger." De patiënt denkt: "Hoe doe ik dat? Ik weet niet wat een F2 is!"
De AURORA-manier: De therapeut zegt: "Zie je dit plaatje? Probeer je tong naar voren te duwen, net als hier." De patiënt ziet direct wat hij moet doen.

Het maakt abstracte geluidswetenschap zichtbaar en tastbaar. Het is een brug tussen wat je hoort en wat je doet.

3. Hoe werkt het? (De "Hoe"-vraag)

Het team heeft 40 mensen uit Noord-Engeland opgenomen. Ze hebben een ultrasone scanner (zoals bij een zwangerschap, maar dan voor de tong) gebruikt om te kijken hoe de tong eruitzag terwijl ze woorden spraken. Tegelijkertijd namen ze de geluiden op.

Het computerprogramma heeft deze duizenden foto's en geluiden gekeken en een rekenregels bedacht.

Vergelijking: Het is alsof je duizenden foto's van mensen die lachen hebt, en je leert dat als de mondhoeken omhoog gaan, de ogen ook krimpelen. AURORA leert: "Als het geluid zo klinkt, moet de tong er zo uitzien."

Het programma is slim genoeg om te begrijpen dat de tong niet alleen op en neer gaat, maar ook draait en verandert van vorm, net als een slang die door de mond kronkelt.

4. De Twee Tools (De "Spelletjes")

Om dit voor iedereen toegankelijk te maken, hebben ze twee dingen gemaakt:

De "Speelgoed"-App (Shiny App):
Dit is voor studenten en leraren. Je sleept met schuifbalkjes (F1 en F2) en ziet direct hoe de tong in het plaatje verandert. Het is als een simulatiespelletje om te zien hoe de wereld van klanken in elkaar zit, zonder dat je een doctoraat nodig hebt.
De "Live-Spiegel" (Biofeedback):
Dit is voor therapie. Je spreekt in een microfoon, en op het scherm zie je in echt hoe je tong eruit zou moeten zien.
- Voorbeeld: Je probeert een 'i' te maken (zoals in 'bied'). Het scherm toont een tong die hoog en naar voren staat. Als je het verkeerd doet, zie je het plaatje verschuiven. Het is alsof je een spiegel hebt voor je tong, terwijl je normaal gesproken je eigen tong niet kunt zien.

5. Wat zijn de beperkingen? (De "Niet-perfect"-kant)

Het programma is geweldig, maar niet perfect.

Het kijkt alleen naar de tong. Het vergeet soms dat ook je lippen (bijvoorbeeld bij een 'o') en je kaak een rol spelen.
Het is getraind op mensen uit Noord-Engeland. Een persoon uit Zuid-Engeland of iemand met een ander accent, heeft misschien een iets andere "tong-motor".
Het is een schatting, geen foto van de echte tong. Maar voor het doel (leren en therapie) is het nauwkeurig genoeg.

Conclusie

Kortom: AURORA is een slim hulpmiddel dat de mysterieuze wereld van stemgeluiden vertaalt naar een simpel plaatje van je tong. Het helpt mensen die hun stem willen veranderen (bijvoorbeeld voor genderbevestiging) of studenten die fonetiek leren, om te begrijpen wat ze met hun mond moeten doen, zonder dat ze eerst een boekje over geluidsfysica hoeven te lezen.

Het is de vertaler die zegt: "Luister naar het geluid, en ik laat je zien hoe je tong moet dansen." 🎶👅

Titel: AURORA Model van Formant-naar-Tong-omkering voor Didactische en Klinische Toepassingen

Auteurs: Patrycja Strycharczuk (Universiteit van Manchester) en Sam Kirkham (Lancaster University).

1. Het Probleem

In de spraakwetenschap zijn formanten (akoestische resonantiefrequenties, vooral F1 en F2) fundamenteel voor het begrijpen en analyseren van klinkers. Hoewel formanten eenvoudig te meten zijn (bijv. met Praat), is de vertaalslag naar de onderliggende articulatie (de positie en vorm van de tong) complex.

Simplificatie: De traditionele didactische uitleg ("F1 stijgt als de tong daalt, F2 stijgt als de tong naar voren komt") is een vereenvoudiging die de niet-lineariteit van de fysica, de akoestische koppeling tussen formanten en de onderlinge afhankelijkheid van tonghoogte en -vorm negeert.
Klinische Beperking: In spraaktherapie (bijv. bij genderaffirmerende stemtraining) is tijd beperkt. Het is niet haalbaar om cliënten complexe biomechanische modellen uit te leggen, maar ze hebben wel een visuele feedback nodig om hun articulatie aan te passen om specifieke formantwaarden te bereiken.
Behoefte: Er is een model nodig dat de relatie tussen akoestiek (formanten) en articulatie (tongbeweging) accurate maar begrijpelijk maakt, zonder de complexiteit van volledige fysische simulaties.

2. Methodologie

Dataverzameling:

Corpus: Gesynchroniseerde data van 40 moedertaalsprekers van Engels (Noord-Engeland), bestaande uit ultrasone tongbeelden en audio-opnames.
Stimuli: Monosyllabische Engelse woorden in de context b__d (bijv. bead, bird, bard).
Verwerking:
- Ultrasone data: De tongcontour werd automatisch getrackt met DeepLabCut (11 knooppunten van de epiglottis tot de tongpunt).
- Acoustische data: F1 en F2 werden gemeten met FastTrack.
- Normalisatie: De data werden genormaliseerd per spreker om variatie in sondeplaatsing te minimaliseren.
- Dimensiereductie: Een combinatie van Procrustes-analyse (voor positie/grootte/rotatie) en Hoofdascomponentenanalyse (PCA) werd toegepast op de tongvorm. De eerste twee PC's verklaarden 67,54% van de variantie in tongvorm.

Het AURORA-model (Architectuur):

Type: Een multivariabel lineair regressiemodel dat een omgekeerde mapping (inversie) uitvoert.
Input: F1 en F2 (in Hz) en hun interactieterm ( $F1 \times F2$ ).
Output: 6 articulatoire parameters:
1. X- en Y-coördinaten van het epiglottische vallecula (knooppunt 1).
2. X- en Y-coördinaten van de tongpunt (knooppunt 11).
3. De eerste twee PC-scores voor tongvorm.
Reconstructie:
1. De voorspelde PC-scores worden omgezet naar een tongvorm via inversie van de PCA.
2. De vorm wordt genormaliseerd en vervolgens getransformeerd (schalen, roteren, verschuiven) op basis van de voorspelde posities van de vallecula en tongpunt.
3. De resulterende 11 punten worden gladgemaakt en geïnterpoleerd naar 100 punten voor een vloeiende contour.

Implementatie:

Twee tools zijn ontwikkeld: een interactieve Shiny-app voor didactisch gebruik en een prototype real-time biofeedback software (Python/PyQtGraph) die live audio analyseert en een voorspelde tongcontour toont.

3. Belangrijkste Resultaten

Kwalitatieve Validatie: Het model produceert tongvormen die consistent zijn met bestaande theorieën over klinkerproductie.
- Hoge F2-resultaten in een langgerekte, rechte tongwortel.
- Lage F2-resultaten in een convexiteit rond de tongrug.
- Het model vangt de interactie tussen F1 en F2 correct: bij lage F1 en hoge F2 is er convexiteit in het voorste deel van de tong; bij hoge F1 en lage F2 is er concaviteit.
Vergelijking met Realiteit: Bij vergelijking met de gemiddelde tongcontouren uit de trainingsdata (gebaseerd op gemiddelde formanten) toont het model een zeer sterke overeenkomst.
- Uitzondering: Bij de klinker in "booed" (ronde lippen) wijkt het model af. Omdat liprondering niet in het model zit, onderschat het de voorwaartse en opwaartse beweging van de tong. Dit bevestigt dat lippen een belangrijke factor zijn die het model (nog) niet corrigeert.
Interpreteerbaarheid: Het model gebruikt eenvoudige statistische methoden (lineaire regressie, PCA), waardoor het volledig interpreteerbaar is zonder in te boeten aan de bruikbaarheid voor de beoogde doelen.

4. Bijdragen

Conceptueel Model: AURORA biedt een brug tussen akoestiek en articulatie die complexiteit en eenvoud in evenwicht houdt. Het maakt abstracte formantwaarden visueel tastbaar als tongbeweging.
Didactisch Instrument: De Shiny-app stelt studenten en niet-specialisten in staat om te experimenteren met F1/F2-waarden en direct het effect op de tongvorm te zien, zonder programmeerkennis.
Klinische Toepassing: De real-time biofeedback-tool biedt een nieuwe aanpak voor therapie (zoals genderaffirmerende stemtraining). In plaats van alleen naar een spectrum te kijken, zien cliënten direct welke tongbeweging nodig is om een doelwaarde te bereiken. Dit verlaagt de drempel voor cliënten aanzienlijk.
Open Source: De tools zijn ontwikkeld met het oog op toegankelijkheid en kunnen worden uitgebreid met andere talen of specifieke cliëntgroepen.

5. Betekenis en Toekomstperspectief

Significantie: Het paper demonstreert dat een relatief eenvoudig lineair model, getraind op empirische data, voldoende nauwkeurig is om complexe articulatoire relaties te visualiseren. Dit is een doorbraak voor de toepasbaarheid in de kliniek en het onderwijs, waar complexe fysische modellen vaak te ingewikkeld zijn.
Beperkingen:
- Het model modelleert alleen de tong, niet de kaak, lippen of het velum. Dit leidt tot fouten bij geronde klinkers.
- Het is getraind op Noord-Engelse sprekers; dialectale variaties in articulatie kunnen de nauwkeurigheid beïnvloeden.
- Het model is niet genormaliseerd per geslacht, waardoor het een gemiddelde vertegenwoordigt die mogelijk meer neigt naar vrouwelijke sprekers (vanwege de verdeling in de dataset).
Toekomst: De auteurs plannen verdere ontwikkeling van de visualisatie- en biofeedbacktools, inclusief kalibratie voor individuele sprekers en uitbreiding naar andere talen. Er wordt benadrukt dat deze tools ethisch verantwoord moeten worden gebruikt (bijv. niet voor het forceren van accentverandering, maar voor vrijwillige training).

Conclusie:
AURORA is een succesvol voorbeeld van hoe data-gedreven modellering kan worden gebruikt om de brug te slaan tussen theoretische fonetiek en praktische toepassing, met name in de spraaktherapie en het onderwijs.