Development and pilot validation of an AI-assisted self-practice system for erhu performance assessment and score-aligned feedback
Dit artikel presenteert de ontwikkeling en pilotvalidatie van een door AI ondersteund zelfoefensysteem voor de erhu dat optische muziekherkenning, toonhoogtetracking en dynamic time warping integreert om partituur-uitgelijnde feedback te bieden, waarbij een sterke correlatie met expertbeoordelingen en een hoge bruikbaarheid onder conservatoriumstudenten wordt aangetoond.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Muziekonderwijs heeft lang vertrouwd op het menselijk oor. Een leerling speelt een noot, en een docent luistert om te bepalen of de toonhoogte zuiver is of dat het ritme stabiel blijft. Voor instrumenten met frets, zoals de gitaar, bieden de fysieke markeringen op de hals een visuele gids voor de juiste toonhoogte. Maar voor de erhu, een traditioneel Chinees tweesnarig instrument, is de hals glad en ongemerkt. De speler moet volledig vertrouwen op het spiergeheugen en de gevoeligheid van de vingers om de juiste plek op de snaar te vinden. Zonder de aanwezigheid van een docent heeft een leerling die alleen oefent geen enkele manier om te weten of de vingers lichtjes uit de toon raken. Deze kleine fouten kunnen gewoontes worden, die zich vastzetten in het spiergeheugen en later moeilijk te corrigeren zijn. Hoewel kunstmatige intelligentie is begonnen met het helpen van muzikanten bij het oefenen op westerse instrumenten, zijn de unieke glijdende en vibrerende technieken van de erhu een blinde vlek gebleven voor computersystemen, die artistieke expressie vaak aanzien voor fouten.
Onderzoekers hebben nu een systeem gebouwd dat ontworpen is om deze kloof te overbruggen, door een AI-assistent te creëren die naar een erhu-speler kan luisteren, de uitvoering vergelijkt met een gedrukte partituur en specifieke, actiegerichte adviezen geeft. Het team ontwikkelde een digitale pijplijn die een standaard PDF van de bladmuziek accepteert, deze omzet naar een formaat dat de computer kan begrijpen, en vervolgens een opname analyseert van de student die meespeelt. Het systeem luistert niet alleen naar de juiste noten; het is getraind om de specifieke manieren waarop een erhu wordt bespeeld te herkennen. Het maakt onderscheid tussen een bewuste, prachtige glijvlucht van de ene naar de andere noot en een accidentele afwijking in de toonhoogte. Het scheidt ook het geluid van het solo-instrument van de begeleidende muziek, een veelvoorkomende uitdaging bij thuisopnames. Zodra de analyse voltooid is, projecteert het systeem de resultaten direct op de afbeelding van de bladmuziek, waarbij precies wordt aangegeven welke noten te hoog, te laag of te snel werden gespeeld, en biedt het een samenvatting van wat er als volgende geoefend moet worden.
Om te testen of deze aanpak werkte, verzamelden de onderzoekers opnames van achttien gevorderde studenten aan een conservatorium in China. Elke student speelde fragmenten van een stuk genaamd "Taohuawu", en hun prestaties werden geëvalueerd door twee deskundige docenten die in het geheim luisterden, onwetend van wat de computer had besloten. De resultaten toonden een sterke overeenstemming tussen de menselijke experts en de machine. Wanneer de experts de intonatie van de studenten beoordeelden, oftewel de toonhoogteprecisie, kwamen de scores van de computer overeen met hun oordelen met een correlatie van 0,93. Voor ritme lag de overeenkomst iets lager, maar was nog steeds robuust op 0,83. Het systeem was ook in staat om specifieke problematische noten met een hoge mate van betrouwbaarheid aan te wijzen, waarbij het merendeel van de fouten die de docenten hoorden, correct identificeerde. In een aparte test slaagde het systeem erin om de erhu-melodie te scheiden van de begeleidende muziek in de meeste opnames, wat bewees dat het de stem van het instrument kon isoleren, zelfs in een drukke mix.
De studie onderzocht ook hoe het systeem omging met de kenmerkende technieken van de erhu, zoals vibrato, een snelle, lichte schommeling in de toonhoogte, en portamento, een vloeiende glijvlucht tussen noten. Oudere computermodellen markeerden deze artistieke keuzes vaak als fouten, maar dit nieuwe systeem was ontworpen om ze te tolereren. Door de analyse te richten op het stabiele middendeel van elke noot en de korte momenten waarop de strijkstok begint of stopt te negeren, vermeed de AI valse meldingen. Het leerde te herkennen dat een glijvlucht in toonhoogte intentioneel was als deze snel genoeg gebeurde, en dat een trilling een kenmerk was en geen fout. Wanneer de onderzoekers het systeem testten zonder deze specifieke aanpassingen, daalde de nauwkeurigheid aanzienlijk, wat bevestigde dat deze aangepaste regels essentieel waren voor het instrument.
Naast de technische cijfers vroegen de onderzoekers de studenten hoe zij over het gebruik van het hulpmiddel dachten. De feedback was overweldigend positief. Studenten rapporteerden dat het systeem het makkelijker maakte om hun fouten te vinden zonder dat ze hun opnames keer op keer opnieuw hoefden te beluisteren. Ze waardeerden het dat de fouten direct op de bladmuziek werden geaccentueerd, wat de onzekerheid wegnam bij het proberen te achterhalen waar het misging. Hoewel de studie een pilotstudie was met betrekking tot één specifiek muziekstuk en een specifieke groep studenten, suggereren de resultaten dat kunstmatige intelligentie kan worden aangepast aan de nuances van niet-westerse muziek. Het systeem biedt een pad voor leerlingen om onafhankelijk te oefenen met de begeleiding van een digitaal oor dat de unieke taal van de erhu begrijpt, waardoor een eenzame oefensessie verandert in een meer geïnformeerde en effectieve leerervaring.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.