E-Taste Signal Encoding and Classification via Multi- Attention Residual Networks Using sEMG Streams in Virtual Sensory Systems

Stel je voor dat je tong een piepklein, supergevoelig radiostation is, en dat wanneer je iets proeft, het geheime signalen naar je hersenen stuurt. Maar wat als je een robot zou kunnen bouwen die die signalen "hoort" zonder dat je zelfs maar een woord zegt? Dat is precies wat deze studie probeerde te doen: een computer leren om elektronische smaakervaringen te herkennen door simpelweg te luisteren naar de minuscule elektrische fluisteringen van je gezichtsspieren.

De onderzoekers bouwden een speciale "superluisteraar" genaamd MACB-ResNet. Zie dit model als een detective met twee superkrachten. Ten eerste heeft het residual connections, die als een geheime tunnel werken waardoor de detective over verwarrende ruis heen kan springen en direct bij de belangrijke aanwijzingen komt zonder moe of verdwaald te raken. Ten tweede gebruikt het multi-attention blocks, die fungeren als een magische bril. Deze bril helpt de detective om in te zoomen op de belangrijkste delen van het signaal (zoals een specifieke spiertrekking) en de saaie achtergrondruis te negeren.

Om deze detective te trainen, gaf het team een enorme bibliotheek aan gegevens. Ze bevestigden 10 zilveren elektroden op de gezichten van 8 vrijwilligers (die allemaal gezonde jonge volwassenen waren, met een gemiddelde leeftijd van 23 ± 3 jaar). Deze vrijwilligers plaatsten de punt van hun tong op een speciaal apparaat dat hen kleine elektrische stromen en temperatuurveranderingen gaf om zes verschillende "smaken" te creëren: geen smaak, zout, Sprite, bitter, munt en zuur. De elektroden registreerden de spierbewegingen gedurende 7 seconden na elke prikkel, wat een enorme berg data opleverde.

Het team veranderde deze spiersignalen in kleurrijke plaatjes genaamd spectrogrammen (denk aan geluidsgolven die zijn omgezet in een regenboogkaart). Ze voerden deze kaarten in hun MACB-ResNet-detective en vergeleken deze met drie andere detectives: KNN, Random Forest en DenseNet-201.

Hier is de grote onthulling: de nieuwe MACB-ResNet-detective was de ster van de show. Het had het juiste antwoord 86,32% van de tijd. Dat is een enorme sprong vergeleken met de anderen: KNN haalde slechts 65,11%, Random Forest bereikte 78,35% en DenseNet-201 slaagde in 81,93%.

Maar het was niet perfect. Het artikel wijst erop dat de detective soms in de war raakte door vergelijkbare smaken, zoals het verwarren van bitter en zuur, of Sprite en munt. Het is alsof je probeert het verschil te zien tussen twee tweelingen die bijna identiek op elkaar lijken; de signalen zijn gewoon te veel even. De onderzoekers gebruikten speciale visuele kaarten (genaamd PCA en t-SNE) om aan te tonen dat terwijl de groep "geen smaak" duidelijk opviel, de andere groepen soms samenklonterden in een rommelige hoop.

Het team voerde ook een "wat als"-test uit, een ablatie-studie. Ze haalden hun superdetective stukje bij beetje uit elkaar om te zien wat hem zo goed maakte. Wanneer ze de residual connections verwijderden, daalde de nauwkeurigheid met 7,18%. Wanneer ze de attention glasses weghaalden, daalde het nog meer. Dit bewees dat zowel de tunnel als de bril absoluut noodzakelijk waren voor de hoge score.

De studie suggereert dat deze aanpak een gamechanger kan zijn voor persoonlijke voeding, digitale gezondheidszorg, voedseltechnologie, neuromarketing en hersen-computerinterface (BCI)-systemen. De auteurs merken echter voorzichtig op dat hun resultaten gebaseerd zijn op een specifieke groep jonge volwassenen en een matige hoeveelheid gegevens. Ze geven toe dat het model mogelijk meer training nodig heeft om oudere mensen, kinderen of mensen met smaakproblemen te kunnen omgaan, en dat de huidige methode mogelijk de subtiele, veranderende aard van hoe een smaak zich in de loop van de tijd voordoet, kan missen.

Kortom, het artikel laat zien dat we met de juiste mix van deep learning en aandacht computers beter dan ooit kunnen leren om via spiersignalen te "proeven", maar er is nog een lange weg te gaan voordat deze technologie klaar is voor ieders eettafel.